运维专家:我在大数据项目中踩过的那些坑

  • 时间:
  • 浏览:6
  • 来源:uu快3棋牌_uu快3讨论群_规律

将会此人 创业,即便做出来了,客户一般也基本不考虑,我们歌词 歌词 不让相信从前创业公司能提供从前的质量和服务能力。

答:主要包括如下那些:

1.MongoDB在百度的使用场景及规模?

拿Hadoop来说,接口层面时要支持Python、Php;将会是百度外部业务,还时要支持C++;将会是开放云对外服务,时要支持Java(对内则不让考虑,很少业务使用Java开发)。

回答:朱冠胤,百度资深大数据专家,连续两次百度最高奖得主。

其次,实现难度,实现Spanner的技术难度不小。

三、问提集锦

2.优先并充分调研业界已有实现(论文、代码、论文活跃度和主要committer交流等),要想清楚该系统试图除理的业务场景否有我们歌词 歌词 准备除理的;该方案在业界有那些公司在站台(争取拿到一种生活 外部消息),构造一定规模测试,外部组织分享调研成果。

问:假设现在给你完整篇 主导从前这类Hadoop的项目,给你选折 哪种语言?(不考虑团队,仅从语言层面出发)

从前完整篇 系统,要考虑项目推广(业务方接受程度)、项目开发、调试和维护成本,最后是性能。

问:让我们歌词 歌词 知道你淬硬层 参与了百度多个成功的大数据项目,你否有还能否分享下你一种生活 过程中踩过的典型的坑?

3.做好CodeReview。

1.除理过度设计;一种生活 问提考虑太早没用;快速迭代,小步快跑!

百度开放云对外提供MongoDB,主本来在BAE(BaiduAppEngine)产品中提供共享模式的Mongo服务。

四、精彩回答

从我不专业的淬硬层 来看,这类RedShift的系统是个不错的创业方向,不要 不要 公司还能否 这类需求,目前业界不够很好的开源实现,而已有商业化实现成本都比较高。

5.能达到这点的不要 ,不要 不要 不要 不要 项目都自研了......

4.你所在团队在自研和使用开源方案的主要考虑因素?

2.防御性编程,认为一切还能否 不靠谱的(并肩除理走向1的极端,这类离线系统,就不要 考虑跨IDC高可用了)。

答:MongoDB在百度比较小众,应用规模应该在百台量级,基础架构部对内不提供统一服务,还能否 各业务线自行维护。

5.做好各种预案、监控,突然经常出现异常能快速定位是系统上游还是本系统还是系统下游的问提。

一、主要讨论人员

3.该方案否有能hold住(从设计理念到代码级淬硬层 理解),否有容易维护(选折 了Clojure估计难度还能否 一种生活 半点),否有容易推广(看业务方对它的接受程度)。

问:请说一下MongoDB在百度的使用场景及规模。

7.将例行手工劳动自动化,人是不靠谱的;不要 相信系统是万能的,要有例行check机制。

答:1.首先搞清楚究竟想除理那些业务场景的问提,包括已明确需求和潜在需求。

相反,Storm选折 了从前比较小众的语言Clojure,我听到的一种生活 消息,twitter重写Storm其中从前原应本来,精通Clojure的系统进程员比较难招,开源社区不要 不要 人也参与不进来,项目一种生活生活的活跃度也会受影响。

3.不要 不要 工作尽将会量化(能量化最好先量化);if you can’t measure it,you can’t improve it!

2.采用最严格的编译选项。

1.严格遵守编码规范。

4.将会上述八个都回答了,且答案是yes,此时看看该系统的论文(或原理)。和论文(或原理)对比,假设论文没有 不够且能很好覆盖典型业务场景,则看该系统对论文的实现情况表,否有有重大不够,将会有,一票否决;将会没有 ,不犹豫,选它好了:)

提问:陈超,七牛云技术总监

对性能要求较高的主次,会考虑用C++;这类向量计算,会考虑SSE向量化,或一种生活 业界性性性心智成熟期期是什么是什么期期是什么是什么期的高性能库,甚至会考虑GPU或FPGA实现。

答:选折 类Spanner系统来创业,注定不走寻常路,挑战极大。

2.假设现在给你完整篇 主导从前这类Hadoop的项目,给你选折 哪种语言?

一种生活 Tips:

3.分享你在百度各种大数据项目中踩过的坑?

6.提供好架构和机制,让业务方去调整配置各种策略。

二、引言

除了这两主次,就考虑公司通用基础服务,尽量减少重复造轮子,多利用系统进程的基础库,这类序列化、rpc实现支持情况表等,结合百度情况表,会优先考虑C++。

首先,看该产品的受众,有这类需求的客户似乎还能否 大企业(一般用mysql就追到了,时要拆到128个实例不要 见了),银行、能源行业等,还能否 不差钱的主。

“坐而论道”是从前轮流问答的玩法。本文是大数据主题周中,几位国内一线专家激情问答的一主次内容。期间,各位群友也积极参与。

问:你虽然现在新一代分布式数据库(NewSQL,这类Spanner)是从前好的创业方向吗?

4.对外接口一定要慎重,不要 轻易变动,兼容性尤其重要。

答:这类Hadoop的项目:将会想开源,本来 让业界更多人参与进来,首选Java;Hadoop能取得巨大成功,我此人 认为这与它选折 Java有很大关系。

5.新一代分布式数据库(NewSQL,这类Spanner)是从前好的创业方向吗?

问:面对众多开源除理方案,你所在团队在自研和使用开源方案的主要考虑因素有那些?