2016 hadoop in china会后感

一、 概况 本人有幸参加了今年在北京主办的hadoop in china,在与会中有不少的感受与大家分享。今年的hadoop in china整体来看,参加会议的人比较多,在第一天上午场的topic里,大厅人都满了,内容也比较多。今年主题内容从大局观、产品、技术都有很多的内容。貌似今年的议题是假设参加会议的同学有一定的基础,没有过多的去介绍基础的内容,比如,没有人说hadoop是啥了,单刀直入,趋势、产品、新技术。大数据改变人类的未来,正在渗透到每个行业中,甚至是人的基因分析 …

继续阅读 »

大数据处理技术归类

以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出现,一段时间后,软件栈也会变化的。 典型架构 很多的场景都是如上的,有web(包括无线、以前CS的模式、现在的BS模式等)、DB、cache、数据分析我就用了Hadoop了(代名词, …

继续阅读 »

spark十分优秀,但并非银弹

已经有太多的文章说spark有多么的优秀了,我是非常认可的。比如:统一分析引擎,RDD抽象,dataset、df等编程接口,交互式编程的支持,稳定高效的机器学习算法库,高效的spark sql实现,基本能跟其它所有的产品集成。每次内部宣传spark的时候,都有人说这说那,我这次就全说了吧,那spark是不是可以解决所有的数据分析问题呢?答案是,spark也并非是银弹。 在一个多租户的共享集群中,如果每个用户都去申请hold一部分资源,这会导致很多用户的资源申请不满,最后job …

继续阅读 »

2016年初大数据、云计算的漫谈

最近半年,基本做的事情是在阿里ODPS平台运行社区的代码,比如spark及hadoop等。事情并没有太多的高深莫测的,想想基本是为了解决用户的需求,本文主要梳理下我半年一些事情上的思考。 自主研发 VS 开源系统 我的观点始终保持不变的,当能用社区产品解决问题的,完全就可以用社区的产品,最近1年,spark、docker等技术发展迅速,完全没有必要去自己写一套。我认为有两个情况下需要自己写,第一,目前的产品无法满足现在的需求,在阿里(就目前),比如:支付宝大规模图数据库,阿里 …

继续阅读 »

通用分布式执行引擎

上次说,需要写点东西介绍下目前做的事情,其实目前做的是一个通用分布式执行引擎。 此引擎重点的事项如下: dag:DAG的切割,划分为stage 调度:资源与task之间的匹配 cache:cache的管理,MemoryStore、DiskStore的管理 shuffle:数据传输及shuffle元数据,shuffleservice 父子进程:父子进程的通信,包括消息、流,主要为了安全,子进程运行用户的代码 failover:checkpoint、重建 broadcast相关 …

继续阅读 »

china hadoop summit上海站第二天所见所闻

上午场是必须听了,下午场次共计有5个分论坛,所以只能找些去听,我看基本每场都有录有视频,随后大家也可以看视频的。 上午场次 jeff的《entierprise Hadoop:Past,Present, and Future》主要从功能、性能、安全等方面说明了hadoop是个啥,由于本人一直关注在这快,所以没有太大的新的知识点,这些点也可以在社区的文档上看到。 永洪的《敏捷BI最佳实践》我听起来就是用现有的hadoop技术来提供快速敏捷的BI分析,从老板才能看数据到每个人都可以 …

继续阅读 »

china hadoop summit上海站第一天所见所闻

今天过来参加《china hadoop summit》,听了不少的场次。从技术栈上分类,大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术,主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。下面讲述下我听的一些场次: 上午场次: 孙先生讲的 《Towards consistent distributed system》,给我们带来了从CAP理论出发,以新的视角去看待分布式系统,怎么权衡去设计分布式软件 …

继续阅读 »

纪念6周年

6年不易,一直在阿里,一直冲在一线。 有人问我,你不累吗? 说实在话,有时候,我也很累,累在有人说我太好强,累在总是不公平,累在不理解。 希望在接下来的时间里我能忘记这些,摆正好心态,做好自己! 关于被干掉 累在一件事情确认好了,花费了很多心血,又过来突然说不做了。 在阿里这么多年,无论遇到什么样的技术上的问题,总是能够顺利解决,不会出现太大的问题。 2014年年初,我当时做了一个计划,准备开搞了,讨论了很多,后来大师把大家叫到小黑屋,事情不干了,全部暂停,也许大家能猜什么事 …

继续阅读 »

阿里云1完成使命下线,云2再续辉煌

2015年6月,当我们把云梯1的余杭机房的namenode下线,标志着阿里云梯1的使命已经完成。目前阿里内部的登月项目已经把离线计算全面迁移到了ODPS上,也标志阿里成为国内第一家有自主研发的计算能力的公司。 笔者在云梯1服务了3年,不免感叹,6年前的云梯说做云梯,云梯就是hadoop,作为梯子,最终实现自主研发平台,中间经历了数不清的事情,最终还是完成了。 一路过来,不乏让人思考的事情: 一、开源 VS 闭源 闭源:投资过10亿的项目,对阿里如此重要,怎么能不自主研发呢?中 …

继续阅读 »

2014年答辩

准备了几个月的答辩,今天终于完成了。对这次答辩是非常期待的,也是精心准备。ppt至少改了大致5个版本,且排列了不下10次,还专门找了一个PPT的翻页笔。 讲的比较精心,也非常突出要重要项目中所作出的贡献。所有问题我个人感觉都回答得还算可以,最后的反馈也是对技术能力、主动性、关注细节等方面比较认同。建议是多做一些产品化、平台化的思考。 对这次答辩评委接触的结论我是比较认可的。对于产品化、平台化其实是对未来一个更高的要求。 昨天晚上还有点睡不着,大约到1点才睡着了,6点半就醒,但 …

继续阅读 »