“Jeff Dean的论文石嘴山塑料管材设备价格，与阿里坚、周靖东谈主、徐常亮、孙牧、林伟、关涛不为东谈主知的故事。”
作家丨覃倩雯
裁剪丨刘伟
引子：
雷峰网曾在此前的著作中解说了Jeff Dean如何影响早期时期方案。近期咱们又与阿里多位原层及中枢时期东谈主员相似，挖掘了Jeff Dean对阿里时期阶梯的影响。本文是阿里系列篇，解说MapReduce如何沿两条旅途插足阿里、影响ODPS；下篇将不绝解说TensorFlow对阿里AI时期体系的影响。
据微软早期成员回忆，20多年前，周靖东谈主次读到Jeff Dean发表的MapReduce论文时，被里面的时期想路纳降了。
这个想路自后径直影响了周靖东谈主在时的成名作：Scope。
戏剧的是，Scope在20年后也成为了阿里许多AI明星产物的名字，如Model Scope（魔搭社区）、AgentScope、DashScope……这里面，玩忽若干藏着周靖东谈主的“私心和缺憾”——个曾被拒的开源梦。
而其时和周靖东谈主在微软起作念Scope这套系统的林伟、关涛等东谈主，也随着他来到了阿里。他们带着两个指标和洽商，是匡助阿里作念个好的平台，二是他们在微软看到了Jeff Dean团队在玄妙研发Tensorflow，而其时阿里的场景有着比微软大的AI叙事后劲（这部分的精彩故事将鄙人篇著作呈现）。
有好奇景仰的是，周靖东谈主自后从徐常亮手中接过来的阿里也曾的时期产物ODPS，也与Jeff Dean的MapReduce也有着千丝万缕的关系。
于是，杭州遇上西雅图的戏码，认真演出。
01
被Jeff Dean启迪的周靖东谈主，和他的个缺憾
2007年前后，微软驱动搭建我方的大数据平台Cosmos。其时微软筹议院向应团队荐了我方的履行引擎Dryad。但Dryad很快表示出问题：太难用。
因此，Cosmos急需在Dryad上再封装层，给系统提供个查询话语，把底层复杂的履行策划和筹算图一皆荫藏起来，让普通工程师不错用浅易式抒发筹算逻辑的轮廓层。
Scope，在这个布景下出现了。
面临微软给的任务，周靖东谈主算作径直负责东谈主，立马猜度了Jeff Dean的那篇著作。
微软的问题，和MapReduce论文里惩处的阿谁问题：怎么让不懂诀别式系统的东谈主也能调用成百上千台机器，有殊途同归之处。
MapReduce给的想路很浅易。把处理海量数据这件复杂的事，压缩成了个浅易的编程模子：先用Map把项宽绰的任务终止，交给成百上千台机器并行处理；再用Reduce把恶果汇总起来。
这么来，任务应该跑在哪台机器、哪台机器斯须挂了、数据怎么在集群里搬，全都交给系统。行为员只需要告诉系统件事：我方到底想算什么。
但周靖东谈主又在MapReduce基础上多走了步：它还支握SQL。
在Scope里，开辟者不错写SQL，也不错写访佛MapReduce的剧本逻辑；系统会把这些代码编译、化，把SQL蜕变成逻辑履行策划，再映射成Dryad的DAG图，后在微软我方的Dryad去跑。
不会写复杂诀别式行为的数据分析师，也不错径直写SQL。Scope会先把这些代码编译、化，再翻译成套履行策划，后交给微软我方的Dryad去跑。
据参与者回忆，周靖东谈主把SQL Server Optimizer脉的化想路带进Scope，再行写Rule，点点改掉原本不好用的逻辑。之后他又一皆把Optimizer改完，再重写Compiler、Code-gen。
在微软自后发表的Scope论文中，Compiler、Optimizer、Code Generation恰是中枢的几部分，而标题就叫：“Parallel Databases Meet MapReduce”——并行数据库遇上MapReduce。
周靖东谈主恰是作家之石嘴山塑料管材设备价格。
他重新到尾参与了Scope通盘这个词步地，亲手搭了个中枢团队，为它亲手写下了许多中枢代码。
在他的带下，Scope很快成为微软搜索体系里热切的大数据基础设施。但这套系统后也给周靖东谈主留住了个很大的缺憾：微软不允许Scope开源。
而比Scope晚几年出现的另款大数据通用筹算引擎伯克利的Spark，却比干了件微软莫得作念到的事：开源。
那时候，大学、创业公司、大厂工程师驱动起写代码、改Bug、开辟插件，Spark很快从个伯克利的筹议步地，长成各人有影响力的大数据框架之。
据Scope早期的参与者回忆，其时Scope的工程才智和能并不输Spark，致使在特殊万古候里昭着先。早之前，著明大数据框架Flink创举东谈主还带着众开辟者，两次到访华盛顿湖东侧的微软雷德蒙德总部88号大楼，向周靖东谈主求教。
但因为有了开源生态，Spark在行业内走出了遍及的宇宙。而Scope，则直留在了微软里面。
在些东谈主看来，Scope的这段资格，直刻在周靖东谈主的心里，成了个缺憾。开源事，也成了他的个执念。
2015年，周靖东谈主带着缺憾加入了阿里，当年跟他起并肩构兵作念Scope的林伟、关涛，持续也随着来到了阿里。再自后，东谈主们在阿里的开源时期生态中，持续看到了GraphScope、ModelScope、DashScope……
从周靖东谈主自后在阿里的时期现实来看，开源与灵通遥远是条明晰的干线。
他把在微软积蓄多年的时期理念和筹议带到了阿里，也把二十年前没能完成的事情，换了个地不绝作念了下去。
02
MapReduce催生Hadoop，
路促成阿里时期产物
在Scope沿用Jeff Dean时期想路的同时期，Jeff Dean的论文也正影响着大洋此岸的雅虎和阿里。
2004年前后，Google公开了GFS、MapReduce论文，但并莫得把里面系统开源。外面的工程师能看到图纸，却拿不到真的的行为。
听说开辟者Doug Cutting决定我方写。
他按照GFS、MapReduce的架构想想，塑料挤出设备重新竣事了套开源存储和筹算系统，自后逐渐演化为Hadoop MapReduce。
随着2006年Doug Cutting加入雅虎，Hadoop从个开源步地，真的跑进了大型互联网公司的出产环境。
其时雅虎体系里，有个工程师：孙牧。
孙牧很早就驱动筹议MapReduce和Hadoop，还曾写著作向国内工程师科普这套其时颇为极新的大数据时期。自后雅虎与阿里走到起，孙牧插足阿里。
巧的是，其时淘宝的数据一经快把原本的时期体系撑爆了。商品、交游、用户、搜索、告白，每天都在制造越来越多的数据。夙昔依赖Oracle等传统数据库惩处的问题，一经越来越难靠老主义不绝撑下去。
2008年前后，阿里驱动大边界引入Hadoop。里面把这套系统称作：云梯1。因为对Hadoop相称能干，孙牧也因此成为云梯1的热切负责东谈主。
但Hadoop从驱动，就仅仅阿里用来“应急”的过渡案。
2009年，阿里云建造，算作其时阿里时期体系的中枢负责东谈主，坚驱动主飞天的研发，但愿从底层重作念套属于阿里我方的诀别式筹算系统。
阿里里面很快出现了个颇为神秘的时势：云梯1，底下跑Hadoop；云梯2，底下跑飞天。
但只把飞天作念出来还不够。
阿里终想作念的，不是把Hadoop用好，而是把这套外部系统换掉。问题也随之而来：把Hadoop换掉以后，海量数据拿什么算？
于是，ODPS成了坚动的另项中枢工程。飞天惩处底层诀别式筹算和资源休养，ODPS则负责邻接表层海量数据的筹算与分析。
在坚主的这套时期体系里，ODPS自后成为和飞天细巧绑定的中枢步地，而真的站在线把这套系统作念出来的径直负责东谈主之，是徐常亮。
2010年前后，徐常亮驱动带队攻克这个问题。据早期参与者回忆，其时他手里唯有两个应届生、两个实习生，自后团队才缓缓推论到300多东谈主。
早时，这个步地还不叫ODPS。徐常亮给它起了个很有阿里江湖气质的名字：龙泉太阿。
早期参与东谈主士泄漏，干将是MapReduce之上加入Join等复杂的数据干系操作，让夙昔需要多轮MapReduce才智完成的事情，不错在层径直抒发。
莫邪惩处的则是另个问题：总不成让通盘分析数据的东谈主，都先学会写MapReduce。其时，Hadoop世界一经出现Hive，用户仍然写老练的SQL，Hive再把SQL翻译成底下的MapReduce功课。
徐常亮决定把这套想路拿过来，但有件事要换：底层底下不再跑Hadoop。
据其时参与者回忆，徐常亮的主义很径直，把Hive生成的履行策划接过来，再作念层蜕变，后交给飞天去履行。对表层用户来说，变化并不昭着。他如故写SQL，但SQL底下真的履行的系统，一经驱动点点从Hadoop迁徙到阿里我方的体系。
2011年前后，“龙泉太阿”逐渐有了个认真名字：ODPS，它驱动补助阿里金融、淘宝等中枢业务。到2013年前后，阿里自研大数据平台一经能够补助约5000台工作器。
尔后几年，原天职散在Hadoop等平台上的集团数据驱动大边界迁徙。到2015年前后，ODPS逐渐成为阿里中枢的大数据底座之。（多阿里飞天系统的精彩故事，可雷峰网此前著作）
03
十年后，两波东谈主在杭州坐到了起
就在Hadoop逐渐退出阿里的2015年，个老练的名字从西雅图来到杭州：周靖东谈主。
加入阿里后，徐常亮逐渐把这套作念了多年的系统交到周靖东谈主手里，林伟、关涛也持续从微软来到阿里。至此，十年前起在雷德蒙德作念Scope的那批东谈主，又在杭州坐到了起。
只不外此次，他们面临的一经不是Scope，而是阿里花了多年时候从Hadoop体系里再行造出来的ODPS。
这件事放到十几年后再看，颇有些戏剧。
周靖东谈主在微软作念Scope时，热切的职责之，是想主义把SQL酿成不错在数千台机器上履行的任务；简直同期期，远在杭州的徐常亮，也沿着MapReduce、Hive往前走，后作念出了ODPS。
两拨东谈主此前莫得错乱，却因为Jeff Dean的同篇论文，各放心太平洋两岸走了十多年。拨东谈主在西雅图沿着MapReduce作念出了Scope；另拨东谈主在杭州沿着MapReduce催生的Hadoop，走到了ODPS。
换言之，Jeff Dean二十年前写下的MapReduce，后把两拨受它影响的东谈主，都带到了同张桌子上。
本文作家经久爱慕大厂AI、电商行业，接待添加微信qqw_501起相似。
电话：0316--3233399相关词条:不锈钢保温施工 塑料管材生产线 钢绞线厂家 玻璃棉板 泡沫板橡塑板专用胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》石嘴山塑料管材设备价格，以此来变相勒索商家索要赔偿的违法恶意行为。