TypechoJoeTheme

IT技术分享

统计

Hadoop简介——历史由来

2015-10-27
/
0 评论
/
603 阅读
/
正在检测是否收录...
10/27

一、Haddoop之父

Doug Cutting是Hadoop之父,是Apache软件基金会的主席。在他的主持下,创建了多个开源项目。

Lucene:全球第一个开源的全文检索引擎工具包。

Nutch:在Lucene的基础上加入了网页抓取,网页解析的功能。

二、名字由来

Hadoop并不是几个单词的缩写,而是一个虚构的名字。Doug Cutting解释说Hadoop是他家小孩给一个棕黄色大象玩具取的名字。

三、历史轨迹

Hadoop的发展:

  • 2002年, Nutch开始启动。
  • 2003年,Google发表重要的学术论文GFS。
  • 2004年,Doug根据GFS设计了Nutch分布式存储系统(NDFS)。
  • 2005年,Nutch移植到新的框架,Hadoop的早起版本在20个节点上运行。
  • 2006年01月,雅虎公司将Hadoop应用到搜索引擎。
  • 2006年02月,将NDFS和MapReduce从Nutch中分离出来,形成Lucene子项目,命令为Hadoop。
  • 2008年,Hadoop成为当年1TB数据的排序冠军。
  • 2013年11月,Hadoop技术峰会召开,标志着Hadoop进入2.0时代。
朗读
赞 · 0
版权属于:

IT技术分享

本文链接:

https://idunso.com/archives/841/(转载时请注明本文出处及文章链接)