荣新IT培训中心
全国咨询热线:400-1335-066
您现在的位置:首页>技术文章 > 正文

浅谈大数据培训之Hadoop发展历程

时间:2017-07-28 11:39:25 来源:荣新IT教育培训 作者:荣新科技
  如今,随着信息化时代的到来,Hadoop以其高效性和独特性,得到了广大群众的认可,成为了搜索引擎中最受欢迎的内容分类工具之一。Hadoop起源于Apache基金会项目,随着越来越多的用户加入,是其扩大了使用面,进一步开发和完善,到现在已经形成一个强大的生态系统。下面,我们来回顾一下Hadoop发展历程吧!

浅谈大数据培训之Hadoop发展历程

  1、2004年,Google发表MapReduce论文,向全世界介绍了MapReduce。

  2、2005年初,Nutch开发者采用基于Google发布的MapReduce报告,在Nutch搜索引擎项目中开发了一个可工作的MapReduce应用。

  3、2005年中,Nutch项目中主要算法被移植到使用MapReduce和NDFS(Nutch Distributed FileSystem)来运行。

  4、2006年1月,Hadoop之父Doug Cutting加入Yahoo,Yahoo提供一个专门的闭队和资源将Hadoop发展成一个可在网络上运行的系统。

  5、2006年2月,Apache Hadoop项目正式启动并支持MapReduce和HDFS的独立发展。

  6、2007年,百度开始使用Hadoop做离线处理,目前差不多Hadoop 80%的集群用做日志处理事务。

  7、2007年,中国移动着手使用Hadoop技术进行“大云”研究,规模超过1 000台。

  8、2008年,淘宝开始投入研究基于Hadoop的系统,并将其用于处理电子商务相关数据。云梯l的总容量大概为9.3PB,包含了1100台机器,每天处理约18 000道作业,扫描500TB数据。

  9、2008年1月,Hadoop成为Apache顶级项目。

  10、2008年2月,Yahoo!宣布其搜索引擎产品部署在一个拥有l万个内核的Hadoop集群上。

  10、2008年7月,Hadoop打破ITB数据记录。Hadoop集群用209秒完成ITB数据的排序打破记录,比上一年的纪录保持者保持的297秒快了将近90秒。

  综上所述,Hadoop从2004年开始截止到2008年4年间的发展历程,可以看出,Hadoop在不断的改进以及扩大。毋庸置疑Hadoop的发展前景是一片光明,同样Hadoop培训行业也是空前的火热。最后对一些缺乏竞争技术的人来说,可以到荣新IT培训学习Hadoop技术,培养一技之长。