荣新IT培训中心
全国咨询热线:400-1335-066
您现在的位置:首页>技术文章 > 正文

详解大数据计算模式和系统

时间:2017-08-08 11:42:23 来源:荣新IT教育培训 作者:荣新科技
对于没有从事大数据得同学来说,大数据只是个炒的很火得一个概念,具体怎么计算和运行,完全是两眼一抹黑。今天荣新IT为大家带来详细得描述,希望对大家有所帮助。
详解大数据计算模式和系统


计算形式的呈现有力推进了大数据技术和应用的开展,使其成为目前大数据处置最为胜利、最广为承受运用的主流大数据计算形式。但是,理想世界中的大数据处置问题复杂多样,难以有一种单一的计算形式能涵盖一切不同的大数据计算需求。研讨和实践应用中发现,由于MapReduce主要合适于停止大数据线下批处置,在面向低延迟和具有复杂数据关系和复杂计算的大数据问题时有很大的不顺应性。因而,近几年来学术界和业界在不时研讨并推出多种不同的大数据计算形式。>>>点击了解更多关于大数据的知识<<<

所谓大数据计算形式,即依据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并树立的各种高层笼统(abstraction)或模型(model)。例如,MapReduce 是一个并行计算系统,加州大学伯克利分校著名的Spark系统中的“散布内存笼统RDD”,CMU 著名的图计算系统GraphLab 中的“图并行笼统”(Graph Parallel Abstraction)等。传统的并行计算办法,主要从体系构造和编程言语的层面定义了一些较为底层的并行计算笼统和模型,但由于大数据处置问题具有很多高层的数据特征和计算特征,因而大数据处置需求更多地分离这些高层特征思索更为高层的计算形式。

依据大数据处置多样性的需求和以上不同的特征维度,目前呈现了多种典型和重要的大数据计算形式。与这些计算形式相顺应,呈现了很多对应的大数据计算系统和工具。由于单纯描绘计算形式比拟笼统和空泛,因而在描绘不同计算形式时,将同时给出相应的典型计算系统和工具,如表1所示,这将有助于对计算形式的了解以及对技术开展现状的把握,并进一步有利于在实践大数据处置应用中对适宜的计算技术和系统工具的选择运用。
每天收获一点点,水滴石穿,终究能获得更多得东西。成功不是偶然,付出一定会有回报,相信自己,相信自己得努力。美好得未来在等着我们。