荣新教育:坚持面授的良心机构
全国咨询热线:400-1335-066
您现在的位置:首页>媒体报道 > 正文

大数据面试问题小结

时间:2018-03-19 16:43:32 来源:荣新IT教育培训 作者:荣新科技
今天给大家总结了下关于大数据的一些面试问题,大家自己看看会不会,不会的要努力了,下面一起来看看吧。
大数据面试问题小结
1.hdf文件体系中Namenode和DataNode差异和联系

2.请描绘Spark RDD中的transform和action的了解?

3.两个类TextInputFormat和KeyValueInputFormat的差异是什么?

4.在hadoop使命中,什么是inputsplit?

5.hadoop结构中文件拆分是怎样被调用的?

6.参阅下面的MR体系场景:

hdfs块巨细为64M

输入类型为:64M

有三个巨细的文件,别离为64KB,65MB,127MB

hadoop文件会被这些文件拆分为多少split?

7.hadoop文件中,RecordReader的效果是什么?

8.Map阶段完毕后,Hadoop结构会处理:Partitioning,shuffle,和Sort,在这个阶段都发生了什么?

9.假如没有界说Partitioner,那数据在没有被送达reducer之前是如何被分区的?

10.什么是combiner?

11.别离举例什么情况下会运用combiner,什么情况下不会运用?

12.以下操作是归于窄依靠的spark transformation的是

(A) Rdd.map (B)rdd.count (C)rdd.filter (D)rdd.reducebykey

13.在Hadoop中界说的主要公用inputFormats中,哪一个是默认值(A)TextInputFormat

(B)KeyValueInputFormat

(C)SequenceFileInputFormat

14.请写出下面代码履行后A1和B1的值

val books=List("Hadoop","Hive","HDFS")

val A1=books.map(a->a.toUpperCase())

val B1=books.flatMap(a->a.toUpperCase())

15.简述对大数据组件:Yarn,Spark,Hbase,Hive的了解
文章源自荣新教育官网:www.vfast.com.cn欢迎访问,转载需注明出处