光环大数据培训 大数据面试题汇总

　　光环大数据培训，大数据面试题汇总。大数据时代已经来临，不管是生活中、还是企业生产中，都离不开大数据在其中发挥的重大作用，但目前大数据人才比较稀缺，也制约了企业的发展，因此有很多公司都在出高薪聘请大数据相关人才。

很多同学在毕业找工作时，都想要一份面试题，其实不是因为自己的技术不好，而是怕回答技巧不够，而空有一身本领却无用武之地。今天光环大数据的大数据开发培训班的老师给大家分享的是大数据面试题之Hadoop运行原理的讲解。

hadoop运行原理

包括HDFS和Mapreduce两部分。

1)HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。

它存储的逻辑空间称为block，文件的权限类似linux。整体架构分三种节点，NN,SNN,DN

NN负责读写操作保存metadata(OwnershipPermissionblockinfo)

SNN负责辅助NN合并fsimage和edits，减少nn启动时间

DN负责存数据，每个数据(文件)分割成若干block，每个block默认3个副本。启动后像NN发送心跳保持联系

NN保存的metadata在hdfs启动后加载到计算机内存，除block位置信息的metadata保存在OS文件系统中的fsimage文件中，对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。

HDFS的安全模式：直到NN完全加载完metadata之前的这段时间。期间不能写入文件，DN检查各个block完整性，并修复。

2)MapReduce

离线计算框架，过程分为splitmapshufflereduce四个过程

架构节点有：JobtrackerTaskTracker

Split将文件分割，传输到mapper，mapper接收KV形式的数据，经过处理，再传到shuffle过程。

Shuffle先进行HashPartition或者自定义的partition，会有数据倾斜和reduce的负载均衡问题;再进行排序，默认按字典排序;为减少mapper输出数据，再根据key进行合并，相同key的数据value会被合并;然后分组形成(key,value{})形式的数据，输出到下一阶段

Reduce输入的数据就变成了，key+迭代器形式的数据，再进行处理。

想要高效学习大数据技能、快速高薪就业、数据分析培训，就选光环大数据培训！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！