Question 1. HDFS是通过什么机制保证数据可靠性的? Answer1: (1)冗余副本策略:所有数据块都有副本,可以在hdfs-site.xml中设置副本系数,Datanode启动时,遍历本地文件系统,产生一份 hdfs数据块和本地文件的对应关系列表(blockreport)汇报给namenode。 (2)机架感知策略:集群一般放在不同机架上,机架间带宽要比机架内带宽要小,有利于在组件失效时负载均衡。    (3)安全模式:Namenode启动时会先经过一个“安全模式”的特殊阶段。 (4)心跳机制 :Namenode周期性从datanode接收心跳信号和块报告    (5)校验和 :在文件创立时,每个数据块都产生校验和           (6)回收站 :删除文件时,其实是放入回收站/trash       (7)元数据保护 :备份NameNode上持久化存储的元数据文件,然后转储到远程的NTF文件系统中。另外也可以使用 SecondaryNameNode来备份NameNode的元数据。  (8)快照机制:支持存储某个时间点的映像,需要时可以使数据重返这个时间点的状态 Question2. HDFS默认的块大小是多少? Answer2:HDFS数据块的默认大小是64MB,而且在不少实际部署中,HDFS的数据块甚至会被设置成128MB甚至更多。 Question3:Hadoop默认的调度器是什么? Answer3:默认调度算法FIFO(First In First Out) Question4:Hadoop MapReduce有哪些编程接口 Answer4:InputFormat、Mapper、Partitioner、Reducer和OutputFormat。 By:@zenwannnnnnnnnnnnnnnnnnnnnnnnn 
点赞 1

相关推荐

11-13 20:16
已编辑
厦门理工学院 软件测试
专业嗎喽:硕佬,把学校背景放后面几段,学校背景双非还学院,让人看了就不想往下看。 把实习经历和个人奖项放前面,用数字化简述自己实习的成果和掌握的技能,比如负责项目一次通过率90%,曾4次发现项目潜在问题风险为公司减少损失等等
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务