关注
Question 1. HDFS是通过什么机制保证数据可靠性的?
Answer1:
(1)冗余副本策略:所有数据块都有副本,可以在hdfs-site.xml中设置副本系数,Datanode启动时,遍历本地文件系统,产生一份
hdfs数据块和本地文件的对应关系列表(blockreport)汇报给namenode。
(2)机架感知策略:集群一般放在不同机架上,机架间带宽要比机架内带宽要小,有利于在组件失效时负载均衡。
(3)安全模式:Namenode启动时会先经过一个“安全模式”的特殊阶段。
(4)心跳机制
:Namenode周期性从datanode接收心跳信号和块报告
(5)校验和 :在文件创立时,每个数据块都产生校验和
(6)回收站 :删除文件时,其实是放入回收站/trash
(7)元数据保护 :备份NameNode上持久化存储的元数据文件,然后转储到远程的NTF文件系统中。另外也可以使用
SecondaryNameNode来备份NameNode的元数据。
(8)快照机制:支持存储某个时间点的映像,需要时可以使数据重返这个时间点的状态
Question2. HDFS默认的块大小是多少?
Answer2:HDFS数据块的默认大小是64MB,而且在不少实际部署中,HDFS的数据块甚至会被设置成128MB甚至更多。
Question3:Hadoop默认的调度器是什么?
Answer3:默认调度算法FIFO(First In First Out)
Question4:Hadoop MapReduce有哪些编程接口
Answer4:InputFormat、Mapper、Partitioner、Reducer和OutputFormat。
By:@zenwannnnnnnnnnnnnnnnnnnnnnnnn
查看原帖
点赞 1
相关推荐
专业嗎喽:硕佬,把学校背景放后面几段,学校背景双非还学院,让人看了就不想往下看。
把实习经历和个人奖项放前面,用数字化简述自己实习的成果和掌握的技能,比如负责项目一次通过率90%,曾4次发现项目潜在问题风险为公司减少损失等等 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 2025年终总结 #
172763次浏览 2921人参与
# 找工作,行业重要还是岗位重要? #
85309次浏览 1688人参与
# 职场上哪些行为很加分? #
306903次浏览 3452人参与
# 大家每天通勤多久? #
69791次浏览 442人参与
# 实习的内耗时刻 #
211171次浏览 1539人参与
# 你面试体验感最差/最好的公司 #
17749次浏览 292人参与
# 一人说一个提前实习的好处 #
10690次浏览 204人参与
# 今年你最想重开的一场面试是? #
4068次浏览 69人参与
# 秋招落幕,你是He or Be #
12097次浏览 238人参与
# 互联网行业现在还值得去吗 #
46911次浏览 351人参与
# 实习没事做是福还是祸? #
16719次浏览 255人参与
# 面试吐槽bot #
164998次浏览 814人参与
# 重来一次,你会对开始求职的自己说 #
6050次浏览 154人参与
# 反问环节如何提问 #
126370次浏览 2663人参与
# 礼物开箱Plog #
675次浏览 24人参与
# 工作中听到最受打击的一句话 #
6591次浏览 113人参与
# 团建是“福利”还是是 “渡劫” #
7168次浏览 150人参与
# 我的第一份实习怎么找的 #
208544次浏览 1827人参与
# 比亚迪工作体验 #
74704次浏览 281人参与
# 大家实习每天都在干啥 #
106524次浏览 581人参与
阿里云成长空间 743人发布
查看14道真题和解析