关注
1.Hadoop
的冗余复制机制,这种机制保证了存放在
HDFS
中的数据的高可靠性和数据的完整一致性。
2.
原来是
64M,Hadoop-2.4.0
中
HDFS
文件块大小默认为
128M
3.Hadoop
中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业(
FIFO
)。
4.
可以分为两层。第一层是最基本的
Java API
,主要有
5
个可编程组件,分别是
InputFormat
、
Mapper
、
Partitioner
、
Reducer
和
OutputFormat
。
Hadoop
自带了很多直接可用的
InputFormat
、
Partitioner
和
OutputFormat
,大部分情况下,用户只需编写
Mapper
和
Reducer
即可。第二层是工具层,位于基本
Java API
之上,主要是为了方便用户编写复杂的
MapReduce
程序和利用其他编程语言增加
MapReduce
计算平台的兼容性而提出来的。在该层中,主要提供了
4
个编程工具包
,
为
JobControl
、
ChainMapper/ChainReducer
、
Hadoop Streaming
、
Hadoop Pipes。
微博昵称:@net_hare
查看原帖
点赞 1
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
10-27 10:08
南开大学 用户研究员 点赞 评论 收藏
分享
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
- 1... 2025的主旋律是蛰伏,落寞,遗憾1.5W
- 2... 杂记近期所面试的三家中小厂9496
- 3... 岁末论道:谁才是牛客 2025 最强修仙者?7611
- 4... 圣诞节用 AI 做个牛客运营翻翻乐!(含代码)5727
- 5... 选择即命运—2025年度总结5306
- 6... 从H200解禁评估:国资算力平台还值得应届就业吗?4400
- 7... 大学废物离开优绩主义之后发现外面根本没下雨4195
- 8... 我只是一个脆弱的人3666
- 9... 在大厂实习 因为请一天病假要求我离职3249
- 10... 互联网实习求职的黑话和timeline,你所需要知道的……3165
正在热议
更多
# 牛客2025仙途报告 #
1004次浏览 36人参与
# 你面试体验感最差/最好的公司 #
19127次浏览 316人参与
# 2025年终总结 #
174691次浏览 2958人参与
# 秋招落幕,你是He or Be #
13528次浏览 260人参与
# 中美关税战对我们有哪些影响 #
49899次浏览 392人参与
# 一人说一个提前实习的好处 #
11856次浏览 213人参与
# 中美关系回暖,你会选择出海吗? #
13892次浏览 140人参与
# 今年你最想重开的一场面试是? #
4554次浏览 72人参与
# 重来一次,你会对开始求职的自己说 #
6479次浏览 163人参与
# 实习没事做是福还是祸? #
17635次浏览 262人参与
# 机械制造秋招总结 #
97270次浏览 878人参与
# 找工作,行业重要还是岗位重要? #
85530次浏览 1695人参与
# 团建是“福利”还是是 “渡劫” #
7594次浏览 152人参与
# 工作中听到最受打击的一句话 #
7317次浏览 120人参与
# 考公VS就业,你怎么选? #
88024次浏览 496人参与
# 你小心翼翼的闯过多大的祸? #
11424次浏览 164人参与
# 哪些行业值得去? #
14344次浏览 74人参与
# 礼物开箱Plog #
895次浏览 28人参与
# 比亚迪工作体验 #
74845次浏览 282人参与
# 大厂VS公务员你怎么选 #
74914次浏览 681人参与
