1.Hadoop 的冗余复制机制,这种机制保证了存放在 HDFS 中的数据的高可靠性和数据的完整一致性。 2. 原来是 64M,Hadoop-2.4.0 中 HDFS 文件块大小默认为 128M 3.Hadoop 中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业( FIFO )。 4. 可以分为两层。第一层是最基本的 Java API ,主要有 5 个可编程组件,分别是 InputFormat 、 Mapper 、 Partitioner 、 Reducer 和 OutputFormat 。 Hadoop 自带了很多直接可用的 InputFormat 、 Partitioner 和 OutputFormat ,大部分情况下,用户只需编写 Mapper 和 Reducer 即可。第二层是工具层,位于基本 Java API 之上,主要是为了方便用户编写复杂的 MapReduce 程序和利用其他编程语言增加 MapReduce 计算平台的兼容性而提出来的。在该层中,主要提供了 4 个编程工具包 , 为 JobControl 、 ChainMapper/ChainReducer 、 Hadoop Streaming 、 Hadoop Pipes。 微博昵称:@net_hare
点赞 1

相关推荐

牛客网
牛客网在线编程
牛客网题解
牛客企业服务