首页 > 试题广场 >

大数据中使用的工具不包括（）。

[单选题]

大数据中使用的工具不包括（）。

查看答案及解析

牛客447293850号

大数据工具的基础就是从hadoop开始的,hadoop的分布式储存思想贯穿整个大数据,

在hadoop中,有HDFS,YARN,Map-Reducer加一个辅助工具组成(具体名忘了,似乎是comment)

HDFS主要用于储存,YARN是负责运行调度,Map-Reducer是自己写的对数据处理的逻辑,

但是本身来说,MR运行速度很慢,而且不同的逻辑会有大量相同的冗余代码产生,这就有了hive,

hive底层本身运行的是MR程序,但是它自身查询和sql很类同,便于学习,查询也简单,

所以,从本质上来说,hadoop,Map-Reducer,hive是一体的

为什么选择pig,我也不清楚,pig是属于hadoop生态圈的一员,但是它可能不适用于大数据工作中,好像是另一个框架能够完成它的框架功能

个人见解,不喜勿喷,谢谢!

发表于 2020-08-14 18:36:32 回复(0)

Joey413

A：Hadoop，Hadoop是一个生态圈（对大数据处理的软件框架包含很多工具），而不是一个单独使用的工具；

Mapreduce是一个计算框架；

Pig：基于MR的数据分析工具，将脚本转换位MR任务在Hadoop上执行

Hive：定义一种类SQL查询语言-Hive SQL，将HQL转化为MR执行

发表于 2020-12-07 14:30:56 回复(0)

qkmdl

发表于 2019-08-14 22:43:36 回复(1)

提交观点

问题信息

职能风控京东 2019

上传者：小小

难度：

3条回答 41收藏 1610浏览

扫一扫，把题目装进口袋