Client
DistributedFileSystem
NameNode
YARN
应用程序提交:在客户端将数据写入 HDFS 之前,可能需要先提交一个基于 YARN 的应用程序,以便合理利用集群资源。
数据切片计算:如果数据量较大,需要对数据进行切片,将其分为多个部分进行并行处理。YARN 可以负责管理和分发这些数据切片到不同的计算任务。
资源分配:YARN ResourceManager 根据应用程序的需求和集群中可用的资源,对资源进行分配和调度,以确保应用程序能够顺利地写入数据。
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题