Hadoop上大量HDFS元数据信息存储在NameNode内存中,因此过多的小文件必定会压垮NameNode的内存
Hadoop中小文件问题无法在Client解决,只能在DataNode上做文件合并
使用Hadoop的CombineFileInputFormat<K,V>可实现小文件的合并
Client上传文件时,可以执行一定的策略先合并
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题