首页 > 试题广场 >

在分布式训练大语言模型时,数据并行的主要优势是什么?

[单选题]
在分布式训练大语言模型时,数据并行的主要优势是什么?
  • 将模型分割到多个GPU以减少单个设备的内存占用
  • 通过复制模型到每个设备并处理不同数据子集加速训练
  • 合并多个模型的输出以提高推理精度
  • 减少跨设备通信的开销和延迟

这道题你会答吗?花几分钟告诉大家答案吧!