首页 > 试题广场 >

千亿模型训练中，数据并行（DP）通信开销占比60%。根治方案

[单选题]
千亿模型训练中，数据并行（DP）通信开销占比60%。根治方案是： 
  • 改用ZeRO-3优化器状态分区
  • 切换模型并行（MP）替代DP
  • 增加流水线并行（PP）阶段数
  • 采用Alibi注意力减少同步次数
查看答案及解析
添加回答
沈阳工业大学运营头像 沈阳工业大学运营
老师 我不是干运营的吗

发表于 2026-01-07 18:01:02 回复(0)
提交观点

问题信息

大模型开发
难度：
1条回答 78浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号