首页 > 试题广场 >

在分布式训练大型Transformer模型时，模型并行（Mo

[单选题]
在分布式训练大型Transformer模型时，模型并行（Model Parallelism）主要针对以下哪种场景？ 
  • 数据集过大无法在单节点处理
  • 模型参数超出单个设备显存容量
  • 批次尺寸设置过大导致的效率问题
  • 优化器梯度累积的内存瓶颈
查看答案及解析
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型开发
难度：
0条回答 11浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号