首页 > 试题广场 >

以下哪种方法主要用于缓解大模型训练中的内存墙问题？

[单选题]
以下哪种方法主要用于缓解大模型训练中的内存墙问题？ 
  • 增加Batch Size提升数据并行效率
  • 使用ZeRO优化策略分片优化器状态
  • 采用更大的学习率加速收敛
  • 引入Dropout技术防止过拟合
查看答案及解析
添加回答
活跃的芝士在被拷头像 活跃的芝士在被拷
“内存墙问题”（Memory Wall）在大模型训练中，指的是模型参数、梯度和优化器状态所需显存（或内存）超出硬件容量，成为训练瓶颈。
发表于 今天 09:03:07 回复(0)
提交观点

问题信息

大模型概念
难度：
1条回答 26浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号