中国移动研究院，AI并行训练面经
- LAMB优化器介绍
- 增大bs，学习率如何调整，模型很大，bs不变呢？
- 你知道的并行切分策略；
- ZeRO介绍；
- pp并行下每张卡的显存、计算量一样嘛，激活值呢？
- DCU和华为AI加速卡区别、生态、通信库；
- 千卡项目详细介绍一下；
- 异步保存方面详细介绍；
- DDP/DeepSpeed中的一些异步保存机制；
- T5 和 GPT-2的差异；
- transformer结构；
- 残差连接的作用；
- 3D并行相关；
- 意向地
2024-11-23 13:20 门头沟学院 机器学习 发布于陕西
关注
全部评论
runruntime
门头沟学院 C++
请问什么时候通知的二面呢
又在摸鱼的托尼很中意你
门头沟学院 后端工程师
友友面的是西安吗
相关推荐
昨天 13:16
南京邮电大学 Java 等闲_：其实agent开发和语言没关系，只要能稳定落地可观测，有业务价值的agent就是好agent，而各种语言的agentkit是企业基建必要的，是一些maas平台的agent模块的重要组成，需要提供零代码的能力让M端的同***营agent，所以不要过于纠结这些，真正要看的是模型工程化这整条链路，能做什么，怎么做更方便
点赞 评论 收藏
分享
点赞 评论 收藏
分享
02-02 10:44
齐齐哈尔大学 Java 点赞 评论 收藏
分享