关注
1. 训练时间估算
时间 ∝ 总FLOPs / (算力FP8/FP16 × 利用率)
总FLOPs ≈ 6 × 参数 × Token数
再除以单卡算力、并行数、利用率,就是时长。
2. Prefill / Decode 优化
- Prefill:长序列并行、FlashAttention、分块、算子融合、向量化
- Decode:KV cache、连续Batch、PagedAttention、Speculative Decoding
3. Two-batch overlap
- 同时跑两个微批次,计算/通信重叠
- 负优化:计算太快、通信太小、显存不够、调度 overhead 盖过收益
4. Megatron-LM 通信优化
TP+PP+DP三维并行;
重叠通信计算;
分桶AllReduce;
激活重计算;
减少跨节点通信量。
5. PD分离(PP+DP)为什么要KV transfer
为了流水线+数据并行一起用,提高吞吐;
虽然有KV拷贝成本,但整体能堆更大Batch、更高利用率。
6. MuON / AdamW 不能混用
优化器状态、动量、更新逻辑完全不兼容;
预训练用一个,微调换另一个,状态不匹配,直接训崩/不收敛。
7. 跨SM PD / AF 分离
核心:拆任务、提高 occupancy、隐藏延迟;
PD:并行度拆分更干净;
AF:聚焦注意力/前馈访存与计算重叠;
看模型结构、Kernel瓶颈选。
8. CUDA Global / Shared 注意
- Global:对齐、连续访问、合并访存、少随机读、用L2缓存
- Shared:防bank conflict、分块复用、同步_sync、容量控制
9. DeepSeek-V3 优化点
高效架构+长序列支持;
优化Attention/FFN计算;
更好的并行策略;
推理侧低延迟高吞吐。
10. DeepSeek-DSA/NSA/MoBA
- DSA:领域稀疏注意力
- NSA:神经稀疏注意力
- MoBA:混合专家注意力
核心都是稀疏化、省计算、扩容量。
11. NCCL 原语 & AllReduce 次数
原语:Send/Recv、Broadcast、Reduce、AllGather、ReduceScatter、AllReduce
Ring AllReduce:2次(ReduceScatter + AllGather)。
12. 小数据量 NVSHMEM vs Ring AllReduce
少了Ring多跳延迟;
直接GPU-GPU读+本地Reduce;
小数据下延迟更低、更简单。
13. 超长序列训练并行
TP+PP+CP(上下文并行)+ ZeRO;
分块Attention、分块FFN;
激活重算+KV复用;
控制通信量。
14. Ampere → Hopper 算子升级
- 用TF32、FP8、新指令
- 适配TMA、异步拷贝
- 优化Warp调度、 occupancy
- 重写Attention/MatMul,用Hopper专属优化
查看原帖
1 评论
相关推荐
03-02 19:26
浙江工业大学 深度学习 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 实习生至暗时刻 #
4820次浏览 93人参与
# AI求职记录 #
1043次浏览 61人参与
# 神州信息求职进展汇总 #
1959次浏览 43人参与
# 交出你的校招焚诀 #
1671次浏览 43人参与
# 你见过最离谱的招聘要求是什么? #
260463次浏览 1750人参与
# 哪些公司开暑期实习了? #
5642次浏览 46人参与
# AI面试问题分享 #
5220次浏览 106人参与
# 春招开局,你有保底offer吗? #
9082次浏览 84人参与
# 面试___岗的必刷题单 #
3012次浏览 44人参与
# 三月的小目标 #
3118次浏览 61人参与
# 实习生的生存小技巧 #
2765次浏览 53人参与
# 小厂一定不能去吗? #
10454次浏览 103人参与
# 你经历过哪些AI幻觉? #
1832次浏览 37人参与
# 十二月请对我好一点 #
84602次浏览 688人参与
# 找AI工作应该卷什么? #
1363次浏览 27人参与
# 你今年的保底offer是哪家 #
171891次浏览 721人参与
# 面试时间长是好事吗? #
129561次浏览 741人参与
# 金融财经春招备战日记 #
55312次浏览 238人参与
# 字节开奖 #
128680次浏览 590人参与
# 实习/项目/竞赛奖项,哪个对找工作更重要? #
107234次浏览 1189人参与
# 小厂实习有必要去吗 #
83185次浏览 404人参与

查看8道真题和解析