我是如何准备大模型算法岗面试的？

很多人问我如何准备大模型的面试，分享下我的经验，针对两种情况：
1. 有大模型实习
2. 无大模型实习
针对无大模型实习的情况，我建议先找一段中厂实习为主，比如 zhipu、Minimax （当然有大厂进大厂）这些，相对容易进，尽量积累大模型实习经历。
针对有大模型实习的情况，复习内容为：
1. 常规八股（transformer、bert 等）
2. 最新八股（GQA 等）
3. 技术报告（一定要自己看原PDF，目前推荐 DeepSeekV3, R1, kimi1.5, Minimax-01, Qwen2.5, Qwen2.5-VL）
4. 手撕 Leetcode：Hot100
5. 手撕模型，比如 MHA 这些
首先是常规八股和最新八股，这一部分可以自己找找网上资料，整理好的，背。
然后是技术报告，目前推荐的内容有：
1. DeepSeekV3：必读
2. DeepSeekR1：必读
3. Kimi1.5：选读
4. Minimax-01：选读，据我所知最长上下文模型（外推到 4M，不过好像被 LLama4 的 10M 超过了）
5. Qwen2.5：必读
6. LLama3.1：必读
7. Qwen2.5-VL（如果简历有多模态内容）：选读
重点关注：
1. 阶段训练（预训练几段、Post-training 几段？上下文用了多少？数据配比是什么？）
2. 模型创新点（MHA 创新是什么？作用是什么？）
3. 上下文优化创新点（一般是优化显存和阶段训练）
4. 多模态优化创新点（简历有多模态内容）
5. 几个模型不同之处（比如 Qwen2 和 Qwen2.5 的不同之处）
最后是手撕，Leetcode 只刷 Hot100 够了，模型手撕建议关注（我目前会的）：
1. MHA
2. LayerNorm
3. Transformer Encoder (MHA+LayerNorm+FFN)
4. PE（绝对位置编码）
5. ROPE
6. SwiGLU
7. RmsNorm
每次面试前快速过一遍就 ok 了。 #AI面试问题分享#