很多人问我如何准备大模型的面试,分享下我的经验,针对两种情况:1. 有大模型实习2. 无大模型实习针对无大模型实习的情况,我建议先找一段中厂实习为主,比如 zhipu、Minimax (当然有大厂进大厂)这些,相对容易进,尽量积累大模型实习经历。针对有大模型实习的情况,复习内容为:1. 常规八股(transformer、bert 等)2. 最新八股(GQA 等)3. 技术报告(一定要自己看原PDF,目前推荐 DeepSeekV3, R1, kimi1.5, Minimax-01, Qwen2.5, Qwen2.5-VL)4. 手撕 Leetcode:Hot1005. 手撕模型,比如 MHA 这些首先是常规八股和最新八股,这一部分可以自己找找网上资料,整理好的,背。然后是技术报告,目前推荐的内容有:1. DeepSeekV3:必读2. DeepSeekR1:必读3. Kimi1.5:选读4. Minimax-01:选读,据我所知最长上下文模型(外推到 4M,不过好像被 LLama4 的 10M 超过了)5. Qwen2.5:必读6. LLama3.1:必读7. Qwen2.5-VL(如果简历有多模态内容):选读重点关注:1. 阶段训练(预训练几段、Post-training 几段?上下文用了多少?数据配比是什么?)2. 模型创新点(MHA 创新是什么?作用是什么?)3. 上下文优化创新点(一般是优化显存和阶段训练)4. 多模态优化创新点(简历有多模态内容)5. 几个模型不同之处(比如 Qwen2 和 Qwen2.5 的不同之处)最后是手撕,Leetcode 只刷 Hot100 够了,模型手撕建议关注(我目前会的):1. MHA2. LayerNorm3. Transformer Encoder (MHA+LayerNorm+FFN)4. PE(绝对位置编码)5. ROPE6. SwiGLU7. RmsNorm每次面试前快速过一遍就 ok 了。