1.项目经历2.模型的 loss 函数前乘以10，会对训练造成什么影响？3.deepseek v3的 rope 实现？ deepseek r1的训练过程？4.做过 rag 是吗？介绍 graph rag ?5.bge 和 gte 模型怎么训练的？为什么不能直接用 bert - base 来做余弦相似度召回？6.对比学习的常用 loss 有哪些？ InfoNCE 的超参数？温度系数对训练的影响？7. gradient checkpointing 原理？ gradient _ accumulation 原理？8.多模态大模型的预训练原理？预训练一般分为几个阶段？ ViT 现在一般用什么方法进行预训练？9. 手撕：梯度下降求平方根。

1、项目介绍2、讲述论文内容和细节3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好5、位置编码:sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势6、欠拟合“和过拟合定义，通常如何解决?7、transformer的位置编码的基底是10000为什么设置100008、手撕:岛屿的数量

1.自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗2.在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的3.讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗4.在做对齐的时候，为什么 SFT之后还要做 RLHF，只用 SFT 可以吗5.知道哪些强化学习算法，除了PPO和 DPO这些呢，DeepSeek用的GRPO 相比于 GPT的 PPO 做了哪些改进6.开放题:对目前大模型的发展有什么看法7.代码:零钱的两个题 322.零钱兑换518.零钱兑换 II

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道