小米日常实习大模型面经

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

笔试（部分，不全）依赖注入SpringKafka软件工程模型Docker大模型预训练的目的集合JVM参数含义SLA协议幂等性类加载器的种类动态SQL标签Saas多租户服务单元测试编程题 drop table if exists exam_record; CREATE TABLE exam_record ( id int PRIMARY KEY AUTO_INCREMENT COMMENT '自增ID', uid int NOT NULL COMMENT '用户ID', exam_id int NOT NULL COMMENT '试卷ID', start_time datetime NOT NU...

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现

一、项目深挖1. 训练时显存占用高的瓶颈在哪？做了哪些显存优化？2. 如果重新做一次，你会在哪些环节提前做 ablation？二、 延伸八股：1. AdamW 与 Adam 在权重衰减上的实现差异？2. 梯度累积等价于 batch 扩大的严格条件是什么？3. PPO 的核心目标函数是什么？每个符号的物理意义？4. 相比 PPO，GRPO 的“Group”体现在哪一步？5. KL 散度在 RLHF 阶段出现的位置、作用以及过大/过小分别会导致什么现象？6. Multi-Agent 场景里，Reflection 模块与 Memory 模块的输入输出各自是什么？它们如何解耦又能互相增强？7. 简述 MRR 的计算流程。8.同样是排序指标，NDCG 与 MRR 的评估视角差异在哪？三、手撕环节原地快速排序