荣耀大模型算法工程师一面

1.自注意力机制是什么？计算复杂度怎么算？2.KV-Cache的如何加速推理？3.LoRA的原理是什么？与P-Tuning、Adapter的异同点？LoRA的参数选择对模型性能有何影响？4.介绍下RLHF的基本流程，与DPO的差异是什么？5.分布式训练中的TP、PP、DP分别是什么？6.flash-attention的原理是什么？7.如果视觉模块误判，如何通过语言纠错？8.具体讲讲怎么构建evaluation pipeline的?代码题：lc23.合并 k 个有序链表

1．自我介绍，过实习和论文2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗4．除了 DeepSpeed ，还用过其他的什么优化方法吗5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存8. 在微调 Qwen 的时候，数据是怎么构造的9.代码：无重复字符的最长子串

1. 自我介绍环节：简要介绍个人背景与技能。2. 经历阐述：介绍实习经历，并自选一篇论文进行讲解。3. 项目细节追问（具体内容略）：针对项目展开深入提问。4. 大模型生成评测：大模型生成内容的评测方式有哪些，具体如何操作？5. RAG技术短板：RAG存在哪些缺陷？6. 大模型输出一致性：如何确保大模型输出内容的一致性？7. DeepSeek R1详解：讲解DeepSeek R1的训练流程和基本原理。8. 强化学习算法辨析：DPO、PPO、GROP之间的区别是什么？9. SFT与强化学习对比：SFT和强化学习各自有什么优缺点，分别适用于什么场景？10. 提示工程方法：提示工程的主要方法有哪些？11. 大模型幻觉问题：阐述大模型的幻觉现象及抑制方法。12. 多智能体协同：如何保证多智能体协同的效果？

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。