华泰证券、滴滴出行、百度算法工程师社招面经

1. 实习介绍2. 看了今年哪些生成式推荐论文，答onerec了3. 然后聊了半小时onerec，重点在多模态tokenizer和语义id4. 拷打简历项目(infonce的温度系数作用，faiss ANN索引，正负样本，特征工程，推理测评指标等)5. RoPE和ALiBi两种相对位置编码的原理6. SwiGLU原理，比relu好在哪7. attention常规八股(根号dk，时间复杂度，为什么要分多头)8. 用过哪些大模型微调方式，LoRA微调原理9. 了解模型蒸馏吗10. 了解目前主流多模态模型吗，扩散模型公式怎么推导的11. 手撕: lc53 最大子数组和改为求出这个子数组

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

约面不少，但面的字节京东九坤全g，算法题全秒，是项目太浅了吗，求支招

1、实习介绍2、聊项目3、ppo dpo grpo区别4、reward获取方式分别是什么5、rag怎么解决模型幻觉6、为什么做nlp7、clip训练方式？temperture的作用8、算法题：三数之和9、反问(做文心一言coder模型预训练的)