美团大模型算法秋招一面

【实习】大模型强化学习基建与算法研发实习生📍 地点： [北京/上海/深圳] ⏱️ 形式： 实习（建议至少 3-6 个月）岗位职责 (Responsibilities)作为大模型基建团队的核心成员，你将参与最前沿的多模态大模型（VLM）后训练体系建设。你将直面大规模强化学习训练中的算法与系统挑战，核心职责包括：多模态工具调用能力建设： 负责多模态模型在 Tool Use / Function Calling 场景下的后训练（Post-training）流程搭建与优化，通过 SFT 及 RL 提升模型对复杂工具的理解与调用准确率。强化学习算法优化： 深入研究并改进主流对齐算法，针对多模态数据特性设计强化学习算法策略，解决奖励稀疏与训练不稳定问题。训练系统基建与性能调优： 参与大规模分布式强化学习训练框架的研发与维护，负责显存优化、通信优化及流水线并行策略调优，提升训练吞吐量与稳定性。前沿技术探索： 跟踪大模型多模态推理的最新论文，并将前沿算法快速复现并落地到内部基建中。任职要求 (Qualifications)学历背景： 计算机、人工智能、数学等相关专业硕士或博士在读，具有扎实的机器学习/深度学习理论基础。代码能力： 精通 Python 编程，熟练使用 PyTorch，具有优秀的代码风格和工程实现能力。算法基础：深入理解 Transformer 架构及 LLM/VLM 基本原理。熟悉强化学习基本理论，理解强化学习算法细节。加分项 (Preferred Qualifications)：工具调用经验： 有 LLM Tool Learning、Agent 或 ReAct 相关的实战经验。基建经验： 熟悉 DeepSpeed, Megatron-LM, vLLM, Ray 等分布式训练/推理框架源码，或有 CUDA 算子优化经验。多模态经验： 熟悉 LLaVA, Qwen-VL 等多模态模型架构。开源/学术： 在顶级会议发表过论文，或在 Hugging Face / GitHub 有高 Star 开源项目贡献。

1.实习项目介绍2.手撕InfoNCE损失函数3.绝对位置编码，RoPE和ALiBi三种位置编码原理4.手撕Transformer(写一个decoder block)5.手撕多头自注意力6.说一下DPO的原理和损失函数7.DPO和PPO的区别8.DPO阶段相比SFT阶段数据和模型分布的区别无leetcode手撕

1.项目介绍，问实习和论文2.目前大模型模型结构都有哪些3.什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?4.prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点5.刚刚提到 MLA ，那 MLA 是怎么对 KV Cache 做优化的6.说一说大模型后训练的流程7.Qwen是怎么做长度外推的8.在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答9.代码：25.K个一组翻转链表

1.你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2.构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多3.用户并发中怎么做隔离？你是如何保证线程安全的？4.微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。5.DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？6.你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？7.假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？8.多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？9.你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？10.有没有做过工具调用失败后的feedback策略设计？11.训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？12.有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？13.你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？