淘天

1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12. 代码：20.岛屿数量

1. 介绍RAG流程；介绍对编码模型的了解、原理、优缺点；如何评估编码模型的能力2. RAG有哪些分类；多模态RAG有哪些实现框架；伪多模态RAG和多模态RAG分别怎么实现，有什么区别；CLIP可以用于哪一类多模态RAG3. RAG怎么评估，RAG评估体系中最重要的是什么4. 传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景5. 介绍微调负责的工作；大模型微调最重要的是什么6. 后训练有哪些方式；微调有哪些方式；LoRA原理及参数量7. 介绍DPO；DPO与PPO的区别8. 介绍一些Agent的实现框架；这些框架有什么区别；LangGraph适用于什么场景；LangGraph构建Agent的方式有哪几种9. 场景题：客户输入一个软件或网页界面截图，如何通过RAG的方式帮助用户了解界面的每一个组件作用10.代码：136.只出现一次的数字

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素