AI 大模型 Rag 系统

1. Encoder与Decoder中注意力机制存在哪些差异？2. 注意力机制的计算流程是怎样的，为何在计算时要除以根号下Dk，掩码注意力机制又是怎样达成的？3. 阐述GQA、MQA、MLA的原理分别是什么。4. 位置编码的必要性体现在哪里，为何选用sin_cos函数进行位置编码？5. 询问之前实习中Agent的设计思路，以及所提创新方法的实现方式。6. 提及使用DeepSpeed开展SFT训练，请说明DeepSpeed ZeRO Stage 1 - 3的不同之处，以及何种情况下使用FSDP更为合适。7. 询问Agent工具的设计情况，是否采用workflow形式。8. 了解哪些Agent开发框架，像langchain和LlamaIndex，它们的核心应用场景有何区别？9. 针对数据输入输出格式，为保证大模型输出稳定json格式，采取了哪些措施？10. 若Agent推理API需要低延迟响应，会从哪些方面开展系统级优化工作？11. 代码考察：给出LeetCode第34题，在排序数组中查找元素的第一个和最后一个位置

校招或社招两年内的同学，希望明年3月前入职，有意向私信联系。我们正在寻找对AI技术充满热情、具备扎实工程开发基础、具备业务和算法理解能力，愿意在AI Agent方向快速成长的同学。【职位】：AI Agent应用开发工程师【部门】：阿里巴巴淘天集团-天猫技术部【核心职责】：1、参与电商领域AI Agent系统的设计、开发、实现、测试和部署。2、将大型语言模型（LLMs）或其他AI模型集成到Agent系统中，实现特定任务或功能。3、负责Agent的工具调用、记忆机制、规划推理、环境交互等核心模块的开发。4、优化Agent的性能、稳定性和可扩展性。5、与业务运营、产品经理、算法等其他工程师协作，将Agent技术落地到实际应用场景。6、跟踪AI Agent领域的最新技术和发展趋势，并应用于产品开发。【能力要求】：1、熟练掌握Python或Java开发，熟悉常用异步编程、并发处理及性能优化技巧；理解电商Web框架、后端服务架构。2、理解LLM基本原理、常见架构及推理机制，有主流LLM API的实践经验，熟悉LLM优势和局限性，了解行业最新进展。3、熟悉Agent架构设计模式，工作流编排、ReAct、Multi-Agent协作等，了解主流Agent框架（LangChain等）、工具链，了解向量数据库、Embedding技术。了解模型微调方法（LoRA、SFT、强化学习等），了解Agent训练优化方法，了解 Agent 性能评估指标、安全可靠性与错误处理机制。4、对AI有浓厚兴趣，具备优秀的学习力、沟通协作能力，具备良好的问题拆解与系统思维能力，能从用户场景出发设计 Agent 解决方案；具备在不完全明确的需求和快速变化的技术环境下，自主探索并推动项目进展的能力。5、加分项：有实际Agent项目落地经验，掌握LLM微调、模型部署，熟悉强化学习、规划算法，有开源项目贡献、技术博客、竞赛经历。

1.你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2.构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多3.用户并发中怎么做隔离？你是如何保证线程安全的？4.微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。5.DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？6.你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？7.假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？8.多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？9.你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？10.有没有做过工具调用失败后的feedback策略设计？11.训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？12.有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？13.你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？

1. 自我介绍环节：简要介绍个人背景与技能。2. 经历阐述：介绍实习经历，并自选一篇论文进行讲解。3. 项目细节追问（具体内容略）：针对项目展开深入提问。4. 大模型生成评测：大模型生成内容的评测方式有哪些，具体如何操作？5. RAG技术短板：RAG存在哪些缺陷？6. 大模型输出一致性：如何确保大模型输出内容的一致性？7. DeepSeek R1详解：讲解DeepSeek R1的训练流程和基本原理。8. 强化学习算法辨析：DPO、PPO、GROP之间的区别是什么？9. SFT与强化学习对比：SFT和强化学习各自有什么优缺点，分别适用于什么场景？10. 提示工程方法：提示工程的主要方法有哪些？11. 大模型幻觉问题：阐述大模型的幻觉现象及抑制方法。12. 多智能体协同：如何保证多智能体协同的效果？