1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12. 代码：20.岛屿数量

1.自我介绍＆项目深挖2.针对 RAG 项目3.使用的 Embedding 模型结构是什么？输出向量维度是多少？4. Transformer 更新哪些参数？5.如何缓解大模型的幻觉问题？6.请描述 Transformer 的基本结构，并解释自注意力机制。7.输入向量的维度是多少？8.LayerNorm 是对哪个维度做归一化？9.你了解哪些微调方式？10.如何优化大模型的训练和推理效率？11.Prompt Tuning 和 P - Tuning 的区别是什么？12.如何让大模型处理更长的文本？13.代码能力考察:请手写反转链表。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.请介绍 Transformer 的结构组成及各部分作用2.如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3.LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？4.kv cache是什么？为什么能极大地提升推理速度？5.RAG的完整流程，构建向量检索库时如何处理时间衰减对召回的影响？6.微调时的训练数据是怎么构建的？如何保证样本多样性和质量？7.在 RAG+知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？8.训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？9.在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？10.大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？11.如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？12.代码：lc15 三数之和

小厂1：大模型算法偏agent应用（12.11）说什么和某六小龙有战略合作，所以面试官是某六小龙的主要是问简历项目1.训练数据，有没有做数据处理与增强的工作2.词表怎么训练的3.量化的结果是什么4.在什么机器上训练，时间，数据量大小5.rag中怎么做的pdf解析，对pdf里面的图片，表格数据怎么处理的，怎么编码的，检索，召回的时候都做了哪些操作，混合检索的时候的权重怎么处理的，有没有消融实现对比6为什么要sft，sft的数据有多少，sft后的效果有没有对比7.sft与rag对比8.grpo和dpo对比9.agent方面有哪些了解反问，目前在做什么业务下午面完晚上约二面某初创公司：大模型算法基座模型（12.12）1.你导师是谁（绷不住了）2.有没有考虑过词表的大小对模型表现的影响3.最影响模型效果的是哪个部分4.文本编码器用的什么，有没有尝试过更新的方法5.有没有对模块这部分设计消融实验评估对性能的影响6讲一下dpo，ppo，grpo的区别7.介绍了一下他们公司主要做的一个东西，问我对这方面有什么了解8.一个力扣easy反问，如果我来会加入到哪个部分