大模型面试题合集大模型面试八股

1.八股：请介绍一下Transformer的核心组件及其作用2.八股：介绍LLM Decoder-Only架构3.八股：你对SFT的理解是什么？与预训练相比有什么差异？4.项目：SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？5.项目：介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题？你怎么优化召回链路？6.项目：在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的？7.项目：你是如何利用多Agent协同来提高推理正确率的？调度策略如何实现？8.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？9.项目：你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的？用什么指标来衡量？10.项目：在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性？11.项目：如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化？12.代码题：lc34 在排序数组中查找元素的第一个和最后一个位置

后端两次一轮游 被这个岗捞了（我甚至没投）有兄弟知道这种评测岗做的大概是什么吗 类似于大模型的测开吗 能接触到大模型的pipeline吗

一面: 1.八股：Encoder与decoder的中Attention区别？2.八股：Attention如何计算？为什么除以根号下Dk？mask attention是如何实现的？3.八股：除了MHA还知道哪些(GQA MQA MLA)讲原理4.八股：为什么要用位置编码？为什么要用sin_cos？5.项目：问之前实习的Agent的设计逻辑，问创新方法的实现6.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？7.项目：问Agent的工具tool的设计，是否是workflow形式8.项目：了解哪些agent开发框架，例如langchain和LlamaIndex，他们核心应用场景有何不同9.项目：问数据的输入输出格式如何保证大模型输出稳定的json做了哪些工作10.智力题：有12个外观相同的芯片、其中一个重量不同(不知轻重)，用天平最少称几次能找出这张芯片？11.代码题：lc215 数组中的第K个最大元素