1．项目介绍，问实习和论文2．实习微调过Qwen2，你说说Qwen2的模型结构吧，Qwen2相比Qwen1做了哪些改进3．为什么现在 Decoder - only 成为大模型的主流架构4．了解过哪些模型训练推理优化的方法5．为什么有了 SFT 之后还需要 RLHF6 .PPO 和 DPO 的主要思想是什么7．代码：23．合并 K 个升序链表

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

1.八股：请介绍一下Transformer的核心组件及其作用2.八股：介绍LLM Decoder-Only架构3.八股：你对SFT的理解是什么？与预训练相比有什么差异？4.项目：SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？5.项目：介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题？你怎么优化召回链路？6.项目：在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的？7.项目：你是如何利用多Agent协同来提高推理正确率的？调度策略如何实现？8.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？9.项目：你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的？用什么指标来衡量？10.项目：在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性？11.项目：如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化？12.代码题：lc34 在排序数组中查找元素的第一个和最后一个位置

1．实习介绍2．选一个做的好的实习或者论文讲一下3．了解 RAG 吗， GraphRAG 的做法4．讲一下 FlashAttention 的思想和做法5．讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点6．场景题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点7．代码题：56．合并区间