1. 实习介绍;2. 根据我简历，让我介绍一下论文A3. 介绍论文B：问了很多问题，大概讲了20多分钟，包括：讲下SP？讲下vllm？链接到了论文C，问关于稀疏帧采样有没有了解？4. 介绍论文C：让我详细介绍下是怎么采样的（讲的不好，人家没细问）5. 讲一下GRPO：GRPO和PPO哪里比较有优势？GRPO和PPO具体哪里不同？6. 手撕：#2554 Maximum Number of Integers to Choose From a Range I

1.项目都问得很深入，基本上写在简历的每一句话都会问问了数据集(举具体的例子)，整个流程的pipeline，项目评估的指标是如何计算出来的react 是如何实现的，包括提示词怎么写的八股1.BatchNorm 和LayerNorm 是如何处理数据的举个例子，分别适用在哪个场合?为什么?2.mcp 协议了解吗?3.为什么要做rag?为什么要把 retrival 和generation拆开4.大致介绍-下 lama-factory框架算法:打家劫舍(不是hot100，是环形的 dp)

1.实习介绍2.介绍简历上的经历，详细问了一些细节3.代码题a.二叉树右视图，但是需要自己构建二叉树4.反问环节

1、详细介绍项目2、SFT数据来源，是否包含人工标注?数据质量如何保证?输入输出格式?3、为什么选择GRPO而不是PPO/DPO?介绍一下PPO和DPO4、GRPO的不足之处，后续改进的工作介绍一下(介绍了DAPO、GSPO)5、GRPO阶段数据比例如何设计，与SFT阶段数据的区别?6、Reward是如何设计的?7、强化学习在Agent中的挑战8、了不了解MIMO反问

1.对话式电商（通过聊天机器人完成购物）是近年热门方向。请分析对话式电商的产品形态、技术挑战和商业价值，并对比传统搜索式购物的差异化优势2.请解释RAG技术在电商场景中的应用方式，并设计一个基于RAG的智能客服产品方案，包括知识库构建、检索策略和生成优化。3.”生成式推荐"是AI电商的核心方向之一。与传统推荐系统相比，生成式推荐的核心创新点是什么？请设计一个具体的生成式推荐产品功能，并分析其技术可行性和商业价值。4.淘宝每年有数十亿商品上新，传统人工审核和分类已无法满足需求。请设计一个基于AI的商品理解与分类系统，包括商品图文理解、多模态特征提取、自动化分类和异常商品检测。5.请分析"AI模特"（用AI生成虚拟模特展示服装）在电商场景的应用现状、用户体验问题和商业价值。如果你是产品负责人，会如何优化这个功能？6.假设你要设计一个"AI购物助手"，帮助用户在淘宝上找到最适合的商品。请从用户需求洞察、产品功能规划、技术实现路径三个维度，输出完整的产品方案。7.淘宝首页的"猜你喜欢"推荐系统已经非常成熟。请分析在AI时代，推荐系统可能的进化方向，并设计一个"AI增强版推荐"的产品功能。8.请设计一个A/B测试方案，验证"AI生成的商品文案"对商品点击率和转化率的影响。请说明实验假设、核心指标、分流策略和结果评估方法。9.AI生成的内容（如商品文案、买家秀、评测）可能涉及虚假宣传问题。请从产品设计的角度，分析如何在"AI提效"和"内容真实性"之间找到平衡。10.淘宝的AI推荐功能可能存在"信息茧房"问题——用户越买什么，系统越推什么。请设计一套产品方案，在提升推荐精准度的同时，帮助用户发现更多元的商品。

1.CogVideoX 的模型结构、3D VAE 的压缩率、MM - DiT 的优势、4f+1为什么要＋12.FLUX 的结构，生成模型，优势3.SD3的架构，生成原理 Flow matching4.VQ - VAE 使用的的损失函数，训练过程5.为什么用 Lora 微调，为什么不用 ControlNet6.Lora 的原理， LoRA 在推理的时候怎么与原参数融合不带来时间成本7.Flow matching 与 DDPM 的区别及优势8.数据和 prompt 构建的过程9.个人怎么看待视频生成和图像生成，更倾向于那种10.Wan2.1的详细架构和训练细节11.算法：0841．钥匙和房间

1.项目经历2.如何增强模型的多轮对话能力？3.介绍MoE （混合专家）架构核心优势。4.阐述大模型训练与推理的完整流程。5. 对比 LORA 微调 Qwen 模型两种微调方式的性能表现。6.FlashAttention v1 和 v2 的主要改进点分别是什么？7.CoT（Chain-of-Thought）训练数据是如何构造的？8.当前主流的强化学习算法有哪些？9.代码：LeetCode 22，实现“括号生成”问题。

1.实习介绍2.问项目3.GRPO,DPO,PPO区别4.LORA的秩一般是如何选取的5.小米训练用的什么框架6.LORA微调的原理7.LORA为什么可以实现少量的参数完成全量微调的效果8.手撕有效的IP地址9.反问，组里做到餐的LLM生成餐，toC和toB

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？它又是怎么实现的？6. 现在主流的大模型，像GPT系列，大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢？7. LoRA作为一种高效的微调方法，它的核心原理是什么？能讲讲吗？8. 为了优化推理速度，KV Cache是一个很关键的技术。它的原理是什么？9. 我们来聊聊你的项目经历吧。可以挑一个你觉得最有意思的实习、论文或者科研项目详细讲讲。10. 来个场景题吧。假设我们是做电商的，你觉得可以怎么用大语言模型来解决我们的一些实际业务问题？11. 最后来做两道算法题吧。第一道是“无重复字符的最长子串”，第二道是“排序链表”

一、基础理论与模型结构1.Transformer架构a.解释Self-Attention机制的计算过程，并推导时间复杂度。b.为什么Transformer使用多头注意力(Multi-Head Attention)?c.位置编码(Positional Encoding)有哪些实现方式?对比绝对位置编码和相对位置编码(如ROPE)2.模型演进a.GPT系列模型(GPT-1/2/3/4)的核心改进点是什么?b.LLaMA系列模型的设计特点(如RMSNorm、SwiGLU激活函数)?c.对比Decoder-only(如GPT)和Encoder-Decoder(如T5)架构的优缺点。3. Scaling Lawsa.大模型的缩放法则(Scaling Laws)是什么?如何指导模型训练?b.模型参数、数据量、计算量之间的关系(Chinchilla定律)?二、训练与优化1.分布式训练a.解释数据并行、模型并行、流水线并行的区别与应用场景。b.ZeRO优化(如ZeRO-2/3)如何减少显存占用?c.混合精度训练的原理是什么?为什么需要Loss Scaling?2.微调方法a.全参数微调(Full Fine-tuning)与高效微调(如LoRA、Adapter)的对比。b.解释LORA(Low-Rank Adaptation)的原理和优势。c.指令微调(Instruction Tuning)与RLHF的区别是什么?3.显存与计算优化a. Flash Attention的原理及其对训练速度的影响?b.梯度检查点(Gradient Checkpointing)如何权衡显存与计算时间?c.大模型训练中常见的显存瓶颈及解决方法(如激活显存优化)?三、推理与部署1.推理加速a.解释KV Cache的原理及其对推理速度的影响。b.连续批处理(Continuous Batching)如何提高GPU利用率?c.对比vLLM、TGl、FasterTransformer的适用场景。2.量化与压缩a.GPTQ和AWQ量化方法的区别?b.如何量化模型的同时最小化精度损失?c.解释GGUF格式的特点及其在llama.cpp中的应用。3.延迟与吞吐优化a.如何通过动态批处理(Dynamic Batching)优化推理吞吐?b.大模型推理中的显存碎片问题如何解决?c.端侧部署(如手机、浏览器)的关键技术(如WebGPU、MLC-LLM)?四、应用与评估1.RAG(检索增强生成)a.如何设计一个基于向量数据库的RAG系统?b.检索器(Retriever)与生成器:(Generator)的联合优化方法?c.评估RAG系统的核心指标有哪些(如Hit Rate、MRR)?2.Agent设计a.如何用ReAct框架实现LLM的推理与工具调用?b.解决Agent任务中的长程依赖和幻觉问题的方法?c.多Agent协作(如AutoGen)的关键技术?3.模型评估a.如何评估大模型的事实准确性(如TruthfulQA)?b.大模型的伦理风险(如偏见、隐私泄露)如何检测和缓解?c.对比MMLU、C-Eval、AGIEval等评测基准的侧重点。五、开放性问题1.场景设计a.如何设计一个支持百万级用户并发的智能客服系统?b.若想用LLM处理金融数据分析，需要考虑哪些技术点?2.性能调优a.给定一个显存不足的GPU服务器，如何部署70B参数的模型?b.如何降低API调用LLM的成本(如缓存、模型蒸馏)3.前沿技术a.解释MoE(Mixture of Experts)架构的优势与挑战(如Mixtral-8x7B)Ob.对比DPO(Direct Preference Optimization)与PPO在RLHF中的差异。c.多模态大模型(如GPT-4V、Gemini)的核心技术难点是什么?六、代码实战题1.手写Attentiona.用PyTorch实现一个简化版的Self-Attention层。b.优化Attention计算(如Flash Attention伪代码)2.模型微调a.使用Hugging Face库实现LoRA微调LLaMA-7B.b.用LangChain构建一个检索增强的问答管道。3.性能分析a.分析一段模型训练代码的显存占用瓶颈并提出优化方案。b.实现一个简单的KV Cache机制。

1.Transformer 中为什么要用多头注意力？单头注意力有什么局限性？2.Transformer的并行化讲一讲；为什么要除根号dk3.LoRA 和全参数微调相比，在推荐场景下各自的优缺点是什么？4.为什么在推荐系统中引入 RAG？知识库的数据来源和构建流程是怎样的？5.嵌入模型为什么选 BGE？FAISS 索引是如何构建的？6.RAG 的 chunk 划分策略是什么？7.什么场景需要GraphRAG，它的好处是什么？8.项目中用了LangGraph实现多工具调用链路，相比纯Prompt 有什么优势？9.当输入超过模型上下文长度时，有哪些主流解决方案？（如滑动窗口、压缩、摘要）10.手撕：合并区间（LeetCode 56）

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道

八股 1.bf16 和 float16 的区别？各占多少位？训练中如何选择？2.DeepSpeed Zero 各阶段分别做了哪些优化？3.如何估算 LLaMA-7B 模型推理时的显存占用？4.Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？例如： RoPE 外推、MoE6.PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.未来希望专注大模型哪个方向？例如：对齐 / 推理加速 / 长上下文手撕：K 个一组翻转链表（LeetCode 25）

1.项目拷打为主2.中英文自我介绍3.Sft用了什么方法，如何判断sft效果已经达标了4.从loss上观察是什么样的5.调参是怎么调的，有什么依据6.Lora有哪些参数可以调7.数据标注是怎么标的8.模型输入输出是什么，评价指标是什么9.AIGC项目中的反思模块怎么做的10.全模态的意图识别怎么做的11.涉及到的计算资源规模大概有多少12.全流程耗时指标13.Python元组和列表的区别和相同点14.列表、元组是否可变15.多线程和多进程16.深拷贝和浅拷贝区别17.了解哪些模型的量化方法和加速方法18.编程中常见的设计模式有哪些19.编程题1：把第二个数组合并到第一个数组，使之有序（第一个数组已在后面添加足量的0，需要原地修改第一个数组）20.编程题2：找到一个数组中第n大的数