1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

1.项目介绍2.在参数高效微调中，为什么优先微调 Attention 层的 Q/K/V/O，而不是 FFN 层？3.RAG 和 GraphRAG 在处理多跳推理时的根本？4.RAG 的整体流程5.GraphRAG 系统整体流程6.RoPE 为什么能实现相对位置编码？7.Transformer 中因果注意力和双向注意力的区别8.手撕代码题：最长连续递增子序列（LeetCode 674）

八股 1. Llama的Decoder结构、位置编码有什么改进？2. 三角函数位置编码和ROPE的区别？他们是怎么实现不同的功能？3. 介绍一下RLHF流程，包括哪几步4. llm有哪些评估指标？如何评估模型？5. lora原理细节，为什么可以加速？什么是秩？6. 介绍下Reward model7. dpo训练的损失函数和训练目标8. 不做DPO，只做SFT可以吗？9. Deepseek中SFT冷启动了解吗？手撕10. 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数（力扣287）。11. 手写多头注意力MHA。

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了