一、项目介绍+没有手撕？项目介绍完直接开始面，没写代码二、八股1.介绍下Transformer在NLP和CV中的使用区别2.什么是 CLIP 模型？它是如何做跨模态对齐的？3.BLIP-2 中 Q-Former 的作用是什么？为什么要加一个Query Transformer？4.Contrastive Learning 的 InfoNCE Loss 公式是什么？直观上是怎么工作的？5.在多模态预训练中，如何处理图像分辨率过高的问题？关键优化手段有哪些？6.LoRA 微调在多模态大模型中的应用有何特别之处？7.什么是多模态对齐？它和 RLHF 的关系是怎样的？8.介绍一下 LLaVA 架构的核心原理和主要创新点9.在视频问答（VideoQA）场景下，时间信息是如何建模的？常见方法有哪些？三、项目1.多模态问答系统如何处理OCR和物体检测信息？这些特征在模型中怎么融合？追问：如果 OCR 提取结果错误，会影响问答准确率吗？你如何降低影响？2.你的医学影像 + 病历文本项目(这个项目我没用大模型)，数据标注成本高，如何缓解？追问：有用到合成数据/数据增强方法吗？效果如何？3.在 LLaVA 的基础上加入分辨率自适应编码器，主要优化的是哪部分的瓶颈？推理速度提升多少？