百度多模态大模型一面凉经

1.实习介绍和讲论文讲实习，多模态大模型是否有接触?落地案例?2.介绍一下 Qwen布的这几版模型，都做了哪些贡献，包括数据、模型和训练3.DeepSeek 有了解吗， DeepSeek 用到的 MLA 注意力是怎么做的？它可以直接用 RoPE 吗？为什么不能，它做了哪些优化4.了解大模型的解码策略吗，简要说一说吧5.现有一个能力较弱的多模态模型和一个能力较强的文本模型（如 DeepSeek-R1），如何结合两者的能力来回答与多模态相关的问题？6.代码：199．二叉树的右视图7.反问环节

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

1.热门、分类、高分三个任务是互斥的吗?有没有做过测试，看热门和高分之间的gap，因为有些热门电影和高分电影有很大的重叠2.DeepFM中的FM和人工特征交又有什么区别?DeepFM在工业界很少用，因为特征交叉的数量太多了，应该怎么处理?a.模型比较老，现在工业界基本不用FM，因为特征交叉得到的特征太多了，一般都是魔改3.几个数据集的大小是多少?4.Gradnorm的原理是什么?工业界一般不这么用，因为这个gradnorm比较trick5.为什么使用RO-KMeans?因为RO-VAE会疯狂坍塌，坍塌现象很严重，所以只能使用RO-KMeans来做。可以看看其他生成sid的方式:a.比如第一层直接按照类别分类，之后再使用均衡KMeans6.为什么使用CLIP来实现多模态?选择CLIP的原因?手撕:Hot 46.全排列 [1,2,3]有多少种全排列?Hot 56.合并区间

1．项目介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率6.场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延7.开放题：平常在训练或者微调 LLM 或者 VLM 的时候，有什么心得吗8.反问环节