智力题

1.介绍下self-attention，计算其时间复杂度。2.为什么要用multi-head attention？3.PPO的clip机制？在线强化学习和离线强化学习有什么区别？RLHF是哪一种？4.为什么要用reference model? 为了解决什么问题？5.如何让多个agent协同工作的？举个具体的协同机制例子。6.如果一个agent误判导致策略冲突，如何处理？7.有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？8.你是怎么设计agent的记忆系统？9.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10.有没有做记忆衰退，避免旧数据干扰新任务？11.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12.human feedback是怎么被agent消化吸收的？有没有用rl进行策略更新？13.有没有做过模型压缩？比如在车载端或低端设备上的推理加速？14.如果量化后理解能力下降怎么办？怎么做精度补偿？15.你怎么处理响应速度与推理精度之间的tradeoff？是先召回再精排，还是单次生成？16.如果要做电商agent，你会选择哪些模态的信息作为输入？比如文本评论、图像、视频、购买记录？

1.PPO的原理？从维护的四个model讲，再详细讲一下训练流程和损失函数各个参数含义？2.为什么有了reward model还需要critic model？critic model作用是什么？3.交叉熵和kl散度的联系和区别？PPO的kl散度可以改成交叉熵吗？分类任务可以用KL散度吗？4.GRPO的kl散度和PPO的kl散度区别？K1 K2 K3估计区别？5.rollout数量 batchsize数量和计算资源(卡的数量)有什么关系？线性？非线性？6.真实采样数量一定等于rollout数量吗？7.提到了拒绝采样，详细讲一下8.你是怎么设计agent的记忆系统？9.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10.你们有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？11.vLLM框架是怎么做推理加速的？

时长：1h 面试：1. 自我介绍，介绍简历里面没有的东西2. 本科期间的经历，包括实习和科研3. 聊同花顺软件使用4. 一些个人情况5. offer到岗时间6. 介绍公司周围情况

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组