暑期offer 决定- 腾讯地图

一面: 1.对项目很感兴趣提了很多问题(不是质问，是疑问)2.之后问Transformer架构(详细讲了整体的流程3.详细问transformer的decoder组件4.提问既然decoder-only架构已经可行了为什么还需要encoder5.提出他们准备借鉴decoder架构做生成式推荐，问我有什么想法，可以怎么实施6.根据我的简历项目，问为什么做完SFT还要做RLHF，问RLHF的好处(需要明确指明可以做到SFT哪些做不到的地方)7.问强化学习方法原理，问的特别细(感觉是因为面试官不太懂)8.手撕-只记得是力扣原题，很简单二面:1.讲项目(我超详细的从项目背景到具体怎么做的给面试官叨叨了十五分钟)2.没再提问了，直接给我介绍他们的业务，介绍他们现在想用大模型技术做搜索推荐，因为别的公司已经有成功的尝试了所以他们也准备做这个无手撕

一面 1.项目介绍2.讲讲你对 transformer 的了解3.有哪些常用的解码策略，topp 和 topk 的具体细节，以及实现上的差别4.意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7. 你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8.做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10.deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12.说-下 vm 部署8*7B的 MOE 模型每秒大概能推多少token13.对比学习了解吗，讲一下14.代码题:实现rand5到rand7

项目介绍+拷打1.每一步骤以后获得回答的变化，*在项目里sft和rlhf后大模型回答有什么变化，举例说明2.sft和 rlhf的作用有什么区别3.*sft如果用 dpo的chosen回答直接做sft的话还需要 rhf吗?八股1.sft有哪些方式?除了lora还有哪些?lora中为什么低秩矩阵是能够表示增量的?怎么初始化的?为什么要这么初始化?2.ppo、grpo、dpo(critic model和rewardmodel，哪个是未来价值，组内相对优势怎么计骎算，*如果组内差距大的话会对训练有什么影响?有没有佬说一下这个怎么答coding(二选一)1.手撕 transformer，输入一个矩阵然后输出经过transformer块以后的结果，不能使用torch，只能使用 numpy2.非 hot100 leetcode困难地下城游戏

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组