26校招商汤大模型算法一面

flash attention解释下gqa解释下怎么才能训练好一个sft过程？sft的loss计算是用什么计算的？lora原理lora参数权重初始化lora的r和缩放参数dpo的lossdpo数据集怎么构造比较好？如果dpo训练过程中，accept回答和reject回答的loss都在升高，怎么办？假如说dpo效果不好，怎么解决？多轮对话一般要怎么训练？rag的流程？检索时，只用关键字匹配会存在问题，怎么具体解决？（没有上下文语义信息）给定一个网页，如何提取其中的关键信息

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

这是接近一年之前的事情了一、围绕项目和论文及八股SVD分解，协同过滤AUC物理意义，具体如何计算一些loss等等一些八股（感觉是因为项目不对口，所以只能问一些八股，时间太久有些记不清了）二、手撕快排二分查找的一道题

当时我花了两天时间写完一个核心模块的代码，为了方便后续维护，特意写得逻辑清晰，还加了特别详细的注释 —— 每个函数的用途、关键参数的含义、边界条件的处理都标注得明明白白，本以为这样会得到认可，结果提交代码后，前辈随口来了这么一句。我愣了半天没反应过来，下意识解释 “是我自己写的，注释特意写细了点”，但前辈只是哦了一声，没再多说。那一刻真的特别受挫：我明明认真对待了工作，花心思把代码写规范、注释写详细，结果却被质疑是 AI 生成的，仿佛我的付出和能力都被否定了。后来才知道，大家觉得 AI 写的代码往往注释偏多且格式化，可我没想到自己的细心反而成了 “疑点”。那种不被信任的无力感，比遇到技术难题还让人难受 —— 技术问题能解决，可这种隐性的质疑，好像在说 “你的代码水平配不上这样的规范”，让我之后写代码都有点犹豫，甚至会纠结 “注释要不要写这么细”。现在想想，还是会觉得心里不是滋味。工作中最在意的就是自己的付出被看见、被认可，而这句轻飘飘的质疑，直接否定了我的努力，真的比严厉批评还打击人。