美团校招大模型应用算法二面

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

看了篇论文感觉挺有意思的，这个是我目前看，能够比较完整的把智能体错误进行系统整理并給出一个诊断方式的文章。并提出了一个多代理系统故障分类法(MAST - Multi-Agent System Failure Taxonomy)原文链接这个文章主要把Agent的问题分为了三类第一类：系统设计问题这类错误通常是因为系统让智能体扮演的角色没定义好，或者智能体没能遵守“人设”和规则。其中下分五个错误1.1 违背任务规范 (Disobey Task Specification)：用户说“不要用固定字典”，智能体非要用。即无视用户的核心约束。 1.2 违背角色规范 (Disobey Role Specif...

bg: 双二 非科班 无实习  最后签了得物(给的有点多，希望强度能顶住)时间线: 今年七月份开始投  八月九月开始大量面试  十一月十二月开奖总共参加了四十场面试 最后拿到了九个offer 不过大部分是中厂 大厂还是差口气面试线:美团一面挂京东一面挂淘天二面挂字节一面挂讯飞三面+hr面  意向顺丰线下三面    意向途虎三次面试 意向上海银行线下面  意向携程线下两面+线上hr+加面 意向快手客户端三面+hr  意向去哪儿 两件+ hr  意向拼多多客户端三面+hr  直接开奖得物两个部门六次面试 直接开奖先是签了携程 但是后来得物开了个比较大的包，且业务较为核心，所以和携程解约跟得物签了，说实话也不知道这个决定是好是坏，毕竟携程再怎么变也肯定比得物wlb的多，其实挺想去携程的各方面，但是实在是业务跟薪资不太行，希望日后能顶得住得物的强度。其实今年刚开始找的时候还是挺迷茫的，自己不是科班，是个地理相关的专业，又没有实习，感觉确实劣势很大，几乎每场面试都会问为什么没有实习，但是好在挺下来了，虽然头部大厂没什么机会，感觉他们很看实习，面试的时候感觉没什么大问题，结果面完就挂，也是没什么办法，所以如果有机会能刷个实习履历，一定还是要刷一个，不管是面试还是谈薪的时候都要有底气很多。很多时候也会迷茫，互联网朝十晚十的生活到底是不是自己想要的，钱就真那么重要吗？重要到连基本的生活都可以放弃，我还是很想下了班有时间，去喝一杯，去骑会车或者打会游戏，签了互联网就像签了卖身契一样，把自己的灵魂出卖给公司，用工时去换似乎很高的工资，但这一切值得吗，拿心理或是身体健康去换一段时间的快钱，而且还有对未来的迷茫，对35岁的焦虑，但是要是真让你去放弃，去考个编制，或者找一些轻松点，赚的少点的工作，又总是不甘心，人总是矛盾的。读研之前，我觉得毕业能找份本专业的工作，每个月赚个一万多就很知足了，但是读研之后见到、听到的多，似乎心也无法平静，也想去赚一份高薪，我不知道这个选择是否正确，我不知道我人生中的每一个选择是否正确，也许日后看来并不是最优选，不过这也是我站在雾里，所能看到，能做到的、看来是正确的选择了，至于感受如何，也许只有一年后的今年能回答了，哈哈，一年后的今天我一定回到这个帖子，聊一聊工作了半年之后，到底感觉如何。

flash attention解释下gqa解释下怎么才能训练好一个sft过程？sft的loss计算是用什么计算的？lora原理lora参数权重初始化lora的r和缩放参数dpo的lossdpo数据集怎么构造比较好？如果dpo训练过程中，accept回答和reject回答的loss都在升高，怎么办？假如说dpo效果不好，怎么解决？多轮对话一般要怎么训练？rag的流程？检索时，只用关键字匹配会存在问题，怎么具体解决？（没有上下文语义信息）给定一个网页，如何提取其中的关键信息