攒人品：作业帮大模型算法面经

一般来说训练都需要优化，而优化就是需要优化器，整体训练我们都当作的赛车，模型就是车。优化器：这个优化器从SGD和BGD讲起，SGD：是随机梯度下降，（下降一点点）BGD是基础梯度下降，（全量）实际上都不会单独使用，现在是混合使用，mini-SGD：就是SGD+BGD。然后基于SGD进化出来了，Adam->AdamW。也就是主流优化器，基本上都是用AdamW：这个有两个特点：动量：类似惯性，比如前面几个生成正的，下面一个也就生成正的，自适应步长：自动给频繁更新的参数减速，同样的，冷门的参数会加速，还能显式剥离梯度的权重衰减，解决Transformer的架构容易过拟合的问题。过拟合：学的太好...

自己几个月的努力没有白费，真的很开心，也重新拾起能让自己自信的勇气感谢之前各位素不相识的牛友们的鼓励与支持这一刻，坚持仙蛊，练成！

夜深了，我带着疲惫不堪的面庞和熠熠生辉的双眼，坐在电脑前，提笔却又放下，娇柔婉转，愁肠百结在这一刻体现的淋漓尽致，我该怎么写呢，是写我继续百折不挠的去争去抢，去干去卷？可我真的好累啊。还是写我已经被这人生击碎了梦想，不再百舸争流，也不再百尺竿头，可是我满心不甘。 我怎么呢允许我这一生就如此呢？哪怕最后没有什么所谓的成就，哪怕最后我的理想没有达成，可是我也要我有的态度啊，可是我也不能就此放弃啊，那样，我没法给自己一个交代。 我染上了哪些病？我的病多了，高强度的内卷，肯定让我的身体消耗严重，腰不舒服，经常头痛，要保持运动，不然喘不过气，身体也会不舒服，更重要的事心理上的病，想卷吧，遥遥无期，疲惫不...

✅一面 1.自我介绍2.项目拷打与反问3.写一下交叉熵损失的公式4.MSE能用到分类任务上吗5.介绍transformer6.介绍auc，精确度，召回率，F1等等，auc的意义是什么7.为什么Transformer用ln不用bn8.开放:如果给你一批数据的点击率，曝光度，位置信息等，如何判断用户点击数据是否跟数据的位置有关✅二面1.项目的拷打与反问，比一面要刁钻一些2.问了GRPO和DPO的公式，后者没答出来3.问了DRPO，为什么可以把散度去掉，没答上来4.为什么要重要性采样5.讲一下注意力机制，交叉注意力，为什么除以根号d6.介绍一下什么情况下会出现梯度爆炸和梯度消失，为什么，出现了这种情况模型会怎么样7.贪心算法📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。