大模型实习简历求拷打

1.Prompt是如何生成的，优化目标是什么，任务是什么？2.减少大模型幻觉，你用过哪些方法？3.介绍一下 beam search原理，与直接sample的区别？4.搜索准确性不高你怎么排查？5.召回、排序哪个阶段最可能出问题？6.在简历项目中，你用到Bert，你能不能介绍一下 BERT和GPT的训练方式(预训练任务训练细节)的区别？7.你在项目中做过哪些相关性优化？有没有量化结果？8.生成式搜索能否保证 top-1 的准确性？怎么提高？9.agent 服务高可用、稳健性是怎么保证的？10.生成式排序你了解吗？11.如何构造排序模型训练数据？如何解决正负样本不均？

一般来说训练都需要优化，而优化就是需要优化器，整体训练我们都当作的赛车，模型就是车。优化器：这个优化器从SGD和BGD讲起，SGD：是随机梯度下降，（下降一点点）BGD是基础梯度下降，（全量）实际上都不会单独使用，现在是混合使用，mini-SGD：就是SGD+BGD。然后基于SGD进化出来了，Adam->AdamW。也就是主流优化器，基本上都是用AdamW：这个有两个特点：动量：类似惯性，比如前面几个生成正的，下面一个也就生成正的，自适应步长：自动给频繁更新的参数减速，同样的，冷门的参数会加速，还能显式剥离梯度的权重衰减，解决Transformer的架构容易过拟合的问题。过拟合：学的太好...

1. 实习介绍2. 看了今年哪些生成式推荐论文，答onerec了3. 然后聊了半小时onerec，重点在多模态tokenizer和语义id4. 拷打简历项目(infonce的温度系数作用，faiss ANN索引，正负样本，特征工程，推理测评指标等)5. RoPE和ALiBi两种相对位置编码的原理6. SwiGLU原理，比relu好在哪7. attention常规八股(根号dk，时间复杂度，为什么要分多头)8. 用过哪些大模型微调方式，LoRA微调原理9. 了解模型蒸馏吗10. 了解目前主流多模态模型吗，扩散模型公式怎么推导的11. 手撕: lc53 最大子数组和改为求出这个子数组

作业帮大模型算法面经讲一下kv cache是怎么节省空间的？kv cache的计算流程kv cache有没有改进空间参数怎么调整的？有什么意义？top k/top p/温度参数一个大的模型，怎么得到一个小模型？ Tokenizer 训练用了什么模型？讲一下 Grouped Query Attention 讲一下 RoPE旋转位置编码 git操作 如何拉取一个分支的代码到本地如何讲一个分支的代码提交远端？如果批量的对一批文件做移动操作？旋转位置编码可以加强长上下文，如果这个时候输入了一个超过最大长度的句子，该怎么处理？如何量化评价模型？