字节大模型算法岗面经简略版

flash attention解释下gqa解释下怎么才能训练好一个sft过程？sft的loss计算是用什么计算的？lora原理lora参数权重初始化lora的r和缩放参数dpo的lossdpo数据集怎么构造比较好？如果dpo训练过程中，accept回答和reject回答的loss都在升高，怎么办？假如说dpo效果不好，怎么解决？多轮对话一般要怎么训练？rag的流程？检索时，只用关键字匹配会存在问题，怎么具体解决？（没有上下文语义信息）给定一个网页，如何提取其中的关键信息

1．实习介绍2．选一个做的好的实习或者论文讲一下3．了解 RAG 吗， GraphRAG 的做法4．讲一下 FlashAttention 的思想和做法5．讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点6．场景题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点7．代码题：56．合并区间

题目1：分词

直面社会的优绩主义，这也是一个很好的社会观察实验背景:我在抖音上发我秋招的投递记录分享，用的现在很火的那种电影最后致谢的形式我说我秋招前期投数开，后期投运营销售等业务岗，评论区有人先是说，双非本怎么可能有大厂面试(对，不是说配不配有大厂offer，是学院本都不配有约面大厂的资格)之后我说前期面的研发，后期拿的仓库运营中台offer，然后一群人又说，大厂所有运营岗都是牛马岗，跟研发没得比，更有甚者，直接说某夕夕运营都是水岗(听过水硕水博，第一次听水岗的，我寻思我年包虽然没发跟数据开发比，那也大约二十万了，薪资也还行吧，怎么就水了)😇😇😇😇😇