27实习字节大模型算法 二面 45min

1、实习介绍2、讲述论文内容和细节。3、是否了解过多模态大模型，简单讲一下了解的多模态大模型。4、dpo 和sft的区别，可以先dpo后sft吗？5、如何处理reward hacking？6、dpo如果应用在第一轮对话中应该怎样做，你会如何构造这个数据集合？你认为多轮对话中，数据分布应该是什么样的？手撕hot100：二叉树的右视图

八股 1. Llama的Decoder结构、位置编码有什么改进？2. 三角函数位置编码和ROPE的区别？他们是怎么实现不同的功能？3. 介绍一下RLHF流程，包括哪几步4. llm有哪些评估指标？如何评估模型？5. lora原理细节，为什么可以加速？什么是秩？6. 介绍下Reward model7. dpo训练的损失函数和训练目标8. 不做DPO，只做SFT可以吗？9. Deepseek中SFT冷启动了解吗？手撕10. 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数（力扣287）。11. 手写多头注意力MHA。

1.问硬件、硬件利用率2.讲讲deepspeed几个阶段，分别分片什么、代价是什么3.模型训练时间如何估计4.DP和DDP的区别5.最多用过多少张卡6.训练过程如何做模型监控7.数据配比怎么量化才是一个好的方案8.讲一下预训练数据处理9.预训练和SFT如何评估10.encoder-decoder、encoder、decoder区别11.讲一下文本输入大模型到输出的过程12.decoding策略13.大模型结构有哪些变化14.拷打论文15.手撕:cross-attention

快泡1个月了……很无力啊，一二三面都很顺利当天约下一轮，以为自己真踩狗屎运捡上补录了，结果终面狠狠扇了一巴掌，现在已经不想去催hr了，问就是还没出结果……所以到底是啥情况，真得0offer回家过年了啊🤣🤣