字节抖音AI研发 大模型安全

1、实习介绍2、讲述论文内容和细节3、是否了解过多模态大模型，简单讲一下了解的多模态大模型4、dpo 和sft 的区别，可以先dpo后sft吗?5、如何处理reward hacking?6、dpo如果应用在第一轮对话中应该怎样做你会如何构造这个数据集合?7、手撕hot100:二叉树的右视图

1.项目介绍，问实习和论文2.大模型的超长上下文问题怎么解决预训练和 SFT 的损失一样吗3.RL 中 Reward 和优势有什么区别4. LoRA 训练和全参训练的优劣5.了解哪些常用的 RL 算法6.最新的 GSPO 重要性采样7.讲一下 DeepSeek R1，推理模型怎样训练8.GRPO 比 PPO 强在哪9.对 DAPO 和 VAPO 有了解吗10.代码：接雨水

1.问硬件、硬件利用率2.讲讲deepspeed几个阶段，分别分片什么、代价是什么3.模型训练时间如何估计4.DP和DDP的区别5.最多用过多少张卡6.训练过程如何做模型监控7.数据配比怎么量化才是一个好的方案8.讲一下预训练数据处理9.预训练和SFT如何评估10.encoder-decoder、encoder、decoder区别11.讲一下文本输入大模型到输出的过程12.decoding策略13.大模型结构有哪些变化14.拷打论文15.手撕:cross-attention

八股 1. Llama的Decoder结构、位置编码有什么改进？2. 三角函数位置编码和ROPE的区别？他们是怎么实现不同的功能？3. 介绍一下RLHF流程，包括哪几步4. llm有哪些评估指标？如何评估模型？5. lora原理细节，为什么可以加速？什么是秩？6. 介绍下Reward model7. dpo训练的损失函数和训练目标8. 不做DPO，只做SFT可以吗？9. Deepseek中SFT冷启动了解吗？手撕10. 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数（力扣287）。11. 手写多头注意力MHA。