字节大模型校招算法一面

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

题目1：组合总和

1.项目介绍2.微调数据构造3.案例库的embedding是怎么构建的4.视频抽帧怎么抽5.Sft是怎么进行监督训练的6.为什么lora可以训练少量参数来实现功能7.Ppo与grpo区别8.Dpo与ppo区别9.On policy与off policy10.Ppo的优势函数是怎么计算的11.PPo是怎么训练的12.讲一下豆包模型的架构，千问的模型架构13.手撕三数之和

面试官蛮好的针对实习项目的一些场景进行拓展提问，总体上来讲比较深入，但是也会耐心的引导回答，面了75min无手撕实习：架构介绍，我这里画了一张架构图，针对着讲了下项目的需求，以及如何发展的，怎么性能优化面试官问了消息队列的取舍（为什么用的Rabbit不用Kafka），RabbitMQ及时性为啥比Kafka强底层是怎么样的，推拉分别是啥，另外就是发送数据的去重是如何实现的，（项目了没有实现说了下方法，但是出现了大key问题，又换了个数据结构set，面试官觉得还可以）八股拷打：1.分布式环境资源抢占，如何解决2.分布式锁如何实现，Redis MySQL ZK 我这臭嘴就不该提ZK的，追问ZK底层实现（不会）3.用过Map嘛，怎么用的，底层是如何实现的，什么结构，不同版本之间的差别，如何保证并发安全，为什么1.7有环链，为什么2的n次方容量，扩容位置变化4.线程创建方式，线程池参数，工作流程，拒绝策略5.场景题：订单超时未支付处理无手撕，问了问算法刷的怎么样，说别到给我推到了第二轮挂算法上反问：面试官面试官这样的面试后续还会有几轮呀，答：有的xd有的这样的技术面还有两轮，建议给我转到秋招流程去，感觉滴滴的实习短的一轮就过了，为啥到我这三轮啊哭死了😭明天还有美团实习的面试，希望顺利吧