1

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

一面：项目细节略 实习细节略自我介绍那个 Redis 跟数据库里面的一致性是怎么保障这种。那 Redis 里面除了 zset 还有哪些数据结构？像 zset 的话，它底层数据结构是怎么实现的？你觉得跳表有什么优点吗？那你觉得它有不足吗？刚才说了这么多优点。诶，那为什么 b 加树？刚才提到 b 加树的话，为什么听上去？听你的意思应该是更加适合于磁盘IO，对吧嗯？对的，这个原因是什么诶，刚才你提到其实他叶子的节点会有一个链表，是吧？这个设计的原因是什么？这个向量数据库你觉得跟普通数据库相比的话，它主要是解决什么问题？RAG是怎么做分段的。MCP 是有接触过吗？诶，你觉得我们发散一点，你觉得 MCP...

1. 实习项目问的很细，数据构造，微调参数等2. 如果子agent回复不对怎么办？反思？跳不出去怎么办？限制次数3. LORA和全参数微调的区别4. DPO，PPO，GRPO5. 逻辑回归、XGB和神经网络的区别6. XGB怎么做特征重要性的？gini系数是什么？7. Deepseek MLA？为什么压缩？8. Transformer encoder？为什么需要FFN？9. AUC物理意义，公式，公式含义code：重排链表

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列