有人了解北京卡斯柯的实际工作强度吗？以及工作氛围怎么样呢？

1、项目介绍2、介绍字节实习序列建模某序列详细介绍以及为什么考虑加这个序列(每次都会被问)，某模型优点gmv优化怎么做的，介绍wce损失函数，怎么保证无偏的rankmixer介绍，进一步介绍优化思路，还有一些细节简化结构介绍，这里 DIN去掉不会有损吗3、手撕最小的k个数，又遇到这个题了4、反问我问了业务，面试官接着问了base地偏好

1.八股：请介绍一下Transformer的核心组件及其作用2.八股：介绍LLM Decoder-Only架构3.八股：你对SFT的理解是什么？与预训练相比有什么差异？4.项目：SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？5.项目：介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题？你怎么优化召回链路？6.项目：在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的？7.项目：你是如何利用多Agent协同来提高推理正确率的？调度策略如何实现？8.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？9.项目：你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的？用什么指标来衡量？10.项目：在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性？11.项目：如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化？12.代码题：lc34 在排序数组中查找元素的第一个和最后一个位置

1.项目介绍2.挨个介绍论文项目，基本上每个都讲了一遍。3.第一个论文问了，你觉得这个工作后续有没有什么可以改进和拓展的点?这是关于单轮检索的benchmark，我说可以拓展为多轮后续和agent结合在一起。4.第二个论文的时候问了其中的对比学习的loss，问这个方法可不可以用dpo去做?有没有r的经验?做过哪些实验?mini batch和global batch分别是什么意思?通过什么指标去看grpo训练是否稳定?调参过程中有什么出现的问题嘛?有什么难调的参数?5.开源项目问了，准备数据的时候如果问题很难模型一个都答不对该怎么做?如果问题很简单，对模型太简单该怎么做?如何得到合理的数据来支撑模型的sft/rl?6.关于团队:主要偏向业务的模型对齐，验收的指标是在benchmark上测，业务优先，发paper为次但是鼓励做论文。

1.展开讲讲实习的项目(追问，问的很细)2.微调大模型的方法有哪些?具体怎么做的?(追问了很久)3.生成式推荐项目 模型的输入是什么?怎么设计的?4.介绍一下CLIP，CLIP使用的损失函数是什么?5.讲讲 InfoNCE LoSS6.生成式推荐项目后续有什么可以改进的地方?

1．项目介绍，问实习和论文2．了解哪些多模态大模型，简要介绍一下吧，了解最新的一些多模态大模型都是怎么做的吗3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．了解多模态 RAG 吗5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少8．代码：一个推荐链路的排序

1. RAG常用的检索方式2. 知道哪些Embedding模型3. 了解最新技术一般怎么通过什么渠道4. RAG遇到模型缺失电商知识一般怎么做5. Qwen3的技术原理6. 怎么防止客服LLM串台问题7.代码：字符串解码8.反问：组里的资源怎么样；具体业务

(1) 实习项目1.整个面试主要还是围绕实习项目展开，项目细节都有被问到。2.然后是组内推荐的完整链路3.召回：有哪些路？有没有做用户分层？4.粗排：有没有做物料保量？多样性、类别不平衡怎么处理？5.精排：用了什么模型？PPNet 的域有哪些？用什么规则来分域？(2) 八股1.MMoE / PPNet 建模方式、跷跷板现象怎么解决、哪些模型能解、为什么能解决；2.ESMM 的原理、它解决了什么问题、样本选择偏差为什么会出现；ESCM2建模方式3.DCN 以及 DCNv2 的改进点；4.DIN 有没有实际用过。(3) 手撕1.Self-Attention；2.SQL：给员工表（id, name, salary, 部门 id）和部门表（id, name），找出每个部门3.薪资最高的员工；如果不是最高，而是要求输出前两个最高的呢？

1.展开讲一下在百度实习的工作，想法是如何逐步优化的？2.介绍一下了解的其他基于 MoE 的模型架构3.如果基于 MoE 的模型在训练时负载均衡不好怎么办？4.讲一下负载均衡的概念，如何解决负载均衡问题？5.讲一下DPO、PPO、GRPO的区别6.Deepseek r1中的训练方式有什么特别之处？怎么做的think？RLHF的流程是什么？7.如果在训练 DPO 的过程中，正例和负例的 loss 都在下降，该如何解决？8.讲一下 RAG 项目的亮点9.如果召回的答案不是想要的，该怎么处理？10.量化加速方面有了解吗？解释一下vllm11.代码题：lc129 求根节点到叶节点数字之和

1、简单介绍中厂实习经历。2、模型蒸馏的数据如何做的？如何清洗蒸馏得到的数据？3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文，刚好讲了一下。4、有没有了解过训练推理一致性这个领域？我讲了一下强化学习领域的推训一致性，固定 flash attention 分块策略， vllm 推理框架固定 page attention 分块策略。5、模型量化如何做的。 gptq , qat 等等，并说明为什么选择了w8a16的量化？6、写一下 ppo 算法的损失函数和 GAE 优势函数。主要还是讲明白7、 grpo 算法中 kl 散度和之前的方法有什么区别？在 dapo 中为何舍弃了 kl 散度？8、模型蒸馏主要的两种方式。硬标签和软标签。9、介绍一下 kmeans 算法，如何设置合适的 k 值。如果在一个非常大的数据量中，如何实时增量更新，并动态管理 k 值。10、一个场景题11、手撕题hot100，中等题，合并 k 个升序链表。

实习和项目 1.实习里粗排的融合公式里有哪些目标2.拆成多个模型还是一个多目标模型3.多任务模型有什么好处4.粗排负样本怎么设计5.相比 ReLU，Swish 有什么优点6.GeLU 和 Swish 的关系是否了解7.梯度消失或爆炸的原因和解决方法8.BatchNorm 和LayerNorm的区别及适用场景9.List-wise的损失函数形式是什么样子的10.讲讲NDCG 的公式11.ItemCF的i2i矩阵如何构建12.DIN 和 Transformer 的 attention 有什么不同概率题1.每次射击独立，命中率15%，求首次命中时总射击次数的期望codingleetcode 124. 二叉树中的最大路径和（hot100 困难题）反问

1.实习介绍2.项目问题，还让写了一个项目的代码3.transformer结构4.1112正则化5.冷启动问题怎么解决6.Bert和gpt区别7.为什么分类用交叉熵回归用 mse8.对梯度的理解9.算法题:按字典序返回1-n内所有整数10.反问:业务 base地 组内目前在做的方向

实习和项目 1.详细介绍实习工作, 广告全链路细节2.序列建模有哪些结构3.端到端相对 SIM 的增益在哪里4.是否有attention 极化现象, 如何应对5.序列 item 包含哪些特征6.信息流推荐场景下可以引进哪些序列7.是否了解 NIP loss8.介绍召粗突破双塔的方法9.生成式推荐的优势有哪些codingleetcode 437. 路径总和 III （hot100 中等题）反问

1. 实习介绍+介绍论文2. attention的计算时间复杂度3. 推荐系统或者NLP领域 有什么方法可以加速attention计算4. 你了解哪些生成式推荐的论文5. 为什么要在推荐系统引入RQ-VAE6. RQ-VAE和VQ-VQE有什么不同7. RQ-VAE怎么解决坍塌问题8. Normalization有哪些，有什么作用9. 什么时候用batch norm什么时候用layer norm，为什么10. 训练和推理的时候的BN均值和方差都是怎么得到的11. 代码题：Ic331验证二叉树的前序序列化