淘天ai agent笔试就a了一题……

1.项目介绍2.微调数据构造3.案例库的embedding是怎么构建的4.视频抽帧怎么抽5.Sft是怎么进行监督训练的6.为什么lora可以训练少量参数来实现功能7.Ppo与grpo区别8.Dpo与ppo区别9.On policy与off policy10.Ppo的优势函数是怎么计算的11.PPo是怎么训练的12.讲一下豆包模型的架构，千问的模型架构13.手撕三数之和

手撕：反转链表时长：50分钟面试：1. 对于上一段实习过程中，遇到了什么问题，如何解决的2. 对于最后一个项目，RLHF中间遇到了什么问题，如何解决的3. 代码遇到问题，如何debug4. transformer中attention和MLP哪个参数大5. 了解过之前的NLP技术吗？BERT是怎么样的，跟大模型相比的优势6. 数据集多大，多少条手撕没撕出来，链表太久没写了，全忘了感觉面试官很注重实际问题的解决能力，很专业

1.实习介绍2.SFT中数据是怎么构造的  cot是怎么写的3.Cot的组成4.Transformer的架构介绍一下，self attention和cross attention的区别5.为什么大模型使用的是encoder6.PPO与DPO的区别7.PPO里用了几个模型，训练时更新哪个模型8.Python深拷贝与浅拷贝9.代码：子集问题

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现