大模型应用开发

1.项目介绍2.微调数据构造3.案例库的embedding是怎么构建的4.视频抽帧怎么抽5.Sft是怎么进行监督训练的6.为什么lora可以训练少量参数来实现功能7.Ppo与grpo区别8.Dpo与ppo区别9.On policy与off policy10.Ppo的优势函数是怎么计算的11.PPo是怎么训练的12.讲一下豆包模型的架构，千问的模型架构13.手撕三数之和

如题，bg双九，研二学生，电子信息专业，课题是集群异常检测与影响评估软件开发相关的，目前无实习无论文，项目大都是飞行器健康管理相关的，现在想学习大模型应用开发方向并与课题结合起来做agent，然后找大模型应用开发相关的实习与工作，希望大家能提供思路和分析及可靠学习路线，十分感谢！

1.项目介绍，问实习和论文2.目前大模型模型结构都有哪些3.什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?4.prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点5.刚刚提到 MLA ，那 MLA 是怎么对 KV Cache 做优化的6.说一说大模型后训练的流程7.Qwen是怎么做长度外推的8.在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答9.代码：25.K个一组翻转链表

基础+学历 一般都会有offer复盘一下自己对于基础的总结重点一：C语言/STM 基础C 语言基础（有基础可跳过，推荐课程：鹏哥 C 语言，对新人非常友好）：只需掌握 if-else，指针，struct，其他内容做项目时再学；避免在 C 语言海洋里迷失，时间紧迫，先学会走再学会跑推荐课程：鹏哥 C 语言，对新人非常友好STM32 基础外设（推荐江科大，博主也是跟着他学的，逻辑非常清晰，细节非常到位）：学习顺序是：时钟→GPIO→中断→定时器→UART→I2C→SPI→DMA（限于篇幅原因，有哪些需要排除的细节章节可以评论区问博主，博主可以帮忙排查到底要不要学！）其他的外设比如 ADC，PWM ...