求传统java转大模型经验

如题，bg双九，研二学生，电子信息专业，课题是集群异常检测与影响评估软件开发相关的，目前无实习无论文，项目大都是飞行器健康管理相关的，现在想学习大模型应用开发方向并与课题结合起来做agent，然后找大模型应用开发相关的实习与工作，希望大家能提供思路和分析及可靠学习路线，十分感谢！

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

bg 双非本 211硕 一段得物实习准备再去一家小公司实习一段时间，因为当时一面面试官和我说的是会基于ai做关于订单模块的优化，觉得业务不错，但经过了解，这家公司是低代码开发的，不知道去了对春招有没有帮助这种低代码的小公司建议去吗？另外想问下大家，春招找到中大厂互联网的可能性大吗？虽然我知道肯定不如秋招大

1.实习介绍2.展开讲一下在百度实习的工作3.实习工作具体是如何做的？4.具体探索过程是怎样的？5.想法是如何逐步优化的？6.介绍一下你了解的其他基于 MoE 的模型架构7.如果基于 MoE 的模型在训练时负载均衡不好怎么办？8.讲一下负载均衡的概念9.如何解决负载均衡问题？10.讲一下 DPO、PPO、GRPO 的区别11.如果在训练 DPO 的过程中，正例和负例的 loss 都在下降，该如何解决？12.讲一下 RAG 项目的亮点13.如果召回的答案不是想要的，该怎么处理？14.算法题：求根节点到叶节点数字之和（LeetCode 129，非 Hot100）