小白是通信工程本，目前预计能申上港科or南洋msc，一想到再过半年就要秋招好像啥都不会。毕业设计做的是yolo算法，会一点python，本科只学过一些c语言和数据结构，matlab承包了所有课程学习。想请教下各位选择学习java开发还是算法，现在开始学习能否在留学前找到一段日常/转正实习😣😣

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

选择一家技术强、口碑好的公司，对你的成长和后续发展至关重要。今天梳理下不同算法方向的头部公司，帮助同学更有针对性地投递。AIGC算法图像与视频生成是当前热点。这个领域的第一梯队包括阿里的通义实验室、阿里妈妈，以及字节的智能创作团队。此外，淘宝、快手的可灵、美图等公司也在AIGC应用上投入很大，有不错的实践场景。多模态算法多模态技术基本被大厂主导。阿里通义实验室、字节、淘天、华为、百度、科大讯飞、商汤等公司都有扎实的布局。选择时建议关注各家的开源项目和实际落地产品。大语言模型LLM领域竞争激烈。以DeepSeek、百度文心、阿里通义、字节豆包为代表的互联网大厂是第一梯队。同时，月之暗面、昆仑万维、智谱AI等专注AI的公司在技术和创新上也有很强的实力。CV与自动驾驶计算机视觉方向，百度、商汤、滴滴、华为等公司有深厚的积累。自动驾驶则更集中在百度、滴滴、华为及各大车企的智能驾驶部门。选择公司时，不仅要看技术实力，还要结合业务前景和团队氛围。有时候，一个正在快速成长的业务，比一个已经成熟的方向更能给人成长空间。更多干货请看我🐷页AIGC

1.实习介绍2.论文工作介绍3.为什么构建这个benchmark4.构建数据集的时候遇到哪些问题，怎么解决5.选择这个微调模型的原因6.mplug的框架7.视觉编码器用的什么8.线性投影层具体情况9.qwen2的结构10.transformer的计算11.了不了解其他的transformer或者attention12.用了多少卡13.怎么做的分布式训练14.zero3不适合训练使用的原因15.介绍论文的多阶段CoT微调16.lora的原理17.lora的初始化18.矩阵B 为什么用0初始化19.手撕：一个字符串中出现次数最多的字符以及次数20.反问的时候还问了强化学习的原理