微信大模型推理研发工程师（工程 Infra工作）秋招&春招校招继续啦 欢迎投递～～～

ai infra推理加速/推理框架方向找实习求捞，之前有一段大厂对口实习经历

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现

1．项目介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力