好未来

1.实习介绍2.介绍transformer架构3.transformer架构为什么要切分为多头？4.讲一下attention的具体计算步骤5.计算attention的softmax之前为什么要除根号d_k6.介绍一下transformer位置编码；还了解别的位置编码吗？7.如果在transformer中，把K去掉，变成Q*Q*V，这样会有什么问题吗？假如不考虑解码器，只考虑编码器内部的attention操作的话，这样会有什么问题？8.transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？9.为什么像GPT这种生成式任务，不同时利用encoder-decoder？10.transformer的FFN层为什么会逐渐演变成MOE层？11.moe层的负载均衡具体是怎么做的？偏置项b是怎么训练的？你怎么保证有一个机制让偏置项得到变换？照理来说，偏置项b应该放到损失函数中，这应该怎么设计？12.做agent有哪些框架？13.做agent的开发范式有哪些？14.lora微调的核心原理是什么？15.大模型幻觉了解吗，怎么缓解大模型幻觉？16.手撕，最长递增子序列

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

是实习面试要求小一点缘故吗嘛，感觉这几天实习面试官都好好，也不压力都是友好交流实习：1.实习项目介绍，依旧图示（2-5都是根据项目的拓展）2.RabbitMQ发送消息的过程已经如何消费的，尽可能讲的越多越广最好（存储、转发、消费、有序性、重复消费、可靠性）3.其他消费队列有没有调研过，优缺点4.为什么用MQ，不用会怎样，你要怎么不用MQ来实现解耦5.用的阻塞队列要如何设计（容量、数据结构），这里关于Linkedlist和ArrayList之间的取舍讨论了蛮久的，设计到了一些多线程和性能之间的问题八股：面试官是搞go的，为了va学弟答的舒服一点，现搜了道垃圾回收的题目，他温我哭6.Java的垃圾回收算法有哪些7.说说标记整理过程以及运用在哪（佬年代）相对于标记清楚的优势算法：最长无重复元素子串今天决定去美团实习了，和hr说暂时不进行下一轮面试了，由hr那边结束流程，不过还是给我发了感谢信是咋回事，这个感谢信是流程结束就会有吗，还是就是没面过（感觉发挥蛮好的呀，笔试也没做错）

1. JWT数据格式Header.Payload.Signature，Header存算法，Payload存用户信息，Signature用于防篡改2. 用户感知token过期前端请求返回401状态码本地缓存过期时间主动判断3. 拦截器实现是，实现Spring的HandlerInterceptor接口，重写preHandle等方法4. Bean生命周期实例化→属性注入→初始化→销毁5. 后置处理器实现BeanPostProcessor，在bean初始化前后拦截，如AOP代理生成时使用6. Lombok作用自动生成getter/setter/构造器/toString等，减少样板代码，提升开发效率7. Redis数据结构String/List/Hash/Set/ZSet/Bitmap/HyperLogLog/GEO8. ZSet实现底层用跳跃表（SkipList）+哈希表，跳跃表按分数排序，哈希表支持O(1)查分数9. ZSet查询复杂度O(logn)，因跳跃表分层结构，每层跳过约一半节点，类似二分查找10. InnoDB索引类型主键索引、唯一索引、普通索引、全文索引（5.6+）、空间索引11. 索引有效性判断看查询条件是否命中索引字段，是否避免%前缀模糊查询/函数计算等破坏索引的操作12. 索引底层实现B+树结构，普通索引叶子节点存主键值，主键索引存行数据13. 进程vs线程进程：资源分配单位，独立地址空间线程：CPU调度单位，共享进程资源，切换开销更小14. 线程同步措施synchronized/Lock/Atomic原子类/volatile/CAS/ThreadLocal15. TCP关闭流程四次挥手：客户端FIN→服务端ACK→服务端FIN→客户端ACK16. 关闭连接状态客户端：TIME_WAIT（等待2MSL确保包送达）服务端：CLOSE_WAIT（未及时调用close）TIME_WAIT过多会占用端口资源，影响新连接建立手撕 数组最小操作次数