09-18 00:46 四平职业大学 机器学习 发布于新加坡
关注
智谱一面
经典过简历项目，重点问了最近这段的实习经历的主要工作，并且面试官的提问全程都非常落地，投递的Infra岗位，提问感觉像是在拷打算法，罗列几个回答的不太好的问题：
1、你们的场景是如何使用并行策略的？比如TP/DP等
答：采用TP2，DP8，EP16的单机16卡的并行策略
2、接着问：TP和DP应用在哪个权重计算的位置，并且两者是如何进行协同的？
答：TP/DP应用在Attention+FFN结构中的Attention，MoE模型的FFN使用EP，如何协同没回答上来，问了很久这个地方，最后和面试官说抱歉了，这部分的工作我没有具体落地做过，所以没有仔细研究过，然后面试官很有耐心的给我讲了一遍这部分的原理，也算是学习了
3、问我对推理Infra调度方面的策略有没有了解过，比如动态批处理...等几个调度方面的工作
答：简单描述了一下动态批处理的机制，主动说没有做过这方面的落地
4、还问了对于推理框架的KVCache管理策略有没有了解过？
答：介绍了一下vLLM社区的PageAttention，但是介绍的也非常粗糙，说类似于传统OS中的页表管理，并且言多必失，我说这个Page大小需要被精心设计，不能过大也不能过小，然后被拷问了为什么不能过大以及为什么不能过小的原因，感觉回答的也不是很好，被用例子拷打了
接下来就是手撕阶段了，手撕也比较抽象，手撕的是MoE层的Dispatch过程，我用C++写的：
输入是token的gating_scores和k，要求返回k个专家分配到的对应的token_id
这个写的比较艰难吧，写的速度比较慢，最后时间不太够了，面试官看了我前面的实现代码和我说：思路我看了一下基本上是正确的，时间不够了也没叫我接着讲思路，就说那我们今天就到这里吧
PS：面试过程感觉面试官非常有耐心，真的非常专业，实打实的一线开发人员，并且也乐于分享，回答不上来或者回答错误的问题面试官都耐心的给我讲解了，感觉自己发挥的不是很好，感觉虽然过的概率不大，但还是希望智谱能给个机会
#秋招##我的秋招日记##发面经攒人品##牛客AI配图神器##智谱AI#
1、你们的场景是如何使用并行策略的？比如TP/DP等
答：采用TP2，DP8，EP16的单机16卡的并行策略
2、接着问：TP和DP应用在哪个权重计算的位置，并且两者是如何进行协同的？
答：TP/DP应用在Attention+FFN结构中的Attention，MoE模型的FFN使用EP，如何协同没回答上来，问了很久这个地方，最后和面试官说抱歉了，这部分的工作我没有具体落地做过，所以没有仔细研究过，然后面试官很有耐心的给我讲了一遍这部分的原理，也算是学习了
3、问我对推理Infra调度方面的策略有没有了解过，比如动态批处理...等几个调度方面的工作
答：简单描述了一下动态批处理的机制，主动说没有做过这方面的落地
4、还问了对于推理框架的KVCache管理策略有没有了解过？
答：介绍了一下vLLM社区的PageAttention，但是介绍的也非常粗糙，说类似于传统OS中的页表管理，并且言多必失，我说这个Page大小需要被精心设计，不能过大也不能过小，然后被拷问了为什么不能过大以及为什么不能过小的原因，感觉回答的也不是很好，被用例子拷打了
接下来就是手撕阶段了，手撕也比较抽象，手撕的是MoE层的Dispatch过程，我用C++写的：
输入是token的gating_scores和k，要求返回k个专家分配到的对应的token_id
这个写的比较艰难吧，写的速度比较慢，最后时间不太够了，面试官看了我前面的实现代码和我说：思路我看了一下基本上是正确的，时间不够了也没叫我接着讲思路，就说那我们今天就到这里吧
PS：面试过程感觉面试官非常有耐心，真的非常专业，实打实的一线开发人员，并且也乐于分享，回答不上来或者回答错误的问题面试官都耐心的给我讲解了，感觉自己发挥的不是很好，感觉虽然过的概率不大，但还是希望智谱能给个机会
#秋招##我的秋招日记##发面经攒人品##牛客AI配图神器##智谱AI#
全部评论
相关推荐
投票
点赞 评论 收藏
分享
12-08 22:29
门头沟学院 Java 点赞 评论 收藏
分享