百度百舸大模型推理部署实习凉经

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

1.八股：vLLM中使用的技术是否熟悉（如Paged Attention、KV Cache）？2.八股：了解加速推理框架DeepSpeed吗？3.八股：MoE模型专家的负载不均衡问题如何解决？4.八股：如何通过修改损失函数来解决负载均衡问题？5.项目：SFT使用的数据集，使用了多少张卡？SFT训练多久？6.项目：SFT 的数据集是越大越好吗？会存在scaling law 吗？7.项目：SFT使用的数据可能和原始模型预训练时的数据分布有较大区别，怎么解决？8.项目：讲一下LoRA微调的原理，A、B矩阵怎么初始化的，LoRA微调秩设置的是多少9.项目：讲一下什么场景下用SFT，什么场景下用RL10.项目：为什么使用强化学习会存在训练不稳定问题？为什么业界还在用？11.代码题：lc129 求根节点到叶节点数字之和

有打算考研吗？你的籍贯及父母所在地？实习公司是做什么的？追问：实习期间主要做什么研发工作？追问：做好这个项目的挑战是什么？哈希索引和B+树索引在使用上有什么区别？总结个人的优点和不足？反问

和干燥的的北方不同，杭州的12月是湿润的，白天从工位一抬头，雾霭已经笼罩了整个园区，从写字楼的落地窗看出去，如置身仙境。不敢高声语，恐惊天上人今天是周六，去公司坐了一会儿，一是想趁着周末工区比较安静学习一会儿，二是去健身房锻炼一会儿完美的结束这一天之后我和往常一样，走在创景路上，看着远处的恒生科技园，西溪永乐城，以及最远处的挂着火山引擎四个大字的写字楼，头戴式耳机默默放着《Sacred Play Secret Place 》空灵的旋律让路程没有那么枯燥，心中默默计算着还有多久可以到家周末没有晚高峰，往常车水马龙的路口显得格外冷清，和往常走在同样路线的我，看到了对面走来了一个小哥未见其人先问其声小哥：“不好意思打扰一下，你能帮帮我吗”我：？？？小哥：“我来这边打工的，我现在身上没钱了，没地方住也没吃饭，可以问你借一点钱吗，300就可以，我已经被很多人拒绝了”我看着他眼睛，心里很想给他转这笔钱，但就在我想转账的时候，我突然想到，如果他是骗子呢？我也不过是一个初入社会的学生，如果他真的是骗子，最后让我身无分文，杭州还会像我现在看到的这样美好吗？犹豫片刻我说：“这样吧我带你去买一点吃的吃可以吗？”他说不用了，还没有走远，就听到他对刚过来马路的两个女生开启了同样的对话，我没有留下来继续听，只是继续保持着原有的路线。他是骗子吗，也许是。我应该给他转这笔钱吗，应该吧，万一他真的很需要呢？小时候看过的文学和影视作品，主角总会是一个乐观，有点呆呆的大男孩，被人卖了还会帮别人数钱。圣母心泛滥。但这样的人身上的坚持，执拗和善良恰恰经常打动年幼的我，我想或许未来我也会成为这样的人，止于至善。但现在我知道了小时候动画片里只有一个敌人，主角打败BOSS就可以皆大欢喜。但现在我知道，生活里四面八方都是敌人，我也不一定是主角，一山更比一山高，不管怎么选都有可能走到一个BE的结局所以做一个不那么善良，利己一点的人，不去当一个大家喜闻乐见，社会需要的人有问题吗？没有一丁点问题，或许我们成为不了热血漫男主，但在我们的生活中，我们可以成为自己快走到家门口的时候，看到烧烤店的老板娘还在招待着零星几个客人，不远处字节的写字楼还亮着灯“也许刚才我可以换点现金给他，这样就不会被有骗的风险了，算了，他有手有脚的，凭什么要让我接济”耳机里的歌已经换成了《Be What You Wanna Be》Dorin略带沙哑的嗓音洗去了刚才心中的一点点迷茫上高中的时候，我的语文老师告诉我，想让文章变得高级，就要在文章中尽量减少“我”这样的字眼出现，这样你的文章分数才会更高但在这个世界，“我”却不可或缺，生活的评分标准也不会白纸黑字的摆在你面前了，也许不能成为耀眼的男主角，但可以成为你自己今日方知我是我