如何系统学习大模型推理

在最近几年,大语言模型(LLM)和各类大模型推理技术正在快速发展。很多小伙伴对如何入门、学习路径很迷茫。今天,我就整理了一份系统的学习路线,帮助你高效掌握大模型推理。

1. 基础知识

1.1. 数学基础

线性代数与概率论矩阵运算、向量空间、特征值/特征向量概率分布、条件概率、贝叶斯思想。

这些大学课程里面都会有,如果已经忘了,先不要专门回去看,可以继续往下学。等遇到了,发现自己不理解,再回头看。

1.2. 编程基础

主要是python和C++。

python学习网站:https://www.liaoxuefeng.com/wiki/1016959663602400

C++建议看《C++ Primer》这本书

学习方法:

学习时把握住要点:快看多练,学习从速

什么意思呢?学习时常备电脑,不论看网站还是看书,保持清醒的头脑,快速去看快速去学,然后立马开始动手写代码练习。

一定要多练习,一定要多练习

每天可以刷刷leetcode,为面试做准备。

1.3. 深度学习基础

做大模型推理的话,要先学学深度学习,以及pytorch的使用,对模型的训练需要有一个基本概念上的认知,深度学习基础推荐李沐的公开课。如果找不到 X信🔍季叶杂货铺,后台回复“公开课”获取。

学习方法:

跟上面一样,快看多练,学习从速;

二、大模型推理技术学习

这里放我总结的一个大模型推理技术学习图。

这里要搞清楚大模型推理的过程,根据推理的过程,去分析每一个优化手段是怎么回事,这样才能从根本上理解,而不是只知道浮在表面的一些东西。

三、实践项目建议

  • 可以找个开源的大模型推理框架,去实现暂时还没有支持的功能,或者去适配还没有支持的模型~

四、关于如何学习

学习一定要快,慢工出细活,放在大多数人身上会变成由入门到放弃。

一定要多动脑筋,特别是大模型的这些优化feature,一定要去想明白,并且能够串起来。

心静:选择了这个方向就安心学习,不要想乱七八糟的,给自己情绪负担。

这是一个还不错的方向,值得一学,薪资还是很不错的

最后求个关注,X信🔍季叶杂货铺,我会定期分享大模型推理相关知识,大模型面试题目,面经,大模型推理项目~

#大模型加速##大模型推理##大模型##学习指引##深度学习#
全部评论

相关推荐

1.  注意力机制:请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构:Dense 模型与 MoE 模型有何本质区别?3.  路由机制:MoE 模型中,路由(Routing)机制具体是如何工作的?4.  LoRA 微调:请阐述 LoRA 的原理,以及其中 A、B 矩阵的初始化方式和秩(Rank)的设置考量。5.  强化学习:请对比 DPO、PPO 和 GRPO 的原理与区别,并写出 DPO 的 Loss 函数公式。6.  推理加速:vLLM 中使用了哪些关键技术(如 PagedAttention、KV Cache)来优化推理?7.  并行框架:你对 DeepSpeed 这一加速推理与训练框架有多少了解?8.  BM25 算法:请讲解 BM25 算法的计算原理。9.  负载均衡:MoE 模型中专家(Expert)的负载不均衡问题该如何解决?10.  损失函数:能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题?11.  数据分布:SFT 微调数据与预训练数据分布差异较大时,该如何处理?12. Scaling Law:SFT 微调的数据集是越大越好吗?是否存在 Scaling Law 现象?13. 训练稳定性:强化学习(RL)为何存在训练不稳定的问题?既然不稳定为何业界仍广泛使用?14. 三数之和:LeetCode 15. 三数之和。📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看14道真题和解析
点赞 评论 收藏
分享
评论
6
26
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务