AI infra入门

在AI大爆发的时代，除了卷算法模型，AI Infra正成为各大厂争夺的“算力底座”。但这个领域庞大而且比较复杂，究竟包含哪些技术栈？不同岗位又有哪些侧重？给大家简单介绍一下（这个也属于新兴岗位了，所以现在入局也不算晚欢迎大家在评论区发表看法，我们一起讨论👇有用的话请在文章底部给我送朵花吧🙇‍♂️🙇‍♀️

先说结论，ai的蓬勃发展对于秋招说来讲毫无疑问是绝佳的机会，从我的角度来看，建议有后端基础的可以全面拥抱ai应用开发岗。  本文从个人秋招视角出发，浅谈各岗位难度差异，以及ai浪潮下为什么要选择ai应用开发这个岗位(综合难度结合周围同学经历，评价较为主观)。 互联网行业的秋招主要分为以下几个大类: 算法岗(含ai infra) : 语言以python为主，毫无疑问的待遇天花板，门槛极高，学历非双九基本机会不大，综合难度5⭐； java后端开发岗：极卷，岗位多，人也多，ai面/笔试/2-3轮技术面，流程教程，难度较大，主要围绕八股及算法，双非有垂直大厂实习经验也有机会，但在横向比较时不占优势，综...

1.实习介绍2.针对项目提问3.FlashAttention原理，Online softmax，有没有看过cuda kernel，FlashAttention V1,V2,V3，FlashDecoding原理4.推理优化的思路（方法）有哪些5.用没用过vllm/SGLang，原理6.有没有听说过Dynamic Batching7.Coding：写一个ruduce，用block，优化版：用warp shuffle，能不能再优化？8.加载到shared memory和直接从HBM取input比为什么更快9.有没有听说过shared memory的bank conflict10.反问：在哪些地方可以继续提升自己

很多是基础八股（甚至重复）没回答上的问题：undolog的回收LRU设计碎碎念：我就看到没算法，于是四五天没摸，复习刷的话刷到dp了，lru不记得了每日一念大厂，因为鼠鼠确实很需要钱来着，一些自己想做的事不想爸妈垫钱而已