算法工程师必刷「大模型高频面试题」

关于大模型的50道精选面试题

1.简述GPT和BERT的区别

2.讲一下GPT系列模型的是如何演进的?

3.为什么现在的大模型大多是decoder-only的架构?

4.讲一下生成式语言模型的工作机理

5.哪些因素会导致LLM中的偏见?

6.LLM中的因果语言建模与掩码语言建模有什么区别?

7.如何减轻LLM中的“幻觉”现象?

8.解释ChatGPT的“零样本”和“少样本”学习的概念

9.你了解大型语言模型中的哪些分词技术?

10.如何评估大语言模型(LLMs)的性能?

11.如何缓解LLMs复读机问题?

12.请简述下Transformer基本原理

13.为什么 Transformer的架构需要多头注意力机制?

14.为什么 transformers需要位置编码?

15.transformer中,同一个词可以有不同的注意力权重吗?

16.Wordpiece与BPE之间的区别是什么?

17.有哪些常见的优化LLMs输出的技术?

18.GPT-3拥有的1750亿参数,是怎么算出来的?

19.温度系数和top-p,top-k参数有什么区别?

20.为什么 transformer块使用LayerNorm而不是BatchNorm?

21.介绍一下post layer norm和pre layer norm的区别

22.什么是思维链(CoT)提示?

23.你觉得什么样的任务或领域适合用思维链提示?

24.你了解ReAct吗,它有什么优点?

25.解释一下langchain Agent的概念

26.langchain有哪些替代方案?

27.langchain token计数有什么问题?如何解决?

28.LLM预训练阶段有哪几个关键步驟?

29.RLHF模型为什么会表现比SFT更好?

30.参数高效的微调(PEFT)有哪些方法?

31.LORA微调相比于微调适配器或前缀微调有什么优势?

32.有了解过什么是稀疏微调吗?

33.训练后量化(PTQ)和量化感知训练(QAT)与什么区别?

34.LLMs中,量化权重和量化激活的区别是什么?

35.AWQ量化的步骤是什么?

36.介绍一下GPipe推理框架

37.矩阵乘法如何做张量并行?

38.请简述下PPO算法流程,它跟TRPO的区别是什么?

39.什么是检索增强生成(RAG)?

40.目前主流的中文向量模型有哪些?

41.为什么 LLM的知识更新很困难?

42.RAG和微调的区别是什么?

43.大模型一般评测方法及基准是什么?

44.什么是KV Cache技术,它具体是如何实现的?

45.DeepSpeed推理对算子融合做了哪些优化?

46.简述一下FlashAttention的原理

47.MHA,GQA,MQA三种注意力机制的区别是什么?

48.请介绍一下微软的ZeRO优化器

49.Paged Attention的原理是什么,解决了LLM中的什么问题?

50.什么是投机采样技术,请举例说明?

建议算法方向的同学,先收藏!面试前可以再根据题目自己梳理下回答的逻辑及亮点。

争取做到面试前心中不慌,面试时条理清晰!offer轻松握在手中~

目前同花顺算法招聘专场开启中

招聘对象:面向25届优秀的硕士、博士同学

招聘方向:NLP算法工程师、知识图谱算法工程师、算法工程师(图形/图像/视觉)、语音算法工程师、视频生成算法工程师、推荐算法工程师、搜索算法工程师、机器学习算法工程师、代码生成算法工程师

专场优势:我们拥有全方位的人才培养,配备丰富的前沿技术资源,用充足的计算资源自己去训练大模型把技术真正的用起来。有机会获得行业领先的百万级别薪酬,并进入同花顺国家级博士后工作站。

欢迎有兴趣的小伙伴通过同花顺招聘官网或小程序进行报名,岗位均可以内推哦~

#大模型##算法##算法面试经验分享##人工智能##面经#
全部评论
m
点赞 回复 分享
发布于 2024-09-06 11:41 浙江

相关推荐

常规问题: 1. 3分钟简单自我介绍2. 在实习和开源经历中,你遇到的最大困难或最具挑战性的事情是什么?实习拷打(拓展相应的场景八股)慢 sql 治理相关的1. 你在平台稳定性建设中提到通过添加索引、读写分离优化慢SQL,具体是怎么做的?2. 读写分离可以再详细说一下吗3. 能否举一个添加索引的具体例子?比如在哪个字段上加了什么类型的索引?4. 你加的是单列索引,如果查询只需要表中的几个字段,当前的单列索引是否有优化空间?5. 联合索引相比单列索引的优势是什么?为什么更优?(从回表,索引下推优化那个方向说就好)es 慢查治理相关1. 关于ES扩容主分片优化查询,具体是怎么做的?2. 系统的ES集群资源配置你了解吗?(如CPU、节点数等)3. 扩容分片数量是如何确定的?仅依据数据量吗?4. 分片切割后为什么查询会变快(并行查询)5. 将 long 类型字段转为keyword类型,是如何利用跳表结构的?这里其实并不能,只是切换是为了适应精准匹配的场景,keyword 的底层用的是倒排索引+跳表6. 除了分片扩容和类型转换,还有哪些方式可以优化ES慢查询?(force merge 整理碎片)分布式锁(业务中有个并发修改用到了,主要问的一些分布式锁的实现细节)1. 你在业务中使用的分布式锁是标准库还是自研的?2. 让你自己实现一个最简单的分布式锁,你会怎么实现?3. 如果任务加锁后异常退出,没有释放锁,如何避免死锁?4. 如果任务执行时间很长,锁过期被其他任务获取,原任务完成后误删了别人的锁,如何解决(防止锁的误释放,加标识)5. 如果任务A包含多个子任务,且子任务本身也有加锁逻辑,在嵌套调用时会因重复加锁失败,如何解决?(可重入锁的实现)6. 在秒杀场景下,能否直接用分布式锁控制库存扣减?会有什么问题?7. 如何让秒杀请求不立即失败?(锁的自旋)并发编程1. 你使用CompletableFuture并发查询多个维度,底层是如何实现并发的?2. 你是自己定义线程池,还是使用默认线程池?3. 你是基于什么依据设置线程池参数的?4. 如果一个任务同时包含CPU密集型和I/O密集型操作,共用一个线程池会有什么问题?应该如何设计?(线程池隔离,避免cpu密集型任务阻塞I/O密集型任务)Agent和开源相关的内容1. 你的基座模型切换(DeepSeek → 千问)后,响应是流式还是非流式?2. 为什么关注完整响应时间,而不是首字响应时间?(主要是业务上的一个需要)3. 你的性能优化目标是在保证输出内容不变的前提下缩短生成时间吗?4. 你在Agent框架中使用了责任链模式和观察者模式,请分别解释这两种模式5. 既然有四个固定执行步骤(Agent执行前,执行后,模型执行前,执行后),是否可以用模板方法模式替代责任链模式?6. 你使用观察者模式的具体场景是什么?为什么选择它?7. 你还了解哪些常用设计模式?8. 你提到使用HNSW算法进行向量搜索,能简述其基本原理吗?(避免全表的向量查询)9. 为什么不直接用余弦相似度做全量匹配,而要引入HNSW?10. 你是否使用过BM25算法?它的作用是什么?11. 向量搜索有哪些弊端?12. 向量检索和BM25全文检索的得分量纲不同,如何进行混合排序?(引入一个精排模型重新打分)反问:1. 业务(智能客服相关)2. 不足,基础还需要加强无手撕,总体一个小时总结:面试体验很好,主要就是根据简历延伸一些八股和简单场景,有些还需要加强的地方,挖出来了自己基础上的一些问题
点赞 评论 收藏
分享
评论
2
43
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务