快手校招大模型算法二面

实习介绍
八股:
1. 大模型预测 token 的损失是怎么算的?有哪几种常见的损失函数?
2. 讲讲大模型的思维链技术?
3. 聊聊 Transformer?它有啥优势?位置编码是咋做的,有啥改进?ROPE 是啥?Transformer 是怎么把文本转成 token 的?
4. Lora 微调八股:矩阵 A, B 怎么初始化?为啥 B 要初始化成 0,A 不行吗?啥是矩阵的秩?
5. Bert 和 GPT 有啥区别?大模型时代,小模型还有用吗?
6. MHA 是啥?有啥改进?讲讲 DeepSeek 的 MLA?
7. MOE 一般加在哪?从训练和推理的角度看,MOE 有啥好处?
8. 你设计提示词时,一般遵循啥范式?
算法题:二叉树的层序遍历。(用队列)
全部评论

相关推荐

1.你这个xx实习的项目能展开讲讲吗?你主要负责哪块?为什么是你来做这块?2.自动化评估体系这里能具体说说怎么评的吗?哪些维度3. 多维度自动化评估体系,那每一个维度是怎么做的?比如你说的关键词匹配和问答对,这个流程怎么构建的4.图表的准确性你怎么评估的?怎么从markdown和HTML 里提取对应图表并比对的?有没有一些异常case举个例子?5.用了playwright去截图,那遇到报错或者渲染失败怎么办6不同设备模块比如交换机、服务器,它们的字段特征都不一样,那你怎么做统一化训练7.那你这个知识图谱底层是用什么数据结构存的8.用的是PAI吗?那有没有对比过比如说 igraph或者图数据库像GraphScope这些之间有啥区别9有没有用过一些大模型的推理?比如说用千问做辅助根因预测10你们这套系统的准确率和召回率大概是多少,那比如说没有到90%,你们是认为这个指标是OK的吗11所以它是系统推理出根因之后还需要人工check,然后才能执行故障预案,有没有哪一部分流程是完全自动化的12你们平台现在接的主要是底层设备指标,那有没有接入一些业务指标,比如订单失败率转化率这类的业务数据13我有个疑问就接入业务指标的话你需要知道整个平台的服务拓扑,那你们这个平台是怎么接入业务侧拓扑的?是自己做的吗?还是中台团队负责15.那你既然用过图数据库,你知道它底层的存储结构是怎样的吗?比如它是怎么组织边和节点的16.我们现在是两阶段推荐架构:第一阶段召回用的是embedding点积召回,第二阶段是MLP跟transformer做多目标打分。那你觉得在我们这么大规模的数据量下,如果要做real-time re-ranking,你会在架构上怎么做trade-off?怎么压低latency17.我们现在在做embedding精度提升也试过加cross tower、attention pooling 甚至meta learning,但发现一旦模型重了,就难以部署到线上实时系统。那你觉得在embedding learning的这个模块里,有哪些方案能在不严重影响线上性能的情况下提升语义表示能力
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务