非要找个理由的话:decoder-only采用的是因果注意力机制,causal attention mask保证了attention score一定是满秩的,而bi-direction attention mask,也就是encoder里所用的不能保证满秩。显而易见,参数矩阵的秩和它的学习能力是相关的。所以decoder-only架构潜力更大,因此也需要更多的数据才训练,模型做大的时候,它的capability是随着尺寸变大有着一个稳定增长。 实际情况:海量数据+更强的训练工程。
8 2

相关推荐

项目拷打 1.请详细说明你当前所在公司日常进行数据统计时,主要采用哪些方式?这些方式分别适用于什么场景?例如针对实时数据统计、离线批量数据统计等不同需求,会选择不同的工具或方法吗?2.结合你参与过的具体项目,谈谈你是如何分析项目的业务数据结构的?请说明该数据结构包含哪些核心字段、表与表之间的关联关系,以及你是如何基于业务逻辑梳理清楚这些结构的?3.请问你有相关的数据处理或分析类实习经历吗?另外,你是否接触过非底层(如偏向业务应用层、基于现有平台进行数据处理而非搭建底层架构)的项目?如果有,请简要介绍项目背景和你的职责。4.Spark了解吗?5.从代码到输出结果,Spark引擎做了什么sql题目:表1:用户信息表(含id:用户唯一标识date:用户行为日期,is_new:是否为新用户标识,1表示新用户,0表示老用户)表2:红包领取记录表(含id:用户唯一标识,date:领取日期,time:领取时间,money:题目1:请编写SQL语句,计算"未领取红包的用户在未领取次日、未领取后7日的留存情况"(注:需先明确“未领取红包用户"的定义,即在指定时间范围内有行为记录(表1有数据)但表2无对应领取记录的用户,再计算该类用户在未领取红包日期的次日、第7日是否仍有行为记录(表1有数据)的留存率)。题目2:请编写SQL语句,完成以下两个指标的计算:(1)每日DAU(日活跃用户数):指每日有行为记录(表1中当日有数据)的独立用户数;(2)最近1个月内,3天连续登录的用户占比:即最近 30天内,至少有一次连续3天每日均有行为记录(表1中有对应日期数据)的用户数,占该月内总活跃用户数(表1中该月有至少一天数据的用户数)的比例。反问
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务