关于bn和ln

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答,结果面试官还是不满意,有没有懂哥讲一下啊? #nlp# #腾讯#
我的回答也是不同句子长度不一样,然后每个句子的位置不一样,可能是表达不大好,那个老东西不满意
全部评论
因为transformer输入的序列长度不固定,bn是算每一个特征的均值和方差,序列长度不一样,计算的时候有的地方有值有的地方没有,不好计算。ln是对每一个样本单独计算,即使每个样本长度不一样也不影响计算
17 回复 分享
发布于 2024-04-07 18:04 新加坡
BN和LN是不同纬度的归一化 LN是特征层面的归一化不会因为序列长度差距过大受影响,BN是batch size纬度归一化因此序列长度会影响。具体怎么用都看实际情况是啥样的 没那么绝对 手撸一下公示记忆比较深刻
4 回复 分享
发布于 2024-04-08 12:03 陕西
transformer对句子或者序列建模,每一个token位置的语义并不像tabular数据或者图像那样特征是固定的吧,用bn就默认是那样对齐处理了
4 回复 分享
发布于 2024-04-04 21:00 安徽
说一个很novel的观点…… bn一般用在图像上,当我们对图片抽取特征后,会得到不同通道的特征,这些通道特征对batch内样本具有同样的含义。例如一个人有年龄,身高等特征。而nlp中,如果要进行bn,则是对不同句子的第i个token进行处理,举个例子"我爱你"和"牛客网",其中的我和牛并没有相同的含义,所以解释不通。还有一个点就是你所说的每个句子长度不同,对于短句子我们需要pad,那么如果进行bn就需要将pad.和长句子中的token进行处理,这样也是不合理的。
3 回复 分享
发布于 2024-04-13 02:02 贵州
如果往深里说,可以结合上Lipschitz常量,self-attention的Lipschitz常量比较大,也就是上下界浮动大,BN层无法有效约束。这个点比较深,还可以延伸到LN的变体RMSNorm。 虽然从理论上可以讲的很深,但其实主要还是实验上有效,这些八股属实没意思。
3 回复 分享
发布于 2024-04-07 16:57 广东
因为一个句子不会因为词的位置发生变化而改变语义。
2 回复 分享
发布于 2024-04-08 20:25 浙江
bn不好用啊,长度不一样
点赞 回复 分享
发布于 2024-07-01 19:02 北京
Bn和batch大小关系很大,而句子长度并不固定。并且,对不同句子的同一位置的特征做归一化并无意义。
点赞 回复 分享
发布于 2024-04-08 14:48 河北

相关推荐

影04714:把图书管理系统那个项目经验内容适当的减少掉,然后改成据为己有不要说团队项目,因为图书管理系统这类常见的谁来了都能独立写出来,提问能圆过来即可
点赞 评论 收藏
分享
想干测开的tomca...:让我来压力你!!!: 这份简历看着“技术词堆得满”,实则是“虚胖没干货”,槽点一抓一大把: 1. **项目描述是“技术名词报菜名”,没半分自己的实际价值** 不管是IntelliDoc还是人人探店,全是堆Redis、Elasticsearch、RAG这些时髦词,但你到底干了啥?“基于Redis Bitmap管理分片”是你写了核心逻辑还是只调用了API?“QPS提升至1500”是你独立压测优化的,还是团队成果你蹭着写?全程没“我负责XX模块”“解决了XX具体问题”,纯把技术文档里的术语扒下来凑字数,看着像“知道名词但没实际动手”的实习生抄的。 2. **短项目塞满超纲技术点,可信度直接***** IntelliDoc就干了5个月,又是RAG又是大模型流式响应又是RBAC权限,这堆活儿正经团队分工干都得小半年,你一个后端开发5个月能吃透这么多?明显是把能想到的技术全往里面塞,生怕别人知道你实际只做了个文件上传——这种“技术堆砌式造假”,面试官一眼就能看出水分。 3. **技能栏是“模糊词混子集合”,没半点硬核度** “熟悉HashMap底层”“了解JVM内存模型”——“熟悉”是能手写扩容逻辑?“了解”是能排查GC问题?全是模棱两可的词,既没对应项目里的实践,也没体现深度,等于白写;项目里用了Elasticsearch的KNN检索,技能栏里提都没提具体掌握程度,明显是“用过但不懂”的硬凑。 4. **教育背景和自我评价全是“无效信息垃圾”** GPA前10%这么好的牌,只列“Java程序设计”这种基础课,分布式、微服务这些后端核心课提都不提,白瞎了专业优势;自我评价那堆“积极认真、细心负责”,是从招聘网站抄的模板吧?没有任何和项目挂钩的具体事例,比如“解决过XX bug”“优化过XX性能”,纯废话,看完等于没看。 总结:这简历是“技术名词缝合怪+自我感动式凑数”,看着像“背了后端技术栈名词的应届生”,实则没干货、没重点、没可信度——面试官扫30秒就会丢一边,因为连“你能干嘛”都没说清楚。
点赞 评论 收藏
分享
评论
12
53
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务