首页 > 试题广场 >

深入剖析自注意力机制及其变体，以下哪些陈述准确（多选）

[不定项选择题]
深入剖析自注意力机制及其变体，以下哪些陈述准确（多选） 
  • 在 GQA 中不同组 Query 必须串行计算，无法并行
  • 从 MHA 到 GQA/MQA 的动机之一是减小推理时 KV 缓存以降显存
  • 单个头内部 Query 和 Key 的维度 d_k 必须相等，Value 维度可不同
  • 将 QK^T 除以 sqrt(d_k) 有助于稳定梯度，避免 softmax 饱和
查看答案及解析
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

来自：2025年秋招-华为-...
难度：
0条回答 6浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号