首页 > 试题广场 >

在这种架构中,对句子中所有词之间的关系进行建模,而与它们的位

[单选题]

在这种架构中,对句子中所有词之间的关系进行建模,而与它们的位置无关。这是哪种架构?

  • OpenAI GPT

  • ELMo
  • BERT
  • ULMFit
GPT 采用了 Transformer 的 Decoder,而 BERT 采用了 Transformer 的 Encoder。GPT 使用 Decoder 中的 Mask Multi-Head Attention 结构,在使用 [u1, u2, ..., u(i-1)] 预测单词 ui 的时候,会将 ui 之后的单词 Mask 掉,而BERT 会同时利用 [u1, u2, ..., u(i-1), u(i+1), ..., un] 的信息。
发表于 2022-03-14 22:01:25 回复(0)