在这种架构中，对句子中所有词之间的关系进行建模，而与它们的位

[单选题]

在这种架构中，对句子中所有词之间的关系进行建模，而与它们的位置无关。这是哪种架构？

```
OpenAI GPT
```
```
ELMo
```
```
BERT
```
```
ULMFit
```

查看答案及解析

是小曾呀

GPT 采用了 Transformer 的 Decoder，而 BERT 采用了 Transformer 的 Encoder。GPT 使用 Decoder 中的 Mask Multi-Head Attention 结构，在使用 [u1, u2, ..., u(i-1)] 预测单词 ui 的时候，会将 ui 之后的单词 Mask 掉，而BERT 会同时利用 [u1, u2, ..., u(i-1), u(i+1), ..., un] 的信息。

发表于 2022-03-14 22:01:25 回复(0)