NLP预训练模型的发展:从Word embedding到BERT(二)

Source

5.word2vec(2013)

 

 

6.ELMo(2018.6)

 

 

 

7.GPT(2018)

 

 

 

8.BERT(2018.10)