《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach 简介 想法来源 数据集的选择 创新点 总结 期刊：arxiv 2019 年 7 月 类型：预训练语言模型 特点：

论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott&a

RoBERTa：一种稳健优化的BERT预训练方法Yinhan Liu ∗ § Myle Ott ∗§ Naman Goyal ∗§ Jingfei Du ∗§ Mandar Joshi † Danqi Chen §

模型概述 RoBERTa可以看作是BERT的改进版，从模型结构上讲，相比BERT，RoBERTa基本没有什么创新，它更像是关于BERT在预训练方面进一

1 简介本文根据2019年《RoBERTa: A Robustly Optimized BERT Pretraining Approach》翻译总结的。RoBERTa：稳健优化BERT方法。对BERT进行了优化。

·阅读摘要：   本文在BERT模型的基础上进行了一些改进，提出了RoBERTa模型，并证明了RoBERTa比BERT的效果更好一些。 ·参考文献：  

RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Tran