《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach 简介 想法来源 数据集的选择 创新点 总结 期刊：arxiv 2019 年 7 月 类型：预训练语言模型 特点：

论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott&a

模型概述 RoBERTa可以看作是BERT的改进版，从模型结构上讲，相比BERT，RoBERTa基本没有什么创新，它更像是关于BERT在预训练方面进一

1 简介本文根据2019年《RoBERTa: A Robustly Optimized BERT Pretraining Approach》翻译总结的。RoBERTa：稳健优化BERT方法。对BERT进行了优化。

RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Tran