《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach 简介 想法来源 数据集的选择 创新点 总结 期刊：arxiv 2019 年 7 月 类型：预训练语言模型 特点：

论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott&a

RoBERTa：一种稳健优化的BERT预训练方法Yinhan Liu ∗ § Myle Ott ∗§ Naman Goyal ∗§ Jingfei Du ∗§ Mandar Joshi † Danqi Chen §

模型概述 RoBERTa可以看作是BERT的改进版，从模型结构上讲，相比BERT，RoBERTa基本没有什么创新，它更像是关于BERT在预训练方面进一

1 简介本文根据2019年《RoBERTa: A Robustly Optimized BERT Pretraining Approach》翻译总结的。RoBERTa：稳健优化BERT方法。对BERT进行了优化。

·阅读摘要：   本文在BERT模型的基础上进行了一些改进，提出了RoBERTa模型，并证明了RoBERTa比BERT的效果更好一些。 ·参考文献：  

RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Tran

分类目录：《深入理解深度学习》总目录 现阶段，预训练语言模型总是可以通过更大的模型和更多的数据获得更好的性能，GPT系列模型就是此类优化方向的典范。RoBERTa&#

《论文阅读》EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa 简介 思路出发点 任务定义 模型结构 构造输入 模型架构 训练过程 实验结果 结论