admin管理员组文章数量:1130349
《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach
-
-
- 简介
- 想法来源
- 数据集的选择
- 创新点
- 总结
-
期刊:arxiv 2019 年 7 月
类型:预训练语言模型
特点:对BERT模型进行进一步的探索,包括超参数设置,以及每一个任务对整体效果的贡献
本文带来Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du等人共同创作的文章
简介
想法来源
-
BERT模型存在缺点,有可改进的点
We find that BERT was significantly undertrained, and can match or exceed the performance of every model published after it.
-
通过实验的SOTA证明,该想法可行
These results highlight the importance of previously overlooked design choices, and raise questions about the source of recently reported improvements.
数据集的选择
预训练数据集:
BOOKCORPUS
CC-NEWS
OPENWEBTEXT
STORIES</
《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach
-
-
- 简介
- 想法来源
- 数据集的选择
- 创新点
- 总结
-
期刊:arxiv 2019 年 7 月
类型:预训练语言模型
特点:对BERT模型进行进一步的探索,包括超参数设置,以及每一个任务对整体效果的贡献
本文带来Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du等人共同创作的文章
简介
想法来源
-
BERT模型存在缺点,有可改进的点
We find that BERT was significantly undertrained, and can match or exceed the performance of every model published after it.
-
通过实验的SOTA证明,该想法可行
These results highlight the importance of previously overlooked design choices, and raise questions about the source of recently reported improvements.
数据集的选择
预训练数据集:
BOOKCORPUS
CC-NEWS
OPENWEBTEXT
STORIES</
本文标签: 论文RobustlyRoBERTaoptimizedPretraining
版权声明:本文标题:《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://it.en369.cn/jiaocheng/1763632219a2949784.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。


发表评论