admin管理员组

文章数量:1130349

本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！

注：文末附【Transformer】学习交流群

Training data-efficient image transformers & distillation through attention

  • 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一
  • 代码（不到一天，已经近200 star了）：https://github/facebookresearch/deit
  • 论文：https://arxiv/abs/2012.12877

最近，显示出纯粹基于注意力的神经网络可解决图像理解任务，例如图像分类。但是，这些视觉transformers使用昂贵的基础架构预先接受了数亿个图像的训练，从而限制了它们在更大的社区中的应用。关于视觉Transformer，推荐看一下这个最新综述：华为等提出视觉Transformer：全面调研

在这项工作中，通过适当的训练计划，我们仅通过在Imagenet上进行训练即可生产出具有竞争力的无卷积transformers。我们不到三天就在一台计算机上对其进行了训练。我们的视觉transformers（86M参数）在ImageNet上无需外部数据即可达到

本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！

注：文末附【Transformer】学习交流群

Training data-efficient image transformers & distillation through attention

  • 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一
  • 代码（不到一天，已经近200 star了）：https://github/facebookresearch/deit
  • 论文：https://arxiv/abs/2012.12877

最近，显示出纯粹基于注意力的神经网络可解决图像理解任务，例如图像分类。但是，这些视觉transformers使用昂贵的基础架构预先接受了数亿个图像的训练，从而限制了它们在更大的社区中的应用。关于视觉Transformer，推荐看一下这个最新综述：华为等提出视觉Transformer：全面调研

在这项工作中，通过适当的训练计划，我们仅通过在Imagenet上进行训练即可生产出具有竞争力的无卷积transformers。我们不到三天就在一台计算机上对其进行了训练。我们的视觉transformers（86M参数）在ImageNet上无需外部数据即可达到

本文标签： EfficientImageTrainingDATAdistillation

版权声明：本文标题：Training data-efficient image transformers & distillation through attention 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1755028582a2755447.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。