MotivationClovaAI今年ICCV做了还几篇总结性的工作，该篇也类似，先总结当下做feature distillation的各个方向，总体的pipeline是选

探索高效模型压缩：A Comprehensive Overhaul of Feature Distillation 在深度学习领域，模型的性能与大小往往是一对矛盾体。为了在保持高性能的同时减少模

AbstractWe investigate the design aspects of feature distillation methods achieving network compression and propose a no

"Dataset Distillation: A Comprehensive Review," arXiv, 2023. paper：https:arxivpdf2301.07014.pd

本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！ 注：文末附【Transformer】学习交流群Train