admin管理员组

文章数量:1130349

来自2023年的新论文，提出了Wanda这一无需再训练和权重更新的低成本剪枝方法。

论文链接：https://arxiv/pdf/2306.11695v2

代码链接：GitHub - locuslab/wanda: A simple and effective LLM pruning approach.

摘要（Abstract）：

关于现存的大模型LLMs的剪枝方法，即尽量保持性能的情况下去掉一部分权重。要么需要再训练——难以负担巨大的计算成本；要么需要依赖二阶信息的重建，也意味着计算成本过高。而Wanda是一种基于权重和激活进行剪枝的方法，通过剪除权重乘以输入激活最小的权重，以减少预训练大语言模型中的稀疏性，而无需再训练或权重更新。

介绍（Introduction）

近年来大模型的规模随着性能提示，参数也在持续增加，带来了很大的计算负担。目前很多研究集中在模型量化上，通过将参数量化为较低精度来表示（尽管会带来精度损失），而模型剪枝作为应用较少的常见压缩方法值得更深的研究。

模型剪枝通过移除特定权重来减小网络规模，通常需要再训练或复杂的权重更新(如SparseGPT)，这些方法都

来自2023年的新论文，提出了Wanda这一无需再训练和权重更新的低成本剪枝方法。

论文链接：https://arxiv/pdf/2306.11695v2

代码链接：GitHub - locuslab/wanda: A simple and effective LLM pruning approach.

摘要（Abstract）：

关于现存的大模型LLMs的剪枝方法，即尽量保持性能的情况下去掉一部分权重。要么需要再训练——难以负担巨大的计算成本；要么需要依赖二阶信息的重建，也意味着计算成本过高。而Wanda是一种基于权重和激活进行剪枝的方法，通过剪除权重乘以输入激活最小的权重，以减少预训练大语言模型中的稀疏性，而无需再训练或权重更新。

介绍（Introduction）

近年来大模型的规模随着性能提示，参数也在持续增加，带来了很大的计算负担。目前很多研究集中在模型量化上，通过将参数量化为较低精度来表示（尽管会带来精度损失），而模型剪枝作为应用较少的常见压缩方法值得更深的研究。

模型剪枝通过移除特定权重来减小网络规模，通常需要再训练或复杂的权重更新(如SparseGPT)，这些方法都

本文标签： 模型论文simpleEffectiveWanda

版权声明：本文标题：大模型剪枝（一）解读Wanda论文: A Simple and Effective Pruning Approach for Large Language Models 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1763631222a2949703.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。