admin管理员组文章数量:1130349
本文在联邦学习场景下，提出了一种 Digestive neural networks （后称DNN，区别于传统的DNN），类似于输入数据的特征工程，用于“抽取原始数据的有效特征，并修改原始数据使之不同”，本地模型经过处理后的数据进行训练，从而大大降低了 FL 中各类推断攻击的成功率（假设server是攻击者）。
现有工作的不足
现有的对于 FL 通信中隐私保护的工作主要有两种：differential privacy 和 cryptographic encryption ，前者损害了模型的准确率、使模型难以收敛；后者需要大量的算力，降低了学习的速度。
Digestive neural networks 做了什么
Digestive neural networks 处理后的数据保护了 FL 中每一个 client 的隐私。结合提出的 digestive loss，DNN produces digested
mini-batch that has features useful for classification and has the maximum distance from the original mini-batch.
这里的 distance 指的是处理前后数据的梯度。digestive loss仅限针对于 DNN 优化，即假设优化DNN时 local model 的参数为常量。
来看一下整体的框架：
原始输入图片 经过 DNN 会变得大不一样，他们上传的梯度也是不太一样，但是却能保证 local 模型的acc。
来看下具体是怎么做的：
这个网络中，通过下式优化 digestive loss LDL_DLD：
，其中，LdL_dLd衡量原始样本变化前后的梯度的距离，越大越好，dist 表示距离，可以用L1L2范数
本文在联邦学习场景下，提出了一种 Digestive neural networks （后称DNN，区别于传统的DNN），类似于输入数据的特征工程，用于“抽取原始数据的有效特征，并修改原始数据使之不同”，本地模型经过处理后的数据进行训练，从而大大降低了 FL 中各类推断攻击的成功率（假设server是攻击者）。
现有工作的不足
现有的对于 FL 通信中隐私保护的工作主要有两种：differential privacy 和 cryptographic encryption ，前者损害了模型的准确率、使模型难以收敛；后者需要大量的算力，降低了学习的速度。
Digestive neural networks 做了什么
Digestive neural networks 处理后的数据保护了 FL 中每一个 client 的隐私。结合提出的 digestive loss，DNN produces digested
mini-batch that has features useful for classification and has the maximum distance from the original mini-batch.
这里的 distance 指的是处理前后数据的梯度。digestive loss仅限针对于 DNN 优化，即假设优化DNN时 local model 的参数为常量。
来看一下整体的框架：
原始输入图片 经过 DNN 会变得大不一样，他们上传的梯度也是不太一样，但是却能保证 local 模型的acc。
来看下具体是怎么做的：
这个网络中，通过下式优化 digestive loss LDL_DLD：
，其中，LdL_dLd衡量原始样本变化前后的梯度的距离，越大越好，dist 表示距离，可以用L1L2范数
版权声明：本文标题：【论文阅读】对训练集数据进行变换以保护隐私 Digestive neural networks: A novel defense strategy against inference 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754915580a2741289.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论