Complex-Valued Neural Networks: A Comprehensive Survey【2022年复数网络综述】

admin管理员组

文章数量:1130349

论文可下载地址：(PDF) A Survey of Complex-Valued Neural Networks (researchgate)

DOI:10.1109/JAS.2022.105743

亮点

1. 讲述了为什么需要复数网络？【对于一些信号包含幅值和相位，如果使用实值网络进行处理就会增加参数的数据量，还会导致相位失真等问题】

2. 讲述了一些网络将输入的幅值和相位作为矩阵来处理的情况会出现的问题，以及一些混合使用复数和实数处理的网络。

3. 用表格给出了各个复数网络变体的优缺点和应用（点赞）

4. 在应用场景上 除了给出声音增强、风预测、图像分割和分类，还单独将MRI写出来（足可见发展的挺好），以及对生物神经领域发展做了诠释，作者也是很看好这个方向【Recently, the applications of CVNNs have become wider in the field of MRI signal processing [4],speech enhancement [5], wind prediction [6], image classification and segmentation [7], [8].】此外，尖峰【神经网络(SNN)也是一种生物学上合理的神经元模型，它利用生物神经系统中的信号(或尖峰)的时间来处理信息[206]。Spike-timing dependent plasticity (STDP)是SNN的一种常见学习规则，最近在复值神经元中得到了应用[207]。他们的提议使相集合的自发形成和溶解成为可能，这是Hopfield网络在生物学上合理扩展的一个重要特性。这一发现提示了在SNN中使用复数的可能性和有效性。因此，我们强烈鼓励探索这种生物学上合理的模型来解决更复杂的现实问题[208]-[220]。】

5. 复数网络最核心的挑战在于 学习算法、激活函数、BN，也就是神经网络的底层架构的探索，由于不能直接将实数网络的东西演化，而且应用场景不同，激活函数的选取也是有讲究。

MRI+复数网络

[28]M. A. Dedmari, S. Conjeti, S. Estrada, P. Ehses, T. Stöcker, and M. Reuter, “Complex fully convolutional neural networks for MR imagereconstruction,” in Machine Learning for Medical Image Reconstruction. Springer Int. Publishing, 2018, pp. 30–38.

[89]E. K. Cole, J. Pauly, and J. Cheng, “ Complex-valued convolutional neural networks for MRI reconstruction,” in Proc. 27th Annu. Meeting of ISMRM, Montreal, Canada, 2019, p. 4714.

[93]S. Wang, H. Cheng, L. Ying, T. Xiao, Z. Ke, H. Zheng, and D. Liang,“DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution,” Magnetic Resonance Imaging, vol. 68, pp. 136–147, 2020.

[4]P. Virtue, S. X. Yu, and M. Lustig, “Better than real: Complex-valued
neural nets for mri fingerprinting,” in Proc. IEEE Int. Conf. Image
Processing, 2017, pp. 3953–3957.

[28] complex dense fully convolutional neural network (CDFNet)	UNet + unrolled network
[89]Complex-­valued convolution	UNet + unrolled network
[93]DeepcomplexMRI	residual network
[4]Complex-valued neural nets for mri fingerprinting	首个引入复数网络在MRI

论文可下载地址：(PDF) A Survey of Complex-Valued Neural Networks (researchgate)

DOI:10.1109/JAS.2022.105743

亮点

1. 讲述了为什么需要复数网络？【对于一些信号包含幅值和相位，如果使用实值网络进行处理就会增加参数的数据量，还会导致相位失真等问题】

2. 讲述了一些网络将输入的幅值和相位作为矩阵来处理的情况会出现的问题，以及一些混合使用复数和实数处理的网络。

3. 用表格给出了各个复数网络变体的优缺点和应用（点赞）

4. 在应用场景上 除了给出声音增强、风预测、图像分割和分类，还单独将MRI写出来（足可见发展的挺好），以及对生物神经领域发展做了诠释，作者也是很看好这个方向【Recently, the applications of CVNNs have become wider in the field of MRI signal processing [4],speech enhancement [5], wind prediction [6], image classification and segmentation [7], [8].】此外，尖峰【神经网络(SNN)也是一种生物学上合理的神经元模型，它利用生物神经系统中的信号(或尖峰)的时间来处理信息[206]。Spike-timing dependent plasticity (STDP)是SNN的一种常见学习规则，最近在复值神经元中得到了应用[207]。他们的提议使相集合的自发形成和溶解成为可能，这是Hopfield网络在生物学上合理扩展的一个重要特性。这一发现提示了在SNN中使用复数的可能性和有效性。因此，我们强烈鼓励探索这种生物学上合理的模型来解决更复杂的现实问题[208]-[220]。】

5. 复数网络最核心的挑战在于 学习算法、激活函数、BN，也就是神经网络的底层架构的探索，由于不能直接将实数网络的东西演化，而且应用场景不同，激活函数的选取也是有讲究。

MRI+复数网络

[28]M. A. Dedmari, S. Conjeti, S. Estrada, P. Ehses, T. Stöcker, and M. Reuter, “Complex fully convolutional neural networks for MR imagereconstruction,” in Machine Learning for Medical Image Reconstruction. Springer Int. Publishing, 2018, pp. 30–38.

[89]E. K. Cole, J. Pauly, and J. Cheng, “ Complex-valued convolutional neural networks for MRI reconstruction,” in Proc. 27th Annu. Meeting of ISMRM, Montreal, Canada, 2019, p. 4714.

[93]S. Wang, H. Cheng, L. Ying, T. Xiao, Z. Ke, H. Zheng, and D. Liang,“DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution,” Magnetic Resonance Imaging, vol. 68, pp. 136–147, 2020.

[4]P. Virtue, S. X. Yu, and M. Lustig, “Better than real: Complex-valued
neural nets for mri fingerprinting,” in Proc. IEEE Int. Conf. Image
Processing, 2017, pp. 3953–3957.

[28] complex dense fully convolutional neural network (CDFNet)	UNet + unrolled network
[89]Complex-­valued convolution	UNet + unrolled network
[93]DeepcomplexMRI	residual network
[4]Complex-valued neural nets for mri fingerprinting	首个引入复数网络在MRI

本文标签： 复数网络neuralValuedComplex