qnn是什么意思网络用语
作者：未知侠名时间：2022-04-12 18:07:37
神经网络（QNN）的方法，在运行时具有极低精度（例如1bit）权重和激活的神经网络。在训练时期，量化的权重和激活值被用于计算参数梯度。在前向传递期间，QNN大大减少了内存大小和访问，并用按位运算代替了大多数算术运算。结果，预期功耗将大大降低。我们通过MNIST，CIFAR-10，SVHN和ImageNet数据集训练了QNN。由此产生的QNN可以达到与32-bit同类网络相当的预测精度。例如，我们的AlexNet量化版本具有1-bit权重和2-bit激活，可实现51％的top-1准确性。此外，我们还将参数梯度量化为6-bit，这使得仅使用按位运算就可以进行梯度计算。在Penn Treebank数据集上对量化的递归神经网络进行了测试，并仅使用4-bit就获得了与32-bit相当的准确性。最后但并非最不重要的一点是，我们对二进制矩阵乘法GPU内核进行了编程，与未优化的GPU内核相比，使用它可以使MNIST QNN的运行速度快7倍，而不会降低分类精度。 QNN代码已开源。
- 站长提醒大家：以上内容，未识真伪，仅供参考。理性上网，以免过度。谨慎广告，危及钱财。
版权声明：本信息由系统自动搜集网络信息，本站尊重网络信息的版权问题，本站所有内容仅供学习使用，版权归原作者所有，若有来源错误或者侵犯您的合法权益，您可通过邮箱与我们取得联系，我们将及时进行处理。