新智元报道

来源：外媒

编辑：keyu

我们都知道深度卷积神经网络是依靠大量的数据和具有大量特征映射的层来完成学习和更新的，这个过程并不是非常高效，对于大型数据集来说，这意味着有大量冗余的特征检测器。

针对这一问题，胶囊网络是一个有发展潜力的解决方案——它可以扩展当前的卷积网络，并可以令人工视觉感知到高效编码所有特征仿射变换的过程。

由于内在具有更好的概括能力，一个胶囊网络理论上可以使用相当少的参数数量，并获得更好的结果。

可惜的是，注意到这一点的人并不多。

不过，近日，来自意大利的研究者提出了一种高效的自注意路由胶囊网络（CapsuleNetworkwithSelf-AttentionRouting,Efficient-CapsNet)：

他们深入研究了胶囊网络的的效率，并在参数仅仅有6万的情况下，将网络的性能推到了极致。

在实验部分，研究者证明，他们提出的架构，在参数量降低为原始CAPSNET的2%的情况下，还可以在三个不同的数据集上实现最先进的结果。

此外，研究者用一个新颖的非迭代、高度并行的的路由算法替代了动态路由，利用自我注意机制，这种新颖的算法可以很容易地对小数量的胶囊进行处理。

最后，研究者还在其他胶囊上做了额外的实验，结果证明了Efficient-CapsNet的有效性，也证明了胶囊网络可以有效嵌入更为泛化的可视化表示这一特点。

该论文的贡献主要在于：