资源摘要:当今的深度学习方法专注于如何设计最合适的目标函数,以使模型的预测结果尽可能接近真实值。同时,还需要设计一个合适的架构,以便获取足够的信息进行预测。现有方法忽略了一个事实:当输入数据经过逐层的特征提取和空间变换时,会丢失大量信息。本文将深入探讨数据在深度网络中传输时数据丢失的重要问题,即信息瓶颈和可逆函数问题。我们提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多个目标所需的各种变化。PGI能够为目标任务提供完整的输入信息,以计算目标函数,从而获得可靠的梯度信息以更新网络权重。此外,我们还设计了一种基于梯度路径规划的新型轻量级网络架构——广义高效层聚合网络(GELAN)。GELAN的架构证明了PGI在轻量级模型上获得了优越的结果。我们在基于MS COCO数据集的目标检测上验证了所提出的GELAN和PGI。结果显示,GELAN仅使用传统的卷积运算符就实现了比基于深度卷积的最新方法更好的参数利用率。PGI可用于从轻量级到大型的各种模型,它可以获取完整信息,使得从零开始训练的模型比使用大型数据集预训练的最新模型获得更好的结果,比较结果如图1所示。