在曩昔的一年，深度学习技能在各个范畴自始自终地取得了不少发展。可是当时深度学习技能（本文中称为深度学习1.0）依然存在着一些显着的束缚，例如在处理有认识使命方面的缺少。那么针对这些束缚性，在未来的一年，有哪些或许的处理方案？深度学习又会在哪些方面带来有期望的打破？

机器学习资深从业者 Ajit Rajasekharan 在本文中汇集了深度学习范畴各路大佬的主意，并共享了他自己的一些考虑。

留意力机制在前面所述"在笼统空间中猜测"的办法中起着关键效果，用于在许多表明（构成无认识空间的表明）中挑选需求留意的方面以协助有认识的使命处理。因果推理，规划或寻觅最佳处理方案的图查找都能够作为时刻上的序列处理使命，在每个时刻步中，都需求用留意力机制来挑选适宜的（源于无认识状况集的）躲藏状况子集。

将噪声注入到图遍历的（用到留意力机制的）下一步挑选中，这为处理方案的查找（类似于 RL 中的蒙特卡洛树查找）拓荒了需求探究的方向。更重要的是，能够像 DL 1.0 在翻译使命中所采纳的做法，对序列处理使命适宜的留意力掩码（依据感官空间表明的函数动态核算）能经过学习得到。

留意力不只可用于有认识的使命处理，并且还能够自上而下的办法潜在地影响使命的后续感知。这种Alevel课程辅导自上而下的影响是从大脑中罗致的创意，大脑新皮层（履行有认识的处理）的每个功用单元（皮质柱）都具有感觉传入和传出的衔接，这些衔接中的一些与运动区域有关。一旦输入中的某些内容引起咱们的留意，这些衔接就会有认识地将感知引导到输入流的特定部分。例如，重新皮层的感觉区域到处理音频输入的头部肌肉都有运动衔接，一旦有声响引起咱们的留意，咱们的头部就会转到反常声响的宣布方位。

来源:版权归属原作者,部分文章推送时未能及时与原作者取得联系,若来源标注错误或侵犯到您的权益烦请告知，我们会及时删除。联系QQ:110-242-789