是时候放弃反向传播算法了

2017-09-17

“ 我 们 需 要 放 弃 掉 反 向 传 播 算 法 (Backpropagation algorithm ), 重 新 开 辟 ⼀ 条 新 的 路 径 。”终于,Hinton 还是表达出了这个或许已经埋藏他内⼼很久的想法。

在上周三的⼀场多伦多 AI 会议上,Hinton 接受了 Axios 的采访时袒露了对反向传播算法的质疑。他认为反向传播算法并不是⼤脑运作的⽅式,要想让神经⽹络变得更智能。就必须放弃这种为所有数据标注的⽅式。

⽽ Hinton 所提到的反向传播算法在当今的⼈⼯智能领域扮演着重要的⻆⾊。 在 输 ⼊ 数 据 固 定 的 情 况 下 、反 向 传 播 算 法 利 ⽤ 神 经⽹络 的 输 出 敏 感 度 来 快 速 计 算 出 神 经⽹络 中 的 各 种 超 参 数 。它之所以重要,是因为极⾼的效率。在图像与语⾳的识别分类上具有重要作⽤。

虽然会议上的其他科学家坚持反向传播在⼈⼯智能未来的发展中仍然将发挥着重要的作⽤,但显然Hinton 已经开始考虑全新的技术路径了。⽽事实上,这也并不意外,毕竟从 80 年代开始,Hinton 就开始关注⼈类⼤脑的原理,并发表了⼀定数量的有关脑神经科学的论⽂。

1986 年的那篇 Hinton 与 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learningrepresentations by back-propagation errors》论⽂具有重要的意义,可以说是代表着反向传播算法⾸次被引⼊到多层神经⽹络训练,也为后来该算法的推⼴埋下伏笔。

但作为反向传播算法的发起者,Hinton ⼜亲⾃否定了⾃⼰成果,想要重新开始,这不由得让⼈联想到普朗克的那句名⾔“ 科 学 是 通 过 ⼀ 次 ⼜ ⼀ 次 的 葬 礼 ⽽ 取 得 前 进 的” 。