新时代的炼金术——机器学习.doc

新时代的炼金术——机器学习

最近,谷歌的AI研究人员、”Test of Time Award”得主Ali Rahimi指出,计算机通过尝试错误法(trial and error)进行学习的机器学习算法已经成为“炼金术”的一种形式。Rahimi说,如果不深入了解构建和训练新算法所需的基本工具,研究人员就会像中世纪的炼金术士一样用道听途说的方法来研究人工智能。
去年在NIPS会议上,谷歌的AI研究人员、”Test of Time Award”得主Ali Rahimi(阿里·拉希米)对他所在的研究领域进行了一次猛烈的抨击。
Rahimi在NIPS现场的演讲中指出,计算机通过尝试错误法(trial and error)进行学习的机器学习算法已经成为“炼金术”的一种形式。他说,研究人员不知道为什么某些算法有效,而其他算法不起作用,在选择AI架构方面也没有严格的标准。
最近,在ICLR 2018发表的一篇论文中,Rahimi和几位合作者列举了他们认为是炼金术问题的一些案例,并为提高AI的严谨性提出了一些处方。
“这个领域存在一种’痛苦
’,”Rahimi说,“我们中许多人感觉自己使用的是一种外星技术。”
在解释“炼金术”时,Rahimi 说道:“吴恩达说过,机器学习就是新时代的电力。我却认为机器学习慢慢变成了新时代的炼金术。炼金术本身并不是坏事。它推动了冶金、纺织、化工、医疗等技术的发展,但是同时炼金术师也相信真的能把铜片变成黄金。我希望我所生活的世界是基于非常稳固、有规律、有系统理论的知识体系上,而不是炼金术上。”
炼金术问题与AI的可重复性问题不同。可重复性问题是指,由于实验和发表的不一致,研究人员无法复制彼此的结果。
炼金术问题也与机器学习的“黑箱”问题或“可解释性”问题不同,后者是指难以解释特定的AI如何得出其结论。
正如Rahimi所言,炼金术问题和黑箱问题的区别在于,“一个机器学习系统是黑箱”和“整个领域变成了黑箱”。
Rahimi说,如果不深入了解构建和训练新算法所需的基本工具,研究人员就会像中世纪的炼金术士一样用道听途说的方法来研究人工智能。
谷歌的计算机科学家Francois Chollet补充说:“人们受草包族科学吸引,”依靠“民间传说和魔法咒语”。例如,他说,研究人员倾向于采用一些小技巧来调整他们的AI的“学习率”——算法在每次错误后自行纠错的比率——而不理解为什么某个算法比其他的更好。
另一些情况下,研究人员像在黑暗中乱撞一样训练他们的算法。例如,他们实现了所谓的“随机梯度下降”,以优化算法的参数,获得尽可能低的失败率。然而,尽管有数千篇关于随机梯度下降的学术论文,以及无数应用该方法的技巧,这个过程仍然依赖于试错。

随机梯度下降使用尝试错误法来优化算法,目标是找到3D景观中的最小值
Rahimi的论文强调了可能导致的浪费精力
和次优性能。例如,论文指出,当其他研究人员对一个state-of-the-art的语言翻译算法去除了大部分的复杂性时,它实际上在将英语翻译成德语或法语时的表现更好了,这表明算法的原作者并没有完全理解这些额外的部分有什么好处。
反过来,Twitter的一名机器学习研究人员Ferenc Huszar说,有时候,附加在算法上的花里胡哨的