人工智能眼中的世界，为何如此诡异？

（竹之岚/编译）从曼努埃拉·维罗索（Manuela Veloso）位于布鲁克林一栋写字楼19层的办公室窗口向外望出，美景动人心魄——湛蓝的天空、纽约港和自由女神像。然而此刻，吸引我们目光的却是对面大楼毫无特色的窗玻璃。

从对面的窗户里，我们可以看到椅子、桌子、台灯和文件，但它们看起来有些不对劲；因为它们并不真的在那里。它们的实物实际上位于我们这一侧——很有可能就在我们所在的大楼。午后明丽的阳光照亮了玻璃，将窗户短暂地变成了镜子。于是，我们就看到了半空中被阳光照亮的办公用品，虚无飘渺，丝毫不受地心引力的束缚。

透过窗户看到的，究竟是倒影还是对面的实景？有时连人类都会弄错。图片来源：philipschwarzphotography

曼努埃拉·维罗索是卡内基·梅隆大学计算机科学和机器人技术专业的教授，我正在和她讨论机器如何感知和思考——一个比我预想的难解得多的话题。“机器人怎样才能发现这是倒影呢？”她示意窗玻璃上的光影，“诸如这样的事情，就是对机器来说困难的事情。”

近年来，人工智能已经以无情的速度攻克了很多难题。在过去几年中，一种以高效著称的人工智能——“神经网络”——已经在一些领域里赶上、甚至超越了人类，包括研发新药，挑选最佳工作候选人，甚至还有驾驶汽车。神经网络的构造模仿了人类大脑，现在，它（通常）已经能够辨别出文章的好坏，并且（通常）能以相当高的精度从图片中分辨出目标物体。神经网络的应用日益广泛，不仅在随处可见的日常领域中，比如谷歌的搜索引擎、亚马逊的推荐目录、脸书的好友动态和垃圾邮件的过滤，还有军事、金融、科研、比人类驾车更靠谱的自动驾驶等重要工作。

神经网络有时会犯一些人们可以理解的错误（的确，窗户里的桌子看起来非常真实；甚至连我也很难看出它们只是倒影），但另外一些难题，却会让它们给出让人难以理解的回答。神经网络的运作方式，是执行算法——关于如何完成任务的指令。算法当然是由人类写成的，但有时，神经网络会得出十分诡异的结果：不正确，但也不是人类能理解的那种错误。事实上，这些运行结果看起来简直像是外星生物的杰作。

比如Google的神经网络画的画……图片来源：reddit.com/r/MachineLearning

这种诡异的运行结果并不多见，但它们也并非随机差错。最近，研究人员已经设计出了可靠方法，能让神经网络一遍又一遍得出这种诡异的非人类结果。这表明我们不应该假设我们的机器会用我们的思维方式思考。神经网络的思维方式是不同的。但我们并不知道到底有何不同，或者究竟为何不同。

就算我们现在还没到依赖神经网络来料理家务、驾车出行的程度，这个念头也相当令人不安。毕竟，我们对人工智能的依赖越多，就越需要它们具备可预测性，尤其是在可能的失灵方面。如果不明白机器是怎么做出一些怪异的举动的，以及它们为什么会这么做，我们就不能确保这类事件不会再次发生。

不过，这种偶尔的诡异机器“想法”或许也是人类学习的好机会。在接触到外星智能之前，神经网络或许是我们所知的最强有力的人类以外的思考者。

神经网络感知与推理的方式与人类的差异或许能向我们揭示，在人类的物种限制之外，智能是如何运作的。伽利略向我们展示了地球在宇宙中并非独特，达尔文向我们证明了人类在生物中亦非例外。阿尔伯塔大学的人工智能研究者约瑟夫·莫达伊尔（Joseph Modayil）认为，计算机或许也会给智能领域带来类似的颠覆。“人工系统向我们展示了智能的无限可能性，”他说。

然而，我们首先要确保自动驾驶车辆不会把校车错认成橄榄球队服，也不会把照片中的人类标记成大猩猩或者海豹（谷歌的一个神经网络最近就犯了这个错误）。过去几年来，许多计算机科学家痴迷于这个问题以及可能的解决方案，但他们仍未找到。

的确，校车和橄榄球服都有黄黑相间的条纹，但也只有AI会把它俩搞混吧……图片来源：kyrene.org，esellerpro.com

深度神经网络很好骗

杰夫·克鲁（Jeff Clune）是怀俄明大学计算机科学系的助理教授。偶遇了几次神经网络的怪异行为后，他在最近开始了相关领域的研究。“我还不知道有谁能很好地理解为何会发生这样的事。”他说。

去年，在一篇名为《深度神经网络很好骗》¹（Deep Neural Networks Are Easily Fooled）的文章中，克鲁与他的合著者，阮昂（Anh Nguyen）和杰森·约辛斯基（Jason Yosinski）宣布他们制造出了一个用于识别物体的成功的系统，而该系统99.6%确信左图是一只海星，同样99.6%确信右图是只猎豹。

神经网络眼中的“海星”和“猎豹”。图片来源：nautilus

反过来，另一组由来自谷歌、脸书、纽约大学和蒙特利尔大学的研究者组成的团队也开发了一个神经网络系统，该系统认为左图是一只狗，而右图（仅在左图的基础上略微改变了像素）是一只鸵鸟。

右边是只小鸵鸟。图片来源：nautilus

右边的狗就是研究人员们所说的“对抗样本”（adversarial examples）的一个例子²。这些图片与分类正确的图片仅有细微的差异，但足以让先进的神经网络得出令人失望透顶的判断。

神经网络是机器学习的一种形式，它通过分析数据而得出结论。而机器学习不仅仅被用于可视化任务，普林斯顿大学信息技术政策中心的博士后研究员索伦·巴罗卡斯（Solon Barocas）说。他指出，在2012年，一个为美国教育考试服务中心（ETS）评估论文的系统将下述文字（由前MIT写作教授莱斯·普尔曼（Les Perelman）创作）判定为好文章：

在当今社会，大学的形象模糊不清。我们需要它来学会生存，亦需要它来学会爱。更重要的是，若非没有大学，世界上的大多数学习将会变得臭名昭著。然而，大学学费却不可胜数。世界各国面临的重要问题之一便是如何削减大学学费。一些人认为大学学费的攀升是由于学生对大学的物质条件期望过高，另一些人则认为高额学费是大学体育造成的。而现实是，支付给助教的过高的工资导致了高昂的大学学费。

华丽的辞藻和优雅的句式也不能掩盖真正观点和论据的缺失（助教明明穷哭了好吗！——编辑）。尽管如此，机器却给了这篇文章打出了完美的分数³。

这些荒唐的结果并不能用个别系统偶尔抽风来糊弄过去，因为能让一个系统跑偏的例子们也会对其他系统造成同样的结果。读过《深度神经网络很好骗》后，人工智能研发公司Vicarious的联合创始人迪利普·乔治（Dileep George）很好奇别的神经网络会作何反应；，他的苹果手机上刚好有个应用程序——Spotter，一个用于识别物体的神经网络，现在已经停止更新了。他把手机对准曾被克鲁的系统识别为海星的波浪线。“手机说它是海星。” 乔治说。

Spotter所看到的，是手机摄像头拍到的照片，它和原始图像在很多方面有所不同：光线条件和角度都有差异，而且还拍到了纸上周围的一些像素，不是原图的一部分。然而神经网络得出了同样的有如外星人一般的解读。“这一点很有趣，”乔治评价，“这说明这种诡异的判断具有高度的稳健性。”

实际上，做出“海星”和“猎豹”论文的研究者们已经确保了他们的愚弄图片在不止一个系统里整蛊成功。谷歌的克里斯蒂安·赛格蒂（Christian Szegedy）和他的同事们写道⁴：“一个为某一模型生成的样本，通常也会被其他模型错误归类，即使它们有着完全不同的架构。”或者使用的是完全不同的数据集。“这意味着这些神经网络对校车长什么样有着某种共识，”克鲁说，“但它们的共识与人类辨认校车的标准大相径庭。这一点让很多人大吃一惊。”

当然，任何收集和编程数据的系统都可能认错东西。这也包括人类的大脑，它可以将早餐吐司上的图案看成耶稣肖像。但是当你从某个图案中看到了并不存在的东西时——心理学家通常称之为幻想性视错觉（pareidolia），其他人也都能理解为何你会得出这样的错误结论。这是因为我们共享着同一个认知和辨认物体的神经系统。

在完美的世界里，我们的机器也会和我们共享这个系统，我们便能像理解彼此一样理解它们。然而，神经网络产出的那些古怪结果表明，我们并不生活在那样的世界里。巴罗卡斯说，这样的情况会让我们意识到，算法的“思考”过程并非人类思维的复制品： “当系统按照不同于人类的方式运行时，它们的幻想性视错觉也与我们的不同了。”

巴卡罗斯补充道，写下这些算法的人希望“让机器是人化的，希望它们解释事物的方式与人类的思维方式一致。但我们必须做好这样的心理准备——即使机器做和人类一样的事，做法也会和人类截然不同。”

当然，把狗认成鸵鸟的AI对人类并不构成威胁，在许多书面测试中，机器也能正确打分，能够愚弄神经网络的图片似乎也不太容易产生。但一些研究者认为，这样的图片一定会出现的。克鲁觉得把校车当做橄榄球队服这种事情即使只发生了一次，也已经太多了：“如果你恰好坐在这样一辆会把校车认成衣服的自动驾驶汽车上就更是如此。”

目前，我们还无法理解神经网络是如何得出这些令人费解的结论的。计算机科学家们最多只能观察运行中的神经网络，记录下一个输入值会如何触发内在运行单元的回应。这比什么都不知道强，但离对机器内部到底在发生什么的严谨数学解释还差得很远。换句话说，这个问题的难点不仅在于机器同人类的思维方式不同；而且还在于人们无法还原机器思考的过程，从而找到这种不同背后原因。

神经网络到底是什么？

讽刺的是，出现非人类的幻想性视错觉的算法，恰恰是为了模仿大脑中最有人类特征的部分而设计的。神经网络最早提出于20世纪40年代，是一个粗糙的软件模型，用来模拟大脑皮质——大部分感知和思考发生之处。作为人类大脑中物理神经元的替代品，神经网络运行的是由代码组成的虚拟神经元。每一个虚拟神经元就是一个节点，它有许多通道来接受信息，有一个处理器用这些信息计算出一个函数结果，还有一个通道用来输出这个结果。这些虚拟神经元，就像人类大脑皮质的细胞一样，是按层次组织的。当信息输入到某一层时，会激发该层神经元的集体反应（一些神经元被激活，并且与其他神经元产生信息交流，而另一些神经元则会保持沉默）。这一反应结果会传导到下一层，成为该层进一步处理的原始材料。

就像人脑中的物理神经元一样，虚拟神经元接收信息、处理信息，并输出运算结果。图片来源：scifi.stackexchange.com

尽管每一个神经元都只是简单的信息处理器，但这种构架体系使得它们能够用收集来的数据，集体完成惊人的壮举。举例来说，在真实的大脑中，当你看到窗户玻璃上的倒影时，神经元会将视神经中数百万次的电脉冲转换为“看到玻璃上的倒影”的视觉感知。比如说，大脑皮质上负责对物体的轮廓做出反应的层次，将工作结果传导给负责对信息进行进一步解读的层次；即使轮廓是上下颠倒的，或者正处于暗光之中也没关系。更深的层次继续这一解读过程，最终，这个视觉信息会被整合为一个复杂的认知：“这是一个阴影中的上下颠倒的香蕉。”

经过层层解读后，大脑认出了阴影中的颠倒香蕉。图片来源：tonedeaf.com.au

神经网络比大脑简单多了。但随着近年来计算机处理能力的提高，提供样本的大数据集越来越容易获得，现在的神经网络也能实现类似的成果。它们的层级化处理方式能从海量数据中识别出模式，运用这些模式，将“猎豹”或“海星”这样的标签同相应的图片联系起来。

机器并没有几亿年的演化时间教它辨别色彩、轮廓和形状等特征。与人类不同，神经网络是在人类程序员的“训练”下实现这一能力的。举个例子，程序员可以在神经网络中输入大量潦草的笔迹，告诉它这些笔迹分别都是哪个英文字母；算法会对它们进行识别，认错的会被纠正，直到训练数据中的所有字母都被正确分类。用上千个人类认为是字母d的样本训练过后，神经网络很快就能设计出一套判断某个字母是不是d的规则。这是神经网络的架构中最为吸引人的特点之一：计算机科学家不需要穷举出正确定义d的所有规则，就能设计出一套字迹识别机制。而且他们也不需要向计算机演示宇宙中所有的d：仅仅需要所有d的一个小小的子集——也就是计算机训练过的那些d——神经网络就可以自学成才，并在未来遇到任何一个d时立刻将其识别出来。

这个体系的缺陷是，当机器将电视机的雪花屏判定为猎豹时，计算机科学家的手里并没有机器将它认成“猎豹”时所用的判断标准的清单，好让他们可以据此搜寻出系统判断失灵的原因。神经系统并不在执行一套人类创建的指令，也没有在一个包含了所有可能的猎豹的完整资料库里搜索过。它只是在对接收到的信息作出反应。创造出神经网络的算法只在广义上对如何处理信息进行指导，而非解决个别问题的详细指示。换句话说，神经网络的算法并非精确的菜谱——拿到原料，做这个，等原料软了再做那个；它们更像是在餐厅里点菜：“我要一份烤奶酪三明治和一份沙拉，谢谢。至于该如何制作，你请便。”巴罗卡斯解释道，“如何探测数据得到结果，如何发现关系，这些都是计算机用自己创造的规则做到的。”

人们现在还无法找到计算机创造的规则是什么。在一个典型的神经网络中，人们能轻松辨认的层级只有输入层，即数据进入系统的层面；和输出层，即将其他层级处理的结果报道给人类世界的层面。在这两个层级间，在那些看不见的层级中，虚拟神经元处理信息，并通过在彼此间形成连接来共享工作结果。和人类的大脑一样，神经元操作的数量实在太过庞大，使得指出每个神经元对最终结果有何贡献成了不可能的任务。“就算你知道一个60亿人口的经济体中每一个人的所有情况，你也不能预测接下来会发生什么，甚至无法解释过去的事情为何发生，”克鲁说道，“这种复杂性是‘涌现’的，来自数百万个部分间复杂的相互作用，而我们人类还不知道要怎么理解这些。”

不光如此，许多信息处理发生在神经元间瞬息万变的连接中，并不仅仅局限在单个神经元。所以，就算计算机科学家能够确定在某一时间点上、网络中的每一个神经元正在做什么，他们也依然无法说出整个系统是如何运行的。举例来说，知道某一层的一部分神经元会被一张脸的轮廓激活，并不足以让你明白这些神经元在判断这张脸属于谁时扮演着怎样的角色。

这就是为什么，正如克鲁和他的同事所说：“神经网络长久以来都被称为‘黑箱’”，“因为要理解某个具体的、经过训练的神经网络究竟如何工作非常困难；有太多相互作用着的、非线性的部分了。”⁵

克鲁将试图解释神经网络的计算机科学家与试图领悟全球经济的经济学家做比：“我们面临的问题相当棘手，而且难以理解，”他说，“但是，你不能对每一件事都了如指掌，并不意味着你什么都没法理解。”关于神经网络内部的运行方式，他说，“我们正开始慢慢地理解它们，我们可能已经达到了艾伦·格林斯潘那样的理解程度，但我们还没能达到物理学家水平的理解。”

用神经网络分析图片，不同层级的关注点截然不同，层级越高特征越复杂，甚至会产生过度解读。图片来源：googleresearch.blogspot

去年六月，一支由亚历山大·莫丁塞夫（Alexander Mordvinsev），克里斯托弗·奥拉（Christopher Olah）和麦克·泰卡（Mike Tyka）组成的谷歌研究团队开发出了一种方法，能让图片识别网络显示出它的某个特定层级的工作内容。“我们向这个网络输入任意图片或照片，并让该网络对图像进行分析，”三位研究者写道，“然后我们选择一个层级，并让网络对在这一层级探测到的任何东西进行加强。”⁶他们得到的结果是一组惊人的图片，外形随被指定层级的关注点的改变而不断变换（这就是网络上著名的“谷歌深梦”）。 “举例来说，”这支团队写道，“低层次的层级倾向于产出粗线条、或者简单的装饰图案般的样式，因为这些层级对边缘和方向这类简单特征比较敏感。”

在这之后不久，克鲁、阮昂、约辛斯、加州理工学院的托马斯·福克斯（Thomas Fuchs）和康奈尔大学的霍德·利普森（Hod Lipson）发表了另一种方法，这种方法可以显示出活跃的神经网络中一个层级的某个部分、甚至单个的神经元正在做什么。当人们向它输入具体图片后，他们的软件可以追踪到神经网络中各个层级上正在发生的事。用户可以在物体或图片边上看到做出反应的神经元的实时地图。“你可以看到一个具体的节点会对什么作出反应，”克鲁解释道，“我们正开始着手向黑箱中照进一点光线，来理解里面正在发生的事。”

换种方式看世界

正当研究者们奋力钻研为何用于锤炼算法的大量数据集仍无法反映出他们期待的现实时，另一些人则想到，这些仿佛是由算法们臆想出的奇怪规则或许揭示出了现实的一些层面——我们凭自身的感官无法察觉到的层面。

毕竟，克鲁说，对于人类和蜜蜂来说，一朵花看起来都很美，然而这并不意味这两种生物看到的是相同的东西。“当我们在传粉者能够看到的光谱下观察花朵时，看到的图案是完全不同的，”他这样说道。虽然在蜜蜂眼里，人类对色彩的感知大概十分古怪，反之亦然，但二者的感知都不是错觉。或许神经网络认知的奇怪之处可以教会我们一些东西，或许甚至让我们愉悦。

在克鲁及其同事的工作中，有这么一些由算法识别出的图片，它们和那些被机器当成猎豹的雪花屏不同；相反，这些图片与算法对它们的归类的确有某些联系。举例来说，神经网络认为左图是监狱，而右图则是草莓。

神经网络眼中的“监狱”和“草莓”。图片来源：nautilus

人们并不会做出相同的分类。但如果事先告诉人们告知机器的结论，人们也能看出图片和命名间的联系。与将雪花屏判断成猎豹那样的错判不同，这种机器判断可以引导人们以新的方式看待草莓，或者以不同的方式思考“草莓”这个分类到底意味着什么。

对研究者们来说，这听起来很像是一种艺术。因此，他们将一些图片提交给了怀俄明大学艺术博物馆为一场展出举办的比赛。35%的投稿作品被评委接受并展出了，算法的作品也是其中之一，之后还在博物馆获了奖。评委们在展出几周后才知道这位艺术家并非人类。“我们向一项有评审的艺术竞赛提交了作品，比赛不需要提交与作品有关的任何信息，”克鲁说，“但一段时间后我们给他们发了一封邮件， ‘哦，顺带一提，事情是这样的……’”

因而，说人工智能研究员是乐观主义者显然是公平的；但与此同时，他们也是一群觉得计算机写诗或计算机编舞的前景可喜可贺的人。就算算法编出的是人类无法做到的舞蹈动作，克鲁说，“我们仍然能够欣赏机器人翩翩起舞。”此时此刻，我们所能确定的是，人类目前还不能完全理解算法的幻想性视错觉，但已经越发依赖算法执行的过程。

 “这些问题并没有对错分明的答案，但无疑十分引人入胜，”克鲁说，“这简直就像当代神经科学一样。我们对这些‘大脑’进行研究，以期待能够反解出它们工作的原理。”

无论如何，对机器“头脑”更深入理解的需求不仅来自研究者们对神经网络的困惑。理解神经网络，对于整个人工智能界，以及以此为基础运行的社会来说，都是一项挑战。（编辑：Ent）

参考资料

1. Nguyen, A., Yosinski, J., & Clune, J. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. Preprint arXiv 1412.1897 (2014).
2. Szegedy, C. et al. Intriguing properties of neural networks. Preprint arXiv 1312.6199 (2013).
3. Hern, A. “Computers Can’t Read” The New Statesman (2012).
4. Goodfellow, I.J., Shlens, J., & Szegedy, C. Explaining and harnessing adversarial examples. Preprint arXiv 1412.6572 (2014).
5. Yosinski, J., Clune, J., Nguyen, A., Fuchs, T., & Lipson, H. Understanding neural networks through deep visualization. Preprint arXiv 1506.06579 (2015).
6. Mordvintsev, A., Olah, C., & Tyka, M. “Inceptionism: Going Deeper into Neural Networks”http://googleresearch.blogspot.com (2015).
7. Nguyen, A., Yosinski, J., & Clune, J. Innovation engines: Automated creativity and improved stochastic optimization via deep learning. Proceedings of the Genetic and Evolutionary Computation Conference (2015).