控制AI之战：揭秘谷歌与DeepMind的爱恨情仇

AlphaGo堪称是经典的公关案例。自被谷歌收购以来，DeepMind曾多次制造奇迹，吸引了全球的关注。

05.前路漫漫，现实与技术挑战并存

从长远来看，DeepMind看上去已经迈出了很大一步。该公司已经开发出软件，可以学习在超人水平上执行任务。哈萨比斯经常以雅达利游戏机上的电子游戏《Breakout》为例，玩家控制球棒在屏幕底部水平移动，用它将球反弹到悬浮在其上方的方块，并在撞击时将其摧毁。

当所有的方块都被抹去时，玩家就赢了。如果玩家用球棒打偏了球，她就输了。在没有人类的干预下，DeepMind的程序不仅学会了玩游戏，而且还研究出了如何将球轰到方块后面的空间，以及如何利用反弹来突破更多的方。哈萨比斯说，这证明了强化学习的力量和DeepMind计算机程序的超自然能力。

这是个令人印象深刻的演示。但哈萨比斯漏掉了几件事。第一，如果虚拟球棒被移动到更高的位置，程序就会失败。DeepMind的程序所学到的技能是如此有限，以至于它甚至不能对环境的微小变化做出反应。至少在没有数千轮强化学习的情况下，它无法对此做出应对。

但世界恰好处于这样善变的模式。对于诊断智能来说，没有两个身体器官是完全一样的。对于机械智能来说，没有两个引擎可以同样的方式进行调谐。因此，将在虚拟空间中完善的程序发布道现实世界面临着重重挑战。

DeepMind很少提及的第二个警告是，虚拟环境中的成功取决于奖励功能的存在，这是允许软件衡量其进度的信号。该程序了解到，发射小球到方块上方的空间使其多次反弹能够使得分上升。DeepMind与AlphaGo合作的大部分工作是构建能与如此复杂的游戏兼容的奖励函数。

不幸的是，现实世界并不提供简单的回报，进步很少用单一标准来衡量。即使在这些措施存在的地方，政治挑战也会使问题复杂化。将气候健康的奖励信号(大气中二氧化碳颗粒的数量)和石油公司的奖励信号(股价)相协调，需要满足许多互相矛盾的动机。

奖励信号往往很弱。人脑在完成任务的过程中，很少会收到关于任务成功的明确反馈。

DeepMind通过使用大量的计算机能力找到了解决这个问题的方法。AlphaGo需要数千年的人类游戏时间来学习任何东西。许多AI思想家怀疑，对于报酬较低的任务，这种解决方案是不可持续的。DeepMind承认存在这样的模棱两可之处。

该公司最近专注于战略电脑游戏《星际争霸2》(StarCraft 2)。在游戏早期做出的决定会在稍后产生影响，这更接近于许多现实世界任务所特有的那种令人费解和延迟的反馈。

今年1月，DeepMind软件在一次演示中击败了世界上许多顶尖的人类游戏玩家，虽然受到了严重的限制，但其表现仍然令人印象深刻。DeepMind的软件也开始学习奖励功能，比如遵循人类监工的反馈。但是，将人类的指令放入循环中，可能会失去纯粹计算机处理所提供的规模和速度奖励。

由于严格的保密协议，DeepMind和谷歌现任、前任研究人员要求保持匿名，他们也对DeepMind能否通过这些方法接触到AGI表示怀疑。

对这些人来说，专注于在模拟环境中获得高性能使得奖励信号问题很难解决。然而，这种方法是DeepMind的核心。它有个内部排行榜，显示来自竞争对手团队的程序争夺对虚拟域的控制权。

哈萨比斯始终把生活看作是一场游戏。他的职业生涯中有很大一部分用来开发游戏，他的大部分闲暇时间都花在了玩游戏上。在DeepMind，它们是哈萨比斯为开发AGI而选择的工具。就像他的软件一样，哈萨比斯只能从他的经验中学习。

人们对AGI的追求可能最终会迷失方向，因为它发明了许多有用的医疗技术，并超过了世界上最伟大的棋盘游戏玩家。这些都堪称是重要的成就，但不是哈萨比斯所渴望的。但他仍有可能帮助AGI诞生，就在谷歌的眼皮底下，但却不受谷歌的控制。如果这样做，哈萨比斯将赢得最艰难的比赛。