人工智能战队OpenAI将战Dota2人类最强战队的最终决战

人工智能战队OpenAI将战Dota2人类最强战队

OpenAI 今日宣布，它们的游戏人工智能 OpenAI Five 将于 4 月 13 日与人类进行最终决战，此次比赛的对手是 Dota 2 世界冠军团队 OG。

虽然在去年 8 月的 Dota2 国际邀请赛（TI8）上，OpenAI连续输给 paiN 以及由大 B 神、xiao8、430、ROTK、狗哥这些中国 Dota 届元老组成的战队，但 OpenAI 并没有因为挑战失败而放弃尝试。这一次他们直接选择了与 TI8 上的冠军团队过招。

看来在最近 6 个多月的时间里，人工智能又学会了一些新的技术？

这次比赛的规则类似于 TI8 时 OpenAI Five 与职业战队的比赛：

18 名英雄可选：斧王、水晶室女、死亡先知、撼地神牛、矮人直升机、巫妖、巫魔巫师、死灵法师、痛苦女王、剃刀、隐刺、影魔、斯拉克、矮人火枪手、斯温、潮汐猎人、冥界亚龙、巫医。镜像匹配：瘟疫法师、矮人火枪手、冥界亚龙、水晶室女、巫妖。

无圣剑、魔瓶

无召唤物，无幻象

无扫描

值得注意的是，TI8 比赛期间，去除掉了“5 个无敌信使”的限制，因为这个条件会极大的影响游戏的真实性。

人工智能在围棋上击败人类之后，很多技术人员就开始展望 AI 在视频游戏中的表现了。2017 年的 Dota2 国际邀请赛 TI7 上，OpenAI 推出的人工智能横空出世，在人类巅峰对决的比赛现场 1v1 打败了世界顶级玩家。

在那场一对一表演赛中，OpenAI 的人工智能打败了 Danylo "Dendi" Ishutin，一名在职业生涯中赢得超过 70 万美元奖金的职业玩家。OpenAI 的 bot 在第一场比赛开始约 10 分钟打败了 Dendi。在第二场比赛中 Dendi 放弃，并拒绝进行第三场比赛。

Dendi 在比赛前接受采访，作为第一个在公开比赛中被 AI 击败的职业选手，他领教了人工智能在单挑时的应变能力。

单挑可能还不具有太多说服力，Dota2 是一个 5v5 的多人对战游戏，很快 OpenAI 就开启了更为正式的“10 人对决”之旅。2018 年 6 月，这家公司提出的“OpenAI Five”又在 5v5 多人对局中击败了由前职业玩家、游戏解说组成的天梯 6000 分级别战队，并宣布会于 TI8 上亮相和真正的职业选手过招，一时吸引了人们的关注。

Dota2 是目前全球最为流行，也最复杂的电子竞技游戏之一。其最负盛名的赛事“TI”每年都会吸引上千万玩家的关注。

面对 AI 的挑战，人类跃跃欲试，在 TI8 上很多参赛队伍都报名想参加 OpenAI Five 的比赛，OpenAI 遇到的第一个对手是来自巴西的战队 paiN，后者也是 TI8 决赛阶段第一支被淘汰的队伍。有了 AlphaGo 的“前车之鉴”，人们纷纷预测 AI 稳赢，然而人类职业玩家却让 OpenAI 尝到了失败的滋味。

paiN 选择了开雾直接冲进天辉野区，四人围攻落单的潮汐，抢到了一血。OpenAI 也展示出了人工智能“不聪明”的一面，在塔下不断插眼。虽然在随后的比赛中双方有来有往，但人类玩家逐渐掌握了计算机的套路，在 50 分钟的比赛后打爆了对方的水晶。

在 Open AI Five 对阵 paiN 的比赛中，人工智能对于自己获胜概率的预测。

这场失利让大家对于 AI 的期待有所下降，随后在第二场比赛中，由 Burning、Xiao 8、430、ROTK 和 Sansheng 组成的“中国 Dota2 元老队”也顺利击败了 OpenAI Five，让人工智能的 TI8 之旅最终以失败告终。

第二场比赛中，人类用了 45 分钟拿下胜利，人头比 48 比 43。

解决 5v5 的核心问题

虽然首次挑战职业玩家没有成功，但 OpenAI Five 的尝试为人工智能领域技术的发展有着很大意义——它解决一个重要问题：强化学习在如此复杂、需要长期策略的游戏环境下是否依然奏效？

通过自我对抗学习，OpenAI Five 每天相当于玩 180 年的游戏。训练上，它使用 256 块 GPU、12 万 8000 个 CPU 核心使用近端策略优化（Proximal Policy Optimization）方法进行训练。当每个英雄使用单独的一个 LSTM，模型就可以在没有人类数据的情况下学到可识别的策略。这表明强化学习即使没有根本性的进步，也能够产生大规模但也可接受的长期规划。这出乎了 OpenAI 研究人员起先的预料。

为了训练每个英雄，OpenAI 使用了两种机器学习技术：长短期记忆网络（LSTM）和近端策略优化（Proximal Policy Optimization）。

为什么使用 LSTM 其实很好理解：打 Dota2 需要长期策略，敌方英雄的每一个当前行为都会对之后的行为产生影响。LSTM 是一种循环神经网络（RNN），它比普通的 RNN 更适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 有一个叫做 Cell 的元素，能够分辨出输入的信息是否有用，是否需要记祝

每一个 bot 的神经网络包含一个单层的、拥有 1024 单位的 LSTM，观察游戏的局势然后做出相应的行为。下图这个互动演示就是可以让你理解每个 bot 是如何做出指令的，这些画面就是 Dota 2 的 API 所观察到的。

如何让五个神经网络协作团战是另一个让不少人好奇的地方，这其实也是建立在奖励机制上。OpenAI 为 AI 模型开发了一个叫 Team Spirit 的超参数，数值从 0 到 1，数字越小每个神经网络就越“自私”，相反则越考虑团队的整体利益。到最后，OpenAI 发现将 Team Spirit 设置为 1 都能赢得比赛。

在训练初期，研究员其实会将数值调整的很小，这样 AI 会更考虑自身的奖励，学习如何分路、对线、提供金钱和经验。等到每个神经网络学会了基本的策略和玩法后，研究员才将数值慢慢提高。

由于所有参数都是随机，AI 没有引入任何人类的经验，所以 AI 没有 1-5 号位的概念，不会区分辅助和 carry，出装备也是从头开始学习。

在第一场游戏中，英雄漫无目的地在地图上探索，而在几个小时的训练后，出现了规划、发育或中期战斗等概念。几天后，智能体能一致地采用基本的人类策略：试图从对手偷财富、推塔发育、在地图旋转控制英雄以获得线路优势。通过进一步的训练，它们开始学会了 5 个英雄一起推塔这样的高级策略。

TI8 冠军 OG 战队

OpenAI 卷土重来，这一次直接选择挑战目前人类最强战队 OG，展示了自己的强大自信。这次的“最终对决”，OpenAI 直接以 Finals 为名，看来是最后一战了。更令人兴奋的是，它的对手 OG 绝非等闲之辈。

OG 战队前身为 Monkey Busniess 战队，后被一家游戏直播平台收购改名为 OG。2015 年，OG 战队在决赛中击败了 Secret 战队，夺得法兰克福特锦赛冠军，从此一战成名。

2016 年，OG 战队虽然在上海锦标赛中失利，却于当年在马尼拉再次奋起夺得第二个特锦赛冠。

冠军团队也并非一帆风顺的。在 2016 年 TI 赛惨败之后，OG 战队经历了一波换血：去掉了 Cr1t-、Miracle-和 MoonMeander，新加入 Jerax、Ana 和 s4。重生之后的 OG 随即斩获了波士顿特锦赛的冠军，之后于 2017 年获得基辅特锦赛冠军。

TI5-TI7 期间，OG 取得了 7 个官方特锦赛中的 4 个冠军，这是一支顶级的世界强队。

但 OG 真正的传奇，展现在 TI8 的舞台上。

TI8 自 2018 年 8 月 15 日温哥华开战后，OG 先以 2：1 击败 PSG.LGD，取得胜者组冠军。而后，打落败者组的 PSG.LGD 在败者组决赛中以 2:0 战胜 EG 挺进总决赛。TI8 决赛成为了 OG 与 LGD 的恩怨局。

8 月 26 日，在总决赛的精彩对决中，最终 OG 更胜一筹，3：2 赢得 LGD，在全世界面前捧起了 TI 冠军盾，而 N0tail 与 JerAx 也成功拿下四大联赛大满贯。