近日，硅谷“钢铁侠”马斯克创立的人工智能非营利组织OpenAI 宣布，由5个神经网络组成的OpenAI Five，已经能够组成5v5团队在经典战斗竞技类游戏《刀塔2》（Dota2）中击败人类业余玩家队伍。7月底，他们还将挑战人类顶级玩家队伍。去年，他们开发的AI就在《刀塔2》的1v1比赛中战胜了人类职业玩家Dendi。

从单挑到团战，展现集体协作能力

据报道，OpenAI Five完全通过自我对战来学习打游戏，每天的对战量相当于人类的180年。也就是说，如果人一天能打10局游戏，那么AI一天就可以打10×365×180局游戏。而且，它还创下了惊人的硬件消耗量纪录：256块图形处理器（GPU）和12.8万个中央处理器（CPU）。

中国科学院自动化研究所研究员兴军亮告诉科技日报记者，OpenAI Five是从去年的1V1版本上发展而来的。一开始，AI随便乱打，不断试错。通过强化学习算法获得游戏奖励信号的引导，一段时间后它就能发现并记住一些具有简单意义的动作，然后再不断试错自我提升，直到最后能够更好地完成游戏目标，一对一战胜人类选手。“OpenAI Five就是五个AI组成一个团队互相对战，团队中的每个成员本身对应一个独立的AI，同样通过强化学习打游戏，但在学习的过程中，每个AI会考虑用其他四个AI的策略去打，这样五个AI就组成了一支团队，去跟五个人类业余选手对战。”兴军亮说。

至于为何每天对战量是人类的180年，兴军亮解释，AI在学习时可以很快，比如在程序中把游戏时钟调快100倍，那么AI打1天游戏就相当于人类打100天。同时，AI一秒钟可点击1万下，这个点击速度人类根本没法比。但在与人类对战时，这是不允许的，必须有一定限制，比如每次点击间隔不低于30—40毫秒。

这次事件之所以被比尔·盖茨称为“里程碑”，是因为OpenAI Five展现出了类似于人的长期规划和团队协作能力，也展现了极高的智能决策能力。

然而，兴军亮认为，OpenAI Five团战战胜的仅仅是人类业余选手，至多算一个“小小的”里程碑。诸多迹象表明，OpenAI Five存在多种局限性，远不如AlphaGo在围棋上取得的里程碑式突破——“完虐”人类顶级围棋玩家。

首先，OpenAI Five打5V5团战时，只能使用特定的游戏英雄，做不到随便组合游戏角色。其次，在《星际争霸》《刀塔2》这类复杂游戏中，OpenAI Five仅仅是再次证明，在强化学习打游戏这件事上，人工智能可通过提高现有算力超过人类，但在算法上并没有太多理论创新。

7月28日，OpenAI将与一组顶级玩家比赛，他们的目标是在8月份击败国际顶级职业团队。“OpenAI有可能在短时间内，通过自我博弈强化学习，再次打赢人类顶级玩家。它此前失败过很多次，不断找人类PK也是为了测试算法。不过，《刀塔2》涉及长期策略规划问题，人类可能更加擅长。”兴军亮说。

打《刀塔》VS下围棋，难度超过数个量级

《刀塔2》游戏对于OpenAI来说有多难？兴军亮表示，《刀塔2》由于操作和规则更为复杂，难度超过AlphaGo下围棋的好多个数量级，5V5对战难度又超过1V1对战好多个数量级。

“围棋是确定边界、完全信息、回合制的简单游戏，《刀塔2》是相对复杂边界、不完全信息下、动态的实时博弈。”兴军亮说。

《星际争霸》和《刀塔2》都属于实时策略游戏，这类游戏本身存在的典型难题是角色空间非常大，决策周期长，在不完全信息博弈下，要猜测对方的状态，这要求AI尝试计算出各种可能情况下的策略，瞬间扩大成高维爆炸式的搜索空间。

其次，AI团队协作也是一个难点，这意味着AI要同时控制多个单元，进行多智能体的协作和协同，有时还要牺牲个别单元的局部利益去满足整体利益，这是群体智能学习需要克服的重要难题。

更深层次的难点是，如何通过游戏，让AI不是靠速度，而是靠决策和推理取胜。IBM“深蓝”也是依靠强大算力将人类打败。但“深蓝”是对计算智能的突破，也就是算得比人类快，下一步人工智能界期望在认知智能上有新的突破。

涉及推理决策，迈出认知智能“一小步”

为何有人热衷研究游戏AI？“当前研究得比较多的语音识别、人脸识别等技术属于感知智能，要达到正确识别，只需告诉AI某事物是什么即可。然而，更难的是认知智能，它牵涉到推理决策。”兴军亮表示。

游戏AI涉及推理和决策问题，同时，游戏博弈体现的不完全信息和动态博弈特性是现实环境的一个很好模拟，加之游戏环境可控制，可快速运行，不会造成额外损失。兴军亮认为，“这使得游戏AI成为下一步极佳的人工智能验证平台。”中科院自动化所目前在进行相关游戏AI研究，在国际《星际争霸》游戏AI大赛上取得了较好成绩。

虽然OpenAI团战战胜人类业余选手，相当于将人工智能的认知智能往前推进了一小步，但即便下一步它战胜人类顶级选手，进一步对认知智能做出贡献，仍旧不代表认知智能取得了真正突破。因为它没有把认知智能的问题完全解决掉。就好比AI能够做对一套考卷，的确可以证明分数高，但是否能说明其达到了很高的学习水平，还不能确定。

“人工智能下一阶段难题，是怎么去突破认知智能。真正的认知智能还有很多问题没有解决，比如推理过程的表示、决策优化算法等。如何让AI使用更少的计算量做到更好的推理和决策，让AI消化吸收学习的速度更快等。”兴军亮认为，无需担心机器能在所有问题上战胜人类，这件事离我们还相当遥远。

伦敦大学计算机学院教授汪军说，AlphaGo之后，AI领域的下一大挑战是多智能体强化学习（MARL），即让多个智能体学会合作与竞争。《刀塔》《星际争霸》还有更多人熟悉的《王者荣耀》，都属于多智能体强化学习。

“游戏AI上的算法突破，可以迁移应用在互联网广告、自动驾驶和机器人导航等场景，只是没办法自动适应其他模型，比如游戏AI不可能直接去自动驾驶。迁移过程需要人的参与，人会根据应用特点，从程序上设计问题的输入输出，从优化目标上也要做相应调整。游戏打输没关系，但自动驾驶AI算法一旦失败，面临的损失是人类无法承受的，所以这些领域上的AI算法应用周期会更长，只有经过更严格的测试，非常成熟可靠时才可以运用。”兴军亮说。