星际争霸2wtl，星际争霸2innovation
刚刚，我们看到了人工智能与人类PK的又一重大突破。北京时间2:00年1月25日，DeepMind在《星际争霸 2》公布了两位职业选手的AI大赛战绩。 AlphaStar 5:0以5:0击败职业选手TLO和2018年WSC奥斯汀亚军MaNa。与两位人类对手的比赛相隔大约两周，AI 是自学成才，经历了从菜鸟水平进化到对TLO 完美操作的过程。尤其是在与MaNa的战斗中，他首次展现了超越人类极限的能力。
此次演示也标志着DeepMind 的星际争霸2 AI AlphaStar 的首次亮相。除了展示过去的比赛。。外，AlphaStar还与MaNa进行了一场现场比赛，其中AlphaStar输给了人类玩家MaNa。
照片| MaNa 专注于比赛（来源：Youtube）
DeepMind在演示中展示，双方之间的比赛固定在Catalyst LE地图上使用4.6.2游戏版本，其中只能进行神族内战，每方可以进行5场比赛。最先接受邀请的是来自Team Liquid的虫族选手TLO，目前世界排名第68位。
照片| TLO（来源：Youtube）
在第一场比赛中，TLO出现在10点钟位置，AlphaStar出现在4点钟位置的对角位置。 TLO的开业很传统，有两个兵营挡路，但AlphaStar并没有挡路，这个问题被TLO农民注意到，他们决心枪杀使徒，并采取了杀戮农民的常见骚扰策略。
AlphaStar没有堵路，直接派了TLO使徒进来，但是AlphaStar的双兵营也造出了使徒防御，所以TLO一开始的骚扰只杀了两个农民，让剩下的使徒白白回来了。
随后，双方开始对跟踪者进行赔偿，TLO开始骚扰先知。双方进行了多次小规模战斗，几波反攻差点打成平局，AlphaStar损失了更多农民，TLO损失了更多使徒。在战斗中，我们看到Alphastar进行了类似人类的微操作，一边撤退一边反击TLO的追击，同时使用Prism出兵。
图| AlphaStar Vision，让您能够跨地图看到战争迷雾之外正在发生的事情，并做出满足全球资源调度的决策（来源：Youtube）
不过此时TLO的第二座矿井刚刚建成，而AlphaStar只有一座矿井，可以让他们将更多的经济转化为军事力量，所以AlphaStar引进了更多的猎人，选择直接攻击第二座矿井。 TLO 的猎人寡不敌众。主力全军覆没，打出GG。
第一局比赛以DeepMind获胜告终。我们在AlphaStar 观察到了一些不寻常的做法。例如，他们选择不骚扰对方的农民，而是直接用。。保卫他们。然后我们得知TLO 在夺取第二个地雷后使用了一定数量的武器。前方的战场上，猎杀仍在继续。
由于时间限制，演示期间无法展示所有比赛，因此在展示另一场比赛的镜头后，展示了TLO的五场不败记录。不过，所有。。都将在DeepMind 官方网站上发布以供下载。
TLO在演示中表示，“我觉得我还能赢。如果我花更多时间训练，更多地了解AlphaStar，我一定能找到AlphaStar的弱点并获胜。”
接下来是Liquid战队的MaNa，神族排名第19位，实力强于TLO。如果AlphaStar能够击败他，那就证明AlphaStar真正拥有与人类顶尖选手抗衡的实力。
图| AlphaStar 和人类玩家的APM 没有显着差异（来源：Youtube）
在与MaNa 的第一场比赛中，两支队伍“常规”开局，MaNa 挡住了道路，而AlphaStar 没有挡住道路。然而AlphaStar却采取了不同的策略，在MaNa基地附近放置了一颗水晶，对两个兵营进行拍摄，准备利用兵营之间的距离进行攻击。到现在为止，MaNa仍然遵循人类的想法，利用使徒来折磨农民。
当阿尔法星兵营即将竣工时，他被玛娜发现，果断采取了防御措施，在高坡上修建了两个充电站，利用封路和高坡来防御迎面而来的狩猎大军，我做好了准备。根据MaNa 的说法，“普通人类玩家永远不会爬上这么高的山。”
然而Alphastar不是人类，犹豫了两遍之后，他选择了直接向高地进攻。猎人的数量压倒了MaNa，而且营地里又在陆续驱逐猎人，所以充电站几乎没有，没有什么效果。几次齐射后，玛娜狩猎所剩无几，即使撤退了所有农民，也无法挽回局面，宣告失败。
随后的两个游戏。。评论展示了AlphaStar 强大的微观管理和战术思维，学习和试验人类路障策略并生产更多农民以减少骚扰的影响。在一场比赛中，AlphaStar使用纯粹的跟踪者战术来对抗MaNa的跟踪者、神仙和民间的混合。。，仅仅依靠强大的微观管理。
图片| 实时战况（来源：Youtube）
AlphaStar将三十多名猎人分成两三路，从三个方向夹击玛娜的攻击力量，依靠眨眼躲避九只不朽者的攻击，这种惨无人道的机动，已经彻底摧毁了玛娜的作战空间，根本没有办法抵挡狩猎大军。 “在人类比赛的同一水平上，这样的情况永远不会发生。”MaNa 在演讲中虚弱地说道。
最终MaNa以0-5落败，人类与AlphaStar的10场比赛全部默认输掉。
不过在。。演示的过程中，DeepMind似乎有些夸张了，选择了与MaNa进行实时表演赛，并且还表示后者想要为Liquid战队正名，保护战队的荣誉，人性。
双方开局正常，前期没有发生重大战斗。不过，MaNa显然已经做好了准备，专注于侦察和改进技术，而不是利用使徒和先知来骚扰他们。在发现AlphaStar 仍然产生无数追猎者后，MaNa 采用了骚扰战术，即用棱镜运送不朽者，并补充不朽者、民俗和执政官的混合。这大概是整场比赛的亮点了。
图片| 三位先知看着棱镜周围的兴奋（来源：Youtube）
在空投亡灵折磨农民的时候，Alphastar选择不补充凤凰打击棱镜，而是使用无法攻击空中单位的先知追踪棱镜，攻击前线和大本营，补充了数十个来回的追猎者。潜行者似乎认为他们可以在空中攻击，所以不需要更换凤凰，而且所有潜行者似乎都是一个群体，不需要一起攻击或防守。
因此，我们研究了人类玩家对抗人工智能的典型方式。它迫使后者陷入执行特定任务的循环中，浪费大量的时间和资源，并且无法对情况做出有效的判断。
就这样，MaNa疲惫不堪，直到能够组建自己的势力，之后一波压制，直接打乱了AlphaStar纯粹的狩猎势力。后者也尝试用包夹战术阻止MaNa，不过这次MaNa兵力足够，不朽者对猎人的克制非常明显，没有给AlphaStar留下任何行动的机会，迫使敌人一网打尽，获胜一次宝贵的胜利。
照片| 表演赛获胜后，MaNa 露出迷人的笑容（来源：Youtube）
虽然TLO和MaNa的。。以彻底失败告终，宣告DeepMind AlphaStar的实力已不可同日而语，但这场表演赛却充分暴露了AlphaStar目前的短板。
尽管神经网络长期趋于优化，但它在某种程度上似乎仍然陷入局部最优，它被人类以固定模式发现和困住也是可以理解的。它从五只小叮当变成了纯粹的狩猎。部队都表现出对游戏武器缺乏了解。如果他们能在上一场比赛中像人类一样直接派出凤凰防御棱镜，那么或许会继续以超微操控碾压MaNa。
在比赛重播期间，主持人询问DeepMind 科学家他们通常如何训练AlphaStar。 DeepMind 科学家Oriol Vinyals 和David Silver 表示，第一个是模仿学习。该团队从许多玩家那里获取了大量的游戏重玩数据，并试图创建一个人工智能，它可以观察一个人所处的环境并尽可能模仿某些行为，以了解《星际争霸》的基础知识。使用的培训材料包括专业和业余运动员。这是建立AlphaStar的第一步。
照片| DeepMind 科学家Oriol Vinyals（来源：Youtube）
照片| DeepMind 科学家David Silver（来源：Youtube）
之后，球队将采用名为Alpha League的赛制。在这种方法中，阿尔法联盟的第一个竞争对手是一个根据人类数据训练的神经网络，它一遍又一遍地迭代以生成新的代理和分支来发展“阿尔法联盟”。
图| Alpha联赛示意图（来源：Youtube）
这些代理通过强化学习过程在“阿尔法联盟”中与其他竞争对手竞争，尽可能有效地击败这些不同的策略，同时也鼓励竞争对手以特定的方式发展。获得特定奖励。
最后，球队选出了“阿尔法联盟”中最不易被利用的特工，称他们为“联盟的纳什”，而TLO的对手正是这五位。
为什么选择星际争霸2？
在比赛初期，DeepMind 和暴雪联合发布了有关比赛的重要公告。 Deepmind为即时战略游戏《星际争霸2》开发的人工智能最新进展将于北京时间周五凌晨2点展示。这一次，事情的进展终于揭晓了。
DeepMind 的《星际争霸2》人工智能的开发可以追溯到2016 年。当时，DeepMind 研究科学家Oriol Vinyals 在暴雪嘉年华上透露了DeepMind 与星际争霸2 紧密合作的最新进展和未来计划。 2017年AlphaGo在围棋比赛中获胜后，DeepMind开始宣布团队正在致力于让人工智能征服星际争霸2。该游戏对人工智能成功处理复杂任务提出了“重大挑战”。
在2018 年1 月的EmTech 大会上，谷歌DeepMind 科学家Oriol Vinyals 告诉DT君，AlphaGo 的第一个版本战胜了黄辉，然后下一个版本战胜了韩国的李世石，他说自己赢了。经过对网络的进一步训练，整个网络变得比以前强三倍，击败了柯洁等职业围棋棋手。队伍从零开始，积累数据，一点一点训练，最终战胜了职业选手。除了棋盘游戏之外，DeepMind 对星际争霸2 游戏也很感兴趣。
继围棋之后，DeepMind为何选择星际争霸2作为下一个目标？
《星际争霸2》是美国著名游戏公司暴雪娱乐发行的一款星际战争题材的即时战略游戏。星际争霸2具有策略性和竞技性，在全球范围内非常受欢迎，每年举办的赛事众多，玩家群体庞大。
图丨谷歌DeepMind科学家Oriol Vinyals（来源：DeepTech）
根据Oriol Vinyals 当时的说法，“《星际争霸2》是一款非常有趣且复杂的游戏。游戏基本上就是建造多个建筑物和单位，不同的组织在同一张地图内相互竞争。”……显然……在这个游戏中，你必须做出很多决定才能建造一座建筑物。而且整个游戏非常具有挑战性，你要不断收集和利用资源，建造各种建筑，不断扩张。
另外，与围棋任务最大的区别在于，在围棋中你可以看到整个棋盘，而在星际争霸2中你通常看不到整个地图，必须派士兵出去侦察。而且，游戏是不间断进行的。游戏总步数超过5000步。在强化学习技术中，除了上下左右等常规动作之外，用鼠标点击界面来控制各种物体的移动和各种动作也是非常困难的。
星际争霸2的这些特点，正是人工智能在创新之路上需要面对的挑战，而当面临许多不可预测的突发。。时，人工智能不仅要采取正确的应对措施；还需要根据实际情况微调对策。
（来源：DeepMind）
星际争霸2是一款“即时策略”游戏，其“即时”和“策略”特性绝对是发挥AI的最佳方式之一。以“实时”为例，星际争霸2的300+个基本操作的“动作空间”（Action Space）对于人类来说恐怕并没有那么大。但对于机器来说，星际2的分层操作，加上“技术升级”带来的订单变化，结合地图的大小，使其操作空间无限。例如，简单的动作“农民盖房子”有六个不同的步骤。单击并滑动鼠标选择单位，B选择建筑，S选择补给站，滑动鼠标选择位置，然后单击。构建。仅84x84 屏幕就可以在机器的操作空间内提供大约1 亿次操作。
AlphaGo Zero创始人：“这比围棋难多了”
DeepMind与暴雪的长期合作有几个重要节点。
2017年8月，星际争霸2开发团队发布了人工智能研究环境SC2LE（星际争霸II学习环境）。它包括一个机器学习API，允许研究人员和开发人员连接到他们的游戏，并可以打开65,000 个游戏的数据缓存。 500,000 次匿名游戏重播和其他调查结果。其中一些数据对于训练和支持序列预测以及长期记忆研究将很有用，研究团队也希望这些工具能够帮助研究人员加快《星际争霸2》人工智能的开发。
图丨Julian Schrittwieser（来源：麻省理工科技评论）
SC2LE 发布后不久，AlphaGo Zero 的创造者之一、《麻省理工科技评论》 TR 35 的获胜者Julian Schrittwieser 在网上互动中表示：《星际争霸2》的AI 仍处于早期阶段，比人工智能更难开发在AlphaGo，零号诞生后，团队希望以此为契机，在AI研究上取得新的突破。
该团队第一篇与《星际争霸2》相关的公开论文于2018 年6 月发表。当时，DeepMind公布了arXIv的最新研究成果。利用关系型深度强化学习，我们在《星际争霸2》中的6 个模拟迷你游戏（旅行、采矿、建筑等）中达到了当前的最佳水平，其中4 个超过了人类水平。他是天梯大师组的成员。
然后，2018年11月，我在暴雪贸易展上再次了解了这个项目的进展。游戏规则AI 随后很快开始表现出有趣的行为，例如冲向和攻击对手，研究人员宣布，即使对抗“疯狂”的计算机，AI 也有50% 的胜率。
对比3个月后今天DeepMind AI的表现，我不得不说我们进步很快。
另一场值得期待的“战争”将于2月15日上演。继星际争霸2 AI。。预告片公布后，芬兰电竞战队ENCE也发布公告，声称WCS星际争霸2世界冠军芬兰选手Serral将参赛。 《星际争霸2》利用人工智能在人类和机器之间发动战争。顶尖AI与人类玩家的对决，或将再次创造新的历史。
照片| ENCE 公告（来源：Twitter）
今年的人机大战将会发生什么？我们在构建通用人工智能方面还有很长的路要走
近年来，除了DeepMind之外，越来越多的人工智能公司和研究机构也加入了游戏类AI开发的浪潮，其中包括OpenAI和腾讯AI Lab。
毕竟，这些团队对游戏人工智能的热情很可能源于他们创造通用人工智能的最终目标。游戏AI研发将进一步拓展人类对AI能力的理解，此类研究最终将探讨以下问题： AI能否通过游戏规则自主学习，从而实现更高水平的智能，甚至是一般的人工智能？例如，改进强化学习算法在游戏AI的设计中将很重要。强化学习是一种能够提升AI能力的核心算法，帮助AI解决日益复杂的动态不确定的决策问题，例如游戏AI、智能投资、自动驾驶、个性化医疗等）将能够得到解决。
DeepMind团队的成果给这台—— AlphaGo Zero带来了一线希望，它在短时间内掌握了围棋、上棋、国际象棋三种国际象棋游戏，并且已经开发出了国际象棋的通用AI原型。除了桌游之外，最让人兴奋的就是各家公司开发的AI在即时策略RTS游戏和多人在线竞技MOBA游戏中的表现。腾讯AI实验室负责人之一姚星此前表示，从游戏AI研究的角度来看，腾讯AI实验室正在专注于规则不明确的游戏开发，从像围棋AI这样的单一AI的完全信息游戏“精”艺术”。他介绍说自己正在转向新游戏。场景多样、复杂的游戏类型，例如星际争霸、Dota2等复杂的即时战略RTS游戏，或者多人在线竞技MOBA游戏。
图丨OpenAI宣布其开发的AI机器人在电子竞技游戏Dota 2中击败人类职业选手Dendi（来源：OpenAI）
刚刚过去的2018年，OpenAI开发的AI OpenAI Five是为Dota2开发的，但它与人类的PK过程却充满了戏剧性。 2018 年8 月上旬，OpenAI Five 击败了一支由人类玩家组成的高水平业余队伍（天梯分数在4000 左右），但到了8 月底，OpenAI Five 输给了两支职业队伍，AI 被关闭。我将提前参加目前正在举行的DOTA 2国际顶级赛事。回顾失败的过程，事实是OpenAI的系统仍然无法完全理解DOTA复杂的游戏系统和规则。
如今，DeepMind的《星际争霸2》AI凭借超强实力打响了2019年游戏AI第一战，但接下来会出现什么游戏AI呢？让我们看看它会如何转型。
（来源：DeepTech深科技）
