“微软最强麻将AI首次公开技术细节！专业十段水平，或能用于金融预测”

本篇文章3190字，读完约8分钟

看点:微软企业去年8月推出麻将ai suphx系统，经过训练后，可以打败人类麻将玩家。

智物4月3日宣布，微软企业去年8月推出了名为suphx的麻将人工智能系统，在麻将游戏社区tenhou进行了测试。 据说tenhou是世界上最大的麻将社区之一，拥有35万多名活动用户。

根据测试结果，suphx的最高成绩是10级。 这是迄今为止世界上唯一10级的人工智能。 tenhou社区的人类玩家也证明了suphx有很好的学习能力，99.99%的玩家认为模型经过训练，表现得到了改善。

本周，微软团队发表了修订版的预印文件，全面介绍了suphx。 目前，该研究发表在学术网站arxiv上，论文的主题是“suphx :在深度强化学习中打麻将( SUP HX:MasteringMAJongwithdeePreinforcementlearning )”

论文链接: i5.hexun/- 04-03/200890477.PDF 。

麻将:规则多而杂乱的不完全新闻游戏

麻将是多玩家参加的，多回合卡不完全的新闻游戏。

一局麻将还包括多个回合。 游戏的胜负由累积回合得分决定，输了并不意味着玩家全输了。 为了最终获胜，玩家可能故意输掉比赛。

另外，麻将游戏的“胡牌”方法非常多。 根据“胡牌”的方法，牌面也大不相同。 因此，每个回合游戏的得分也不同。

不完全新闻游戏是指参加者不理解游戏的所有情况。 在麻将游戏中，每个玩家手中最多有13张卡。 牌墙里的十四张牌对所有玩家都看不见。 另外，卡片桌中央有70张卡。 只有在触摸和击打玩家的时候，才能看到这部分卡片的牌面。

在这个规则中，玩家每做一个选择，下一个牌局就有可能走向10个以上的方向。 玩家不容易只用自己手中的卡来评价下一个动作，必须经过慎重的思考和权衡。

这就是建立麻将人工智能模型的难点:人工智能很难把报酬信号和注意到的消息联系起来。

suphx每天训练150次，熟练掌握5种模式

在微软的研究中，研究者选择日本的4人麻将( riichi mahjong )规则训练suphx模型，训练数据来自tenhou社区。

训练花了两天时间，研究者用44个显卡解决方案在150万个游戏中训练了模型。

1、原型:深度卷积神经网络

深度卷积神经网络( deepconvolutionalneuralnetworks )已应用于围棋和象棋等游戏中，其强大的显示能力已得到验证。 suphx也选择了深度卷积神经网络作为原型。

与国际象棋游戏不同，麻将玩家得到的新闻不是自然的图像风格。 因此，研究者设计了一系列特征，将关注的新闻编码为深度卷积神经联系可以理解的形式。

研究者把每个玩家的私人卡编码到四个频道。 图有4行34列，每一行对应一个通道，每一列对应一张卡。 第n通道的第m列表示玩家手中有n个m类型的卡.每张卡可以表现为34维矢量。

另外，研究者减少了计算多且繁杂:规定在执行深度搜索时优先找到胜者的suphx不考虑对方的行为，重点是寻找有可能获胜的卡面。

2、训练方法:有监督学习+层次强化学习，掌握5种模式

在训练中，原型利用人类玩家的数据进行监督学习( supervised learning )，然后进行层次强化学习( self-play reinforcement learning )。 研究者设计应用战略梯度算法( policy gradient algorithm )进行层次强化学习。

suphx学习了五种模式解决了不同的情况。 分别是拖放模式、riichi模式、chow模式、pong模式和kong模式。

所有的模式都用互联网结构表示。 弃牌模式对应34张牌，有34个输出神经元。 其他模式只有两个输出神经元，是否分别执行相应的操作？

3、gru互联网+oracle代理+pmcpa

除了上述设置以外，微软团队还引入了其他一些技术:

全球奖励预测器( gru互联网)。 该预测器可以事先预测游戏的最终结果，提供比较有效的学习信号，以实现战略互联网。

oracle代理。 是帮助玩家看房子招牌的强大作弊软件。 在suphx的模型学习中，研究者排除了oracle代理的一部分功能，作为一般代理，只能输入可视新闻。 使用oracle代理的训练比标准深度学习过程更快地学习模型。

参数化的蒙特卡洛战略自适应算法( pmcpa )。 许多麻将规则引起不规则的游戏树，阻碍了蒙特卡洛树搜索技术的应用。 为了解决这个问题，研究者引入了参数化的蒙特卡洛战略自适应算法( pmcpa )。 pmcpa不断调整离线学习策略，以适应突发游戏场景(例如，4个玩家放弃了公交卡)。 。

4、胜负评价模型

suphx利用了基于规则的胜负评价模型。 这个模型可以检查其他玩家出的卡和新卡是否能构成获胜牌面。 假设构成胜利牌面，根据以下规则判定模型:

如果这不是游戏的最后一回合，我会宣布这个回合现在的玩家获胜。

这是游戏的最后一回合，如果现在玩家的累计总分是四个玩家中最少的，就不发表了。 相反，我宣布现在玩家获胜。

决定过程:用规则打牌，用模型判定胜负

在游戏中麻将玩家需要行动的情况下，有从牌壁取出牌和打出牌两种。 对suphx来说也一样。

1、从牌壁取牌

从牌壁拉牌时，如果suphx拉的牌与该私有牌成为获胜牌面，则从胜负评价模型中判定是否获胜。 赢了就结束游戏。

抽出的卡成为私人卡和kong的卡面( closedkong或addkong )时，kong模式决定哪个卡面。 对于closedkong，关闭kong操作，取消抽签步骤。 addkong可以采用其他玩家。

如果不能kong，就做riichi步骤。 以私人卡可以排列riichi卡面为前提，riichi模式决定是否宣布这个结果。 如果不声明，则直接进入销毁步骤。 如果声明，则在声明后进入销毁步骤。

在抛弃的步骤中，模型出相应的卡。 继续游戏，直到牌壁里的牌被打尽。

2、其他玩家弃牌

另一个是其他玩家扔卡的情况。 如果suphx可以用弃牌和私有牌构成获胜牌面，就用评价模型进行判定。 模型判定获胜，游戏结束。 模型判定失败。 suphx试图构成chow、pong或kong的牌面。 如果不能构成这三种牌面，就轮到其他玩家行动了。

判断: suphx成最强麻将ai

tenhou平台有两种游戏室:专家室和凤凰室。 专家室向人工智能和4级以上人类玩家开放凤凰室只能接受7级以上的人类玩家。 根据这个规定，研究者在专家室判断了suphx。

在专家室，suphx进行了5760次游戏，最高记录为10段(但)，平均成绩为8.74段。 根据tenhou平台，在35万客户中，只有180名玩家达到10级水平。

论文中研究者说，suphx在防御方面“非常强”。 开发自己的玩法，可以在确保自己的私人卡安全的同时获胜。

结语: suphx有很大的应用潜力或可用于金融预测

经过学习，suphx模型掌握了麻将游戏的规则，在游戏中取得了良好的成绩，证明了这具有非常强的学习能力。

研究者认为这种学习能力在多个其他行业起作用。 例如，在公司的运营中，suphx虽然很普通，但有助于解决占据认识的任务，解放员工的生产力。

另外，该模型可用于金融预测。 在论文中，“金融市场的预测和逻辑优化等现实世界的很多问题与麻将具有同样的特征。 也就是说规则多，杂七杂八，新闻不完整”。 因此，suphx模型在现实世界中具有“巨大的应用潜力”。

论文写道:“展望未来，我们将向suphx引进越来越多的新技术，继续推进麻将人工智能和不完全新闻游戏的前沿研究。”

复制源: venturebeat，arxiv 。

本文是微信公共平台上第一次:智慧之物。 复印件是作者个人的观点，不代表搜狐网的角度。 投资者据此，风险请自己承担。

来源：搜狐微门户