徽帮棋友会

 找回密码
 立即注册
搜索
热搜: 围棋
查看: 7048|回复: 0
打印 上一主题 下一主题

围棋统计学2:洪性志网棋作弊了吗?

[复制链接]

2515

主题

2698

帖子

8992

积分

论坛元老

Rank: 8Rank: 8

积分
8992
跳转到指定楼层
楼主
发表于 2018-10-4 14:40:05 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式




前一段时间,洪性志网棋涉嫌作弊,遭到了封号处理。但是,平台并没有给出详细的处理依据,只是简单的一句“使用了LeelaZero 147号权重”。本着严谨的态度,蘑菇结合弈客鹰眼给出的数据,对此事做了一个详细的数据分析。

首先,随机选取了洪性志三盘网棋,包含争议最大的执黑对柯洁的一局,以及执白对童梦成和罗洗河的两局。然后,选取了三盘洪性志最近的线下比赛的棋作为对照,包含两盘慢棋以及一盘快棋:LG预选赛中执黑对彭立尧和李铭,以及麦馨杯执白对赵汉乘。

弈客鹰眼分析方法:

GTX1080Ti单卡,固定每步30s。网棋采用147号权重与ELF权重分析,线下比赛采用147号权重分析,以便于互相对比。

弈客鹰眼给出了吻合度与胜率统计学的参数。其中吻合度,反映了对局者与指定权重选点相同的比例;平均胜率差异和方差,则是联合反映了棋手的稳定程度以及与AI选点胜率的差异。异常高的吻合度,与较低的平均胜率差异和方差值,提示棋手可能采用该权重作弊。

一、网棋数据对比


这是洪性志网棋对局双方,在147号权重与ELF权重下局吻合度对比的箱型图。从图中可以看到,无论使用哪个权重,洪性志的吻合度都明显高于他的对手。特别的是,在147号权重下,洪性志的吻合度分布宽度相较他的对手更为狭窄。

在两个不同的权重之下,无论是洪性志还是他的对手,吻合度在误差范围内可以认为相同。这说明了,用检测全局吻合度的方法,无法区分棋手究竟是用了147号权重还是ELF权重。


进一步,为了更清晰的分析吻合度数据,弈客鹰眼将吻合度进行了区间划分:5-60手为序盘,61-180手为中盘,181手到终局为官子。本图是在147号权重之下,洪性志网棋对局双方的区间吻合度箱型图。

可以看到,无论是哪个区间,洪性志的吻合度相较对手都明显领先。序盘吻合度平均值在70%之上,虽然很高,但是也绝非人力所不能及。中盘与官子,55%的吻合度比人类的平均水平略高一点,但是依然在合理范围。

从上面的分析我们可以看到,无论是从全局吻合度的角度还是从区间吻合度的角度分析,洪性志虽然有可疑的因素,但是并不能以此敲定洪性志使用了AI作弊,更不可能具体到某个权重。



以上6张胜率趋势图,均为弈客鹰眼自动生成,点击可看大图。

这是洪性志三盘网棋的胜率趋势图的合集,上面是147号权重分析的结果,下面是ELF权重分析的结果。两个权重分析出来的走势也都相近,只不过ELF权重的胜率变化更为激进一些。三盘棋洪性志都可以说是完胜,但是洪性志的胜率也绝非单调。棋局有反复,但是总体来说这三盘的表现洪性志更胜一筹,但是对手也有一战之力。从这个角度来说,至少可以断定的是洪性志没有全程使用AI辅助。至于是否人机结合,仍然无法下判断。



这是之前某次,被推断作弊可能极大的L姓棋手(黑)的胜率趋势图。



这是李世石(黑)与AlphaGo人机战的某一盘。

可以看到,这两幅图中AI或者被怀疑是AI一方的胜率,几乎是碾压式的单调增长。但是洪性志和柯洁与童梦成的对局中,都出现了胜率明显的反复,甚至一度回到了接近50%。



这是洪性志网棋对局双方,平均胜率差异的箱型图。这个指标,反映了AI最优解与棋手每手棋的胜率差异。用于探讨使用AI作弊的情况下,该值越小,作弊嫌疑越大。

从图中可以看到,无论在147号权重还是在ELF权重的分下之下,洪性志与AI的差异,要明显低于对手。


这是洪性志网棋对局双方,方差的箱型图。这个数据反映了对局双方的稳定性,越小表明对局者每手棋的发挥越稳定。同理,用于探讨使用AI作弊的情况下,该值越小,作弊嫌疑越大。

从图中可以看到,无论在147号权重还是在ELF权重的分下之下,洪性志的稳定性,要明显高于对手。

更高的吻合度,与AI更小的差异,以及更稳定的发挥,提示洪性志在网棋中有较高的作弊嫌疑。但是,以上无论哪一点,都无法下绝对的判断。

二、网棋与线下对比

为了进一步探讨洪性志是否在网棋中作弊,进一步将洪性志网棋与最近的三局线下比赛做了数据对比。


这是洪性志线下比赛中,对局双方与147号权重吻合度的对比。可以看到,洪性志除了序盘的吻合度较高之外,在中盘和官子阶段,吻合度都没有任何优势。布局通过一定的训练,是可以与AI达到形似的程度。但是进入到中盘和官子阶段,需要大量计算的局面,想与AI招法相似,就变得异常困难。这也可以解释,为什么洪性志的序盘吻合度较高,而中盘和官子并不高的事实。



这是洪性志线下比赛与网棋在147号权重分析下,吻合度的对比箱型图。

图中可以看到,洪性志的网棋,无论是全局还是某个区间,吻合度都较线下更高,但是也只有60%左右,并没有突破天际。而且,洪性志网棋中,全局、序盘以及中盘的吻合度分布,也比线下比赛更窄。



这是洪性志网棋与线下比赛中,在147号权重的分析下,对局双方平均胜率差异对比的箱型图。可以看到洪性志在网棋中,平均胜率差异比线下更低;而在线下比赛中,洪性志和对手的平均胜率差异并没有太多分别。



这是洪性志网棋与线下比赛中,在147号权重的分析下,对局双方方差对比的箱型图。与上面结论相似的是,洪性志在网棋中的发挥更为稳定,而线下比赛发挥的稳定性和对手并没有太多区别。



以上6张胜率趋势图,均为弈客鹰眼自动生成,点击可看大图。

上面一行是洪性志网棋的胜率趋势图,下面一行是洪性志线下比赛的胜率趋势图。从图中也可以看到,洪性志在线下比赛的统治力差了许多。

然而以上所有的疑点,无论是网棋吻合度高于线下也好,还是平均胜率差异和方差网棋更低也好,都只能怀疑洪性志有很高的作弊的嫌疑,要下断言证据不足。这是由于:1. 样本量不足,需要30盘以上的对局才能有较准确的结论。由于资源有限,暂时无力统计如此量大的比赛;2. 洪性志的数据只是异常,但是并没有太过于偏离人类的均值。相比之下,与之前L姓棋手全局与所有区间80%+的吻合度是无法相提并论的。

三、结论

通过以上的分析,洪性志在这几盘网棋中,网棋与AI吻合度较高,而且线上线下表现有明显差异。但是,现有的证据无法证明洪性志存在作弊行为。更进一步,要证明一名棋手某一盘棋具体使用哪一款权重作弊,在现有情况下无从判别。



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

徽帮棋友会 ( 苏ICP备2022041640号-1

GMT+8, 2024-11-30 05:01 , Processed in 0.539621 second(s), 22 queries .

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表