[上观新闻]江晓原：“人机大战”喧嚣中，有个细节大多数人没注意到

摘要

任何军事用途的人工智能都必然直接或间接地“伤害人类”。从可能的危害后果来说，军事用途的人工智能失控或反叛也很可能是最危险的。谷歌收购Deep Mind公司时达成的“禁止将该技术应用于军事或情报用途”条款，是民间自律的表现。令人担忧的是，这种认识和自律，还远未在国家层面出现共识和尝试。

【编者按】2月2日，有消息曝出，人机围棋大战第二季将在今年4月上演。届时中国围棋最强战力——柯洁将与谷歌AlphaGo进行三番棋大战，随后中日韩围棋高手还将组团“群战”AlphaGo。消息一出，公众热情再度被点燃。人工智能对人类究竟意味着什么？在应用上，我们需要避开哪些危险陷阱？从战略层面，中国又应当如何看待或布局人工智能？“思想汇”栏目特邀上海交通大学讲席教授江晓原谈其观点。

继AlphaGo击败李世石之后，它的升级版Master干脆横扫千军，将全球围棋顶级高手尽数诛灭，以60连胜的成绩，宣告了人类在围棋这个人类自己发明的游戏中已彻底失败。这样成功的商业炒作，再次将世人的目光集中到人工智能及其前景上来。在一片喧嚣声中，大多数人也许都没有注意到一个意味深长的细节。  

研发AlphaGo和Master的，是一家名为Deep Mind的公司，总部位于伦敦，2014年初这家公司被谷歌用四亿英镑收购。而那个意味深长的细节是，收购时双方协议中有这样一款：“禁止将该技术应用于军事或情报用途。”  

对于人工智能的社会影响已有不少讨论，当然也依然众说纷纭。而我关于“人工智能必将威胁我们的文明”的观点，已经在各种媒体上表达多次，这可能是目前“反人工智能”论调中最激进的。我主张从近期、中期和远期（终极意义）分别认识人工智能的危害。而近期的两大主要危害，是人工智能将导致大规模失业和人工智能的军事化。关于后一个近期危害，我甚至表示“人工智能就是当今的两弹一星”，主张“我们应该以当年搞两弹一星的心态来搞人工智能”。这在当前看来尤其值得强调。  

其实，史蒂芬·霍金、比尔·盖茨和伊隆·马斯克等人，早就呼吁世人警惕人工智能的盲目研发，特别是要警惕军事用途人工智能的研发，认为这有可能“唤出魔鬼”。马斯克更明确表示，“我们需要十分小心人工智能，它可能比核武器更危险”。  

业界面对“反人工智能”的各种意见，迄今所能提出的反驳，仍然是荒谬的“人工智能还很弱小”和幼稚的“我们可以拔掉电源”。这两种老生常谈，实际上根本构不成对“反人工智能”意见的有效反驳。专家们的另一种策略，大多是借口反对者“不懂专业”而对“反人工智能”的各种意见一概嗤之以鼻。这种态度同样非常荒谬。人们批评某种危害社会的行为时，着眼于这种行为的后果就够了，并不需要掌握实施此种行为的每个技术细节。就好比我们反对偷窃，并不需要掌握偷窃的技巧；如果试图为偷窃的正义性辩护，也不能拿批评者不知道如何行窃作为理由。如果批评者因为“不懂专业”而批评错了，那懂专业的人士为何不据理驳斥呢？再说，即使可以宣称霍金和盖茨“不懂专业”，总不至于认为马斯克在人工智能问题上也“不懂专业”吧？  

仿佛是为了替马斯克的论点补充细节和证据，出现了一部片子《零日》（Zero Days）。请注意，这是一部纪录片，不是科幻影片，是对一些惊人事实的揭露和反思。《零日》讲了这样一件事情：为了破坏伊朗的核计划，美国和以色列联合研发了一种超级病毒Stuxnet。事实上，这种超级病毒就是一种幽灵般的人工智能，它感染了伊朗的网络之后，会自动寻找和识别特定的目标——离心机的控制器。由于Stuxnet病毒设计巧妙，它在当时几乎无法被侦测出来，而且它也不会去破坏和干扰除了离心机之外的任何别的机器，所以刚开始它隐蔽得很好。然而，美国人偷笑的时间并没多久，这种超级病毒还是被发现了。不仅被发现了，而且被破解了。这就意味着伊朗及其盟友，也获得了这种超级病毒。  

上面这些情节还并非事件的重点。事件的重点是，纪录片表示人们有理由认为网络战争的“潘多拉盒子经此一役已经正式打开”。纪录片接着花了不少时间用于“问责”和“追责”：究竟该不该研发Stuxnet这样的超级病毒？又该不该将这种超级病毒用于对他国的攻击？影片采访了不少当事人，他们都不敢直面这样的问题，他们既不敢理直气壮地回答“应该”，也不敢回答“不应该”。不过他们大都表示了深深的忧虑和不同程度的反思。  

当年阿西莫夫的“机器人三定律”，早就从逻辑上排除了将人工智能用于军事用途的一切合理性。这是因为，任何军事用途的人工智能都必然直接或间接地“伤害人类”。从可能的危害后果来说，军事用途的人工智能失控或反叛也很可能是最危险的。  

我一直很奇怪，对于执意为人工智能辩护的人来说，“人工智能还很弱小”这个理由为什么特别受他们青睐？业界人士最常见的辩护路数，就是先讲一堆专业术语和概念（目的是将公众弄晕），然后告诉公众：人工智能还很弱小，为什么不能让我们先研发着再说呢？研发者和公众，似乎非要亲眼目睹或亲身承受了人工智能的危害之后，才肯相信人工智能是会造成危害的。如果真是这样，那么纪录片《零日》所揭示的网络战争，应该已经足够发人深省。  

如果对于人工智能存在的潜在危害性始终不能有足够认识的话，那么，一句老话放在这里就是合适的，即“最好的防守就是进攻”。所以，今天我们只能、而且必须抱着和当年搞“两弹一星”类似的心态，来进行军事用途的人工智能研发。  

显然，比较理想的局面，是将来各大国坐下来谈判，签署限制或禁止人工智能（或至少是军事用途的人工智能）研发的国际协议。但谈判需要手中有筹码，只有当中国手中握有足够的实力筹码时，才有可能推动人工智能方面的国际裁军谈判。  

目前国际上虽然已出现一些这样的倡议，但仅来自某些学者或学术机构。谷歌收购Deep Mind公司时达成的“禁止将该技术应用于军事或情报用途”条款，也是民间自律的表现。令人担忧的是，这种认识和自律，还远未在国家层面出现共识和尝试。  

（作者为上海交通大学讲席教授、科学史与科学文化研究院院长）  

来源：上观新闻 2017.02.04  

原文： 江晓原：“人机大战”喧嚣中，有个细节大多数人没注意到