[南方周末]上海交大江晓原：为什么人工智能必将威胁我们的文明

江晓原说，一般人最担心的是人工智能失控、反叛，都没有想到其终极威胁。（南方周末资料图/图）

我本人是学天体物理出身的，算是科学家，在天文台工作过十几年，对科学有一些了解，但我并不从事人工智能的研究。对于人工智能，我是完全反对的，我认为人类现在正在玩的火有那么两三把，其中最危险的就是人工智能，但是很多人并没有认识到这一点。    

我们可以从近期、中期和远期三个层面来看人工智能的威胁。    

近期主要的问题是会导致大规模的失业和大规模的军事化应用，中期是公众相对了解最多的，就是担心人工智能失控、反叛；但是远期的终极威胁很多人都没有想到。    

在每一期威胁上都有很多错误的认识。最常见的一种是：现在的人工智能还很弱小，我们担心的什么反叛、失控，都太遥远了。这种理由是非常荒谬的，想想“养虎遗患”是什么意思？能用“老虎还小”作为你的理由吗？    

我们首先看近期的危险。在这个方面，人工智能的专家们也祭出了一些非常幼稚的理由，他们首先对我们许诺说，在可见的将来，95%甚至95%以上的工作岗位，都将可以由人工智能来取代。如果真的像他们说的那样，那就意味着我们社会中的绝大部分人都将失业，只剩下少数人工作养活所有人。这样的社会结构，人类有史以来还没有出现过。    

现在有10%或者15%的人失业，我们就说失业率高企，这个社会社会很危险了。那要是到了85%、95%的人都不需要工作的时候，他们会干什么呢？你可以说他们不叫失业，现在让机器人工作，养活我们就行了，他们只要在家里吃喝玩乐就行了。这个时候你要当心，人们除了吃喝玩乐，还要做另外一件事情：他们要闹革命，95%的工作都可以被取代的话，可以猜想，连革命也可以让机器人来进行。而由机器人进行的革命，在很多科幻电影里大家都已经看到了，比如说《机械公敌》的结尾，广场上是一望无际的机器人，这样的社会非常危险。    

搞人工智能的专家经常跟我们说，人类历史上每次重要的技术革命产生的时候，都失去了一些工作岗位，但是接着都造成了新的岗位。当他们找出这种理由来的时候，在逻辑上已经犯错误了。因为他们之前承诺的95%的岗位都可以由机器人来完成就不成立了。    

事实上，人工智能造成的对人工的取代，跟以往的情形完全不一样。原来我们可以说，有了汽车，马车夫失业了不要紧，可以改为开汽车；可是现在汽车本身都是智能的了，用不着人去开它了，所以大规模失业实际上是一个非常危险的事情。我觉得我们不能仅仅因为从降低成本考虑使用机器人。如果你换用了机器人以后，产业能够升级，那也许还能考虑，尽管长远来说也不好。但如果你仅仅为了降低成本而导致大批工人失业，社会就不安定了。    

把机器人弄到军事用途上当然会很有效，尽管大家都知道阿西莫夫的机器人三定律，任何军事用途都是直接违反三定律的，但三定律又不是什么法律，只是小说家的想象。另外，机器人用到军事用途上，还会带来更多的伦理问题。比如说我们今天决定往什么地方扔炸弹，这是由我们人来决定的；现在有智能无人机之类的装置，需要它自己当场断定要不要攻击某一目标，这样一来就变成由机器人来决定它要不要杀那个人了，这样的事情在伦理上完全改变了以前战争的状态。    

所以我们今天如果把人工智能用到军事上，我觉得只能抱着类似于当年美国人搞曼哈顿工程的心态，只是因为跟我们的对手也在弄，我们不弄会吃亏，所以不得不跟进。所以特斯拉的老总马斯克提出来各国应该坐下来谈判，签协定不能把机器人用到军事用途上。    

中期的问题是人工智能的反叛，现在有些业界专家还在说，可以拔掉机器人的电源。实际上人工智能跟互联网结合以后，它完全不需要什么形态，以前没有互联网的时候，单个的人工智能有局限，哪怕全部都是芯片，也有存储、运算方面的极限。但是现在跟互联网一结合，所有的物质结构都不再需要了，只要靠在网络上下单、订购各种服务，就可以完成对社会的破坏。所以到那个时候你根本无法拔电源，因为它不存在一个电源让你拔掉。    

在这个问题上，专家们经常说，我们在机器人的芯片里写进什么话，让它不学坏。关于这个问题最简单的疑问是，你都不能保证自己的孩子不学坏，更何况人工智能呢？因此，到目前为止，没有人能给出一个办法让我们相信他真的能防止人工智能的反叛。    

但是最危险的是来自远期的威胁，这是终极威胁，假如人工智能一点都不反叛，全能地、忠诚地、全心全意为我们服务，所有的事情都被人工智能做完了，你活着干什么呢？你会变成行尸走肉，人类这个物种会迅速退化，无论在体能和智能上都迅速退化，这样对人类来说一点意义都没有，实际上就是自掘坟墓。    

所以我们应该把人工智能认识为大规模杀伤性武器，最好的局面是将来世界各大国坐下来举行谈判，加以限制。最多保留一点低级的人工智能，但是我们要想办法防止它的进化。    

其实我们在生活中用了很多人工智能，比如说你在网上买一张火车票、飞机票，这个系统就是人工智能。这类人工智能如果不进化问题不大，但是由于人工智能有可能是以极快的速度进化的，这个进化的过程我们很难操控，因此我们能做的就是严防它的进化，当然我们能做到什么程度，这个事情很难说。    

我们现在能确定的是现在科学家憋着劲儿要搞人工智能，不确定的是人工智能最后会不会毁灭我们。    

“没人知道临界点在哪里”  

南方周末： 我想知道人工智能对我们造成威胁的一个临界点可能是什么。比如说AlphaGO赢了李世石，它是那样的一个临界点吗？

江晓原： 讨论临界点意味着我们想找到这个临界点，但实际上这个临界点我们虽然在理论上知道它是存在的，但是在哪里我们不知道，我们现在只能祈求目前还没有遇到那个点。

南方周末： 美剧《西部世界》也讲人工智能反抗人类的故事，这部片子您怎么看？

江晓原： 《西部世界》的精彩之处就是它逐渐刻画出了人工智能的自主意识，也就是你前面说的临界点。你不知道它什么时候开始有的，那几个工程师不是也经常要对它们进行拷问吗？这个拷问其实就是在担心它们越过那个临界点。但是事实上一旦越过了它们不会告诉你，所以这里面的几个角色不是都已经开始说谎了吗？

南方周末： 人工智能真的会出现自我意识觉醒这样的事情吗？听起来非常不可思议。

江晓原： 我在念大学之前，当过六年的电工。作为一个技术工人，我在那个年代就知道，一个系统只要复杂到一定程度，就会出现不测的事情，而且这些不测的事情对系统本身来说不一定就是坏事。也就是说，在一个足够复杂的系统里是有可能失控的，而且你不知道它什么时候产生。

南方周末： 您说很多科学家对此有预见？

江晓原： 有，刚刚我提到的特斯拉汽车的老总马斯克发起了一个联名倡仪，比尔·盖茨这些人都在里面，他们的呼吁主要针对人工智能的军事化应用。但马斯克这个人非常奇怪，他一方面发起这个公开信，另一方面他在他自己的工厂里大规模地使用着人工智能。这些事情都反映出人们对人工智能的认知是模糊的，说到底是不确定的。