Google 收购的英国人工智能公司 Deep Mind 已经展现出 AI 先进的自学能力，其算法不仅在玩游戏比人厉害，而且还在与人类顶级围棋选手的对决中取得了压倒性的胜利。这不仅引发了 AI 超越人类的担忧，甚至还有人担心类似《未来终结者》那样天网对人类杀戮时刻的到来。现在 Deep Mind 决定未雨绸缪，据英国镜报报道，在近日公布的一篇论文中，Deep Mind 提出了给机器人安装 “切断开关（kill switch）” 的想法，为的是阻止 AI 学会如何阻止人类对某项活动（比方说发射核武器）的干预。用专业术语来说，这叫做 “安全可中断性”。

　　关于安全科中断性的作用，论文写道：安全可中断性可用于控制机器人不端甚至可能导致不可逆后果的行为，或者将其从微妙处境中脱身出来，或者甚至临时用来实现某项机器人尚未学会执行或者未必会为此受到奖励的任务。

　　天生具备拯救人类使命感的 Elon Musk 以及地球最聪明的大脑之一霍金都认为，机器对人类的威胁并非杞人忧天。去年底的时候，Musk 和孵化器 YC 的总裁 Sam Altman 共同宣布设立一家非盈利的人工智能公司 OpenAI。他们希望，这个项目能够抵消邪恶的人工超级智能可能带来的威胁。这种威胁的可能性正如牛津大学的哲学家 Nick Bostrom 发出的警告一样—如果毫无限制地分享人工智能的研究成果，在没能确保安全的情况下，一些不怀好意的人可能就会利用它干坏事：“如果你有一个按钮，只要按一下就能够对世界造成破坏，你肯定不希望每个人都拥有一个这样按钮。” 而 Deep Mind 的研究，就是对这样一种按钮的切断按钮。不过将来的问题也许是，哪一个按钮会先起效？