原文地址：
https://openai.com/blog/governance-of-superintelligence
作者名单：
Sam Altman （OpenAI的CEO）
Greg Brockman（OpenAI背后的一号人物、董事长兼联合创始人）
Ilya Sutskever（OpenAI联合创始人和首席科学家，机器学习领域的顶尖学者）
-
需要在领先的开发努力之间进行一定程度的协调 -
需要国际机构来监管超级智能的发展。 -
需要发展技术能力来使超级智能更安全。
鉴于我们现在看到的画面，可以想象，在未来十年内，人工智能系统将在大多数领域超过专家的技能水平，并开展与当今某个最大的公司一样多的生产性活动。
就潜在的好处和坏处而言，超级智能将比人类过去不得不面对的其他技术更加强大。我们可以拥有一个更加繁荣的未来；但我们必须管控风险才能达到这个目标。鉴于存在风险的可能性，我们不能只是被动的。核能是具有这种特性的技术的一个常见历史案例；合成生物学是另一个例子。
我们也必须降低当今人工智能技术的风险，但超级智能需要特殊处理和协调。
一个起点
有许多想法对我们拥有成功驾驭这一发展的良好机会很重要；在此，我们对其中的三个想法进行了初步思考。
第一，我们需要在领先的发展努力之间进行某种程度的协调，以确保超级智能的发展以一种既能使我们保持安全又能帮助这些系统与社会顺利融合的方式进行。有许多方法可以实现这一点；世界上的主要政府可以建立一个项目，让许多目前的努力成为其中的一部分，或者我们可以集体同意（在下面建议的新组织的支持力量下），前沿人工智能能力的增长速度要限制在每年一定的速度。
当然，个别公司也应该以极高的标准负责任地行事。
第二，我们最终可能需要类似于IAEA（国际原子能机构）的东西来进行超级智能方面的努力；任何超过一定能力（或计算等资源）门槛的努力都需要接受国际权威机构的检查，要求进行审计，测试是否符合安全标准，对部署程度和安全级别进行限制，等等。追踪计算和能源使用情况会有很大的帮助，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施这样一个机构有朝一日可能要求的要素，而作为第二步，各个国家可以实施。重要的是，这样一个机构应专注于减少存在的风险，而不是那些应该留给各个国家的问题，例如定义人工智能应该被允许说什么。
第三，我们需要技术能力来确保超级智能的安全。这是一个开放的研究问题，我们和其他人正在为此付出很多努力。
什么不在范围内
我们认为，重要的是允许公司和开源项目开发低于重大能力阈值的模型，而无需我们在这里描述的监管（包括许可证或审计等繁琐机制）。
今天的系统将在世界上创造巨大的价值，虽然它们确实存在风险，但这些风险水平似乎与其他互联网技术相称，社会可能的做法似乎是合适的。
相比之下，我们所关注的系统将拥有超越任何尚未创建的技术的动力，我们应该注意，不要通过将类似的标准应用于远低于这一标准的技术而淡化对它们的关注。
公众投入和潜力
但最强大的系统的治理，以及有关其部署的决定，必须有强有力的公共监督。我们认为，世界各地的人们应该民主地决定人工智能系统的界限和默认值。我们还不知道如何设计这样一个机制，但我们计划对其开发进行试验。我们仍然认为，在这些广泛的范围内，个人用户应该对他们使用的人工智能的行为拥有很大的控制权。
鉴于风险和困难，值得考虑的是，我们为什么要构建这项技术。
在OpenAI，我们有两个根本原因。首先，我们相信这将带来一个比我们今天想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临着许多问题，我们需要更多的帮助来解决；这项技术可以改善我们的社会，每个人使用这些新工具的创造性能力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。
其次，我们认为，阻止超级智能的产生将具有不直观的风险和困难。由于好处是如此之大，建造它的成本每年都在下降，建造它的参与者数量正在迅速增加，它本质上是我们所走的技术道路的一部分，阻止它需要类似于全球监控体系的东西，即使这样也无法保证有效。所以我们必须把它弄好。
来源：https://mp.weixin.qq.com/s/me1bVebFk-y49xcC0ZYYzw
本文地址：https://www.163264.com/3486