训练人工智能学会妥协

Click here to see this page in other languages : English 

试想一下，你坐在一辆自动驾驶的车上，它马上就要左转，驶向迎面而来的车辆。这时，车内的一个小系统负责转弯，一个负责加速或者止动，另一些系统配备传感器以探测障碍物，其余系统负责和路上其他车辆的通信联络。每个系统都有自己的目标 — 开启，停止，转弯或者直行，识别潜在问题等等。但是，他们也还是要通力合作以实现一个共同的目标：如何在保证安全的前提下在车辆中行驶。

哈佛大学教授，未来生命研究所研究员，戴维 ⠂帕克斯 (David Parkes)，正在尝试解决这一类的AI安全问题。帕克斯告诉未来生命研究所， “我所寻求的具体问题是：如果我们有一套人工智能系统，该如何在这套系统中建立其个体人工智能的奖励机制，以至系统在整体上能达到良好的表现？就像上面提到汽车拐弯的例子，系统中的个体人工智能需要学习如何完成他的目标，同时也要能够做出妥协以保证整体目标的达成。”最重要的是，人工智能系统要考虑到社会的偏好。例如，车内乘客和路上行人的安全远高于完成左转的指令。

训练表现优异的人工智能

类似于繁华街道一类的场景确实过于复杂，工程师们不能仅靠单一程序让人工智能系统实现所有诉求。人工智能需通过奖励机制来学习适当的行为。“每个人工智能应对自己和其他人工智能的行为都设有奖励机制。” 帕克斯提到，这类奖励机制应随世界的变换与时俱进地改进。同时，个体人工智能系统不仅需要实现个体目标的变化，也应与整体目标变化保持一致。

以奖励机制为基础的学习系统是大多数人能感同身受的。大家都不会忘记考试后获得的金星或笑脸贴画带来的喜悦和激动。狗主人也多多少少经历过，宠物意识到成功表演规定动作会有奖励而卖力演出。这个道理放之于人工智能上亦然。

通常用于设计人工智能的方法是强化学习。在强化学习的方法下，当人工智能采取任何行动后，它会收到积极或者消极反馈。随后，它会优化自身行为以获取更多的积极奖励。然而，奖励不能仅以程序的形式编写进人工智能。人工智能需要和周遭环境进行交互学习，进而判断行为的好坏。这套理论类似于狗学习动作，完成正确的动作会得到奖励，而做出错误的动作会被惩罚。

不仅如此，帕克斯还想要知道，对于人工智能来说，如何分配各个子部分的奖励才能实现整个系统的最优表现。以及，对于那些行为，多久应有一次正（或负）强化？

举例来说，如果电子游戏中没有任何绩点、命数、等级或者其他显示成功或失败的指标，那么作为玩家的你会在游戏中满世界乱跑打怪。虽然最终通关，但到最后也不清楚具体是那个动作让你获胜。反之，游戏中设计的常规反馈机制让你明确的知道那些动作让你得分，以及下一步需要做些什么。为了训练人工智能，帕克斯需要决定哪些动作可以换取奖励，进而让人工智能更进一步，实现终极目标。

相较于直接把程序编进人工智能中，帕克斯促使人工智能与外界沟通以达到所期望的行为。但是，这仅是对个体人工智能，如何将这套理论实现到两个或多个人工智能中还有待发掘。

训练由多个人工智能组成的系统

帕克斯的大部分想法包含了博弈论。博弈论帮助研究员理解哪些类型的奖励会激发玩家之间的合作，并从中了解如何促成理性人工智能之间的合作。一旦人工智能系统理解了如何最大程度的取得奖励，什么可以诱使它们和另一人工智能合作？为了回答这个问题，帕克斯结合了经济学中的机制设计理论。

机制设计理论是个获得诺贝尔奖的理论，它让研究人员们去决定一个由几部分组成的系统中的各部分是如何实现其整体目标的。这是一种“逆博弈理论”。如何让交互作用的规则（举例来说，影响奖励的方式）被设计为让个体人工智能的行为以系统的偏好为主导并遵循社会偏好。在其他领域，机制设计理论也被应用于拍卖、电子商务、条例规程、环境政策和如今的人工智能领域。

帕克斯的理论和机制设计理论之间的差别是后者需要一定的机制和管理人员去监督整个系统。以无人驾驶车辆和无人机为例，人工智能系统会在没有管理机制做最终决定的情况下一起工作，实现团体目标。根据周围环境的改变，外部奖励也会随之改变。 同时，当系统中的人工智能意识到他们需要做出一些改变以最大化他们得到的奖励，他们会相互沟通，转化整个自动化系统的目标。

帕克斯总结了一下他为未来生命研究所的工作，他说到：“我现在为未来生命研究所奖金计划做的是关于调整激励措施，这样，当自主人工智能理解如何行动后，他们不但会对整个人工智能系统有益，同样也会使人类社会广泛受益。” 帕克斯同时也参加了人工智能百年研究计划。他解释了他和未来生命研究所的研究 — 以广阔的视角来理解人工智能在未来城市文脉中所担任的角色。”他对于未来的考虑举出：“举例来说，我们从自动驾驶车辆和家用机器人的早期研究轨迹中能看到什么 ，我们能从共同价值系统中发现什么核心问题？”

本文是未来生命研究所人工智能安全研究基金系列文章。由伊隆·马斯克和开放开放慈善项目慷慨赞助。