人们对AI的一个常见担心是所谓「回形针问题 (paper-clip problem)J
这是瑞典哲学家尼克·博斯特罗姆 (Nick Bostrom)在他2014年出版的《超级智能：路径、危险、战略》(Superintelligence:Paths,Dangers,Strategies)一书中提出的一个思想实验。
博斯特罗姆说，假设你给A下了一个命令，让它去「最大限度地生产回形针」，你猜AI会怎么做？
- 这取决于A如何理解“最大限度”这个词
- 如果是字面意义上的最大限度，那么AI就不但会改进工厂的工艺流程，而且会设法征集所有的原材料，甚至地球上所有的资源都用来生产回形针，并且准备向宇宙进发..
- 这显然不是我们想要的。
这个难题的意思是语言问题不仅仅是语言问题，我们有很多尽在不言中的默契，而AI必须有心智能力，能理解那些背后的默契，才能跟人良好互动。
- 当老板说“最大限度地生产回形针”时，他的意思是在合理范围内增加产量，而肯定不是要把整个宇宙的资源都用来生产回形针
- 这就如同朋友建议你“今晚吃顿好的”，他的意思不是让你去吃世界上最好吃的饭，而是在合理范围内吃顿好的。
- 可是什么叫“合理范围内”呢？这就需要常识、需要对世界有真实的理解。