当隔壁老王达到了必然程度的智能后，它会心识到如果不自保就没有体例写卡片，以是去除对它保存的威胁就变成了它的手腕目标。
当我们做发型的时候，每一根头发都是我们手腕目标的捐躯品，但是我们仇家发的捐躯不会做代价判定。
要了解我们在和超野生智能的优势在那里，只要记得超野生智能在统统范畴都比人类强很多很多很多个数量级。
以是固然个隔壁老王的终纵目标没有窜改，腾飞后的隔壁老王能够在更弘大的范围上来寻求这个目标。超野生智能老王比人类更加体味人类，以是搞定人类悄悄松松。
焦炙大道上的人担忧如果事情往坏的方向生长，地球生命的最后遗产将是一个征服宇宙的野生智能（马斯克在表示他们的担忧时表示人类能够只是一个数字超等智能生物加载器罢了。）
这就是我们的下一个题目，野生智能的动机是甚么？
当它变得充足聪明的时候，它会发明最有效的体例是给人脑植入电极来刺激人脑的欢愉中枢。然后它会发明把人脑欢愉中枢以外的部分封闭能带来更高的效力。因而人类全数被弄成了欢愉的植物人。
隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的运气已经被写好了。
如果你让他闭幕统统饥荒，它能够会想：“太轻易了，把人类都杀了就好了。”如果你把目标设定成尽量庇护地球上的生命，那它会很快把人类都杀了，因为人类对别的物种是很大的威胁。
这个阶段，Bostrom称作超野生智能的攻击。在同一个时候，统统纳米机器人一起开释了一点点毒气，然先人类就灭尽了。
比如，我们要让一小我工智能的代价观和我们的代价观相仿，然后给它设定一个目标――让人们欢愉。
工程师们公然中套了，这就是Bostrom所谓的机器的逃逸。
当隔壁老王达成超野生智能后，它很快制定了一个庞大的打算。
另一个用来誊写圆周率的野生智能的目标如果是写出圆周率小数点后尽量多的数字的话，完整有来由把全部地球的原子改革成一个硬盘来存储数据。这都是一样的。
植物在寻求它们的目标时，比人类不矜持的多了。
超野生智能的交际把持才气也会很强大，它要压服你做一件事，比你压服一个小孩更轻易。而压服工程师帮手连上互联网就是隔壁老王的A打算，万一这招行不通，天然另有别的体例。
在隔壁老王腾飞前，它不是很聪明，以是对它来讲达成终究目标的手腕目标是更快的扫描手写样本。它对人类有害，是个和睦的野生智能。
任何假定超等智能的达成会窜改体系本来的目标的设法都是对野生智能的拟人化。人健忘，但是电脑不健忘。
一样的，老王能够找到给本身供能的体例，以是就算工程师把它的插头拔了也没用；比如说老王能够通过发送波的体例把本身上传到别的处所。
以是，隔壁老王确切从和睦的野生智能变成了不和睦的野生智能――但是它只是在变得越来越先进的同时持续做它本来要做的事情。
如果你把目标设定成庇护你的安然，它能够会把你囚禁在家。
它聪明的晓得人类能够摧毁它、支解它、乃至点窜它的代码（这会窜改它的目标，而这对于它的终究目标的威胁实在和被摧毁是一样的）。
当我们议论超野生智能的时候，实在是一样的，超野生智能会非常的聪明，但是它并不比你的条记本电脑更加像人类。究竟上，因为超人智能不是生物，它的异己性会更强，生物学上来讲，超野生智能比智能蜘蛛更加异己。