因为这种人工智能逻辑上是存在死循环的,经常为了实现最初设定的目标持续优化自己的程序,最后在逻辑判断上走向极端,比如将‘保护人类’的命令转化成‘保护他们的身体,比保护他们的自由更重要’、‘将所有人类关在笼子里,就可以避免他们自己伤害自己’这样的判断,进而导致人类与机器之间的战争,双双覆灭。
二来,根据历史经验,这类人工智能根本不可能进化成智能生命。
因为在智能程序标准上来说,修改自身程序就是否定自身存在。
而宇宙中,生命之所以被认为是生命,根本原因是产生了自我意识。
修改自身程序,对于智能程序来说就是否定自身的思维,否定自我,当然不可能有真正的意识出现。
“是这样的。”杨总长见袁至颇感兴趣,于是详细介绍道,“我们刚刚发现这个人工智能程序的时候,它正在修改自身的程序,尝试着控制神堡外围的机械结构。但它并不知道,外围的那些机械结构在亿万年前就已经被不知道什么人给拆解掉了。”
“遇到我们之后,它问了两个问题,就停止运转,陷入了沉寂。”
露娜的虚拟投影忽然在茶桌旁出现。
她看向杨总长,认真问道:“哪两个问题?”
杨总长看了看露娜,有些奇怪。
他当然认识露娜,作为袁至在虚拟宇宙中的个人助手,露娜就是杨总长和袁至联系时的中间通道。
“第一个问题是,普罗仙是不是已经消亡了?”杨总长说道,“普罗仙是这个星系的名字,据说还是机械族人给起的名字,但听这个人工智能的口气,普罗仙似乎是个宇宙文明国度或者种族。”
“我们自然回答说没听说过这个名字。”
“于是它问了第二个问题,战争思维现在在哪里?”
露娜认真的表情转为疑惑。
“战争思维?这是个人名吗?”
“我不知道。”杨总长答道,“我也是这样回答那个人工智能的,然后它就再也不说话,甚至主动关机了。”
“主动关机,那可是等同于自杀,是违背智能程序行动准则的!”露娜蹙眉。
“听杨总长的说法,那个人工智能很原始,算不上智能程序。”袁至微笑开口。
“不,主人。”露娜的虚拟投影皱眉思索,语气凝重,“我直觉上觉得,这个人工智能很独特,他透露出来的信息一定很重要。”
“你直觉上?”
袁至清晰的感觉到露娜的话语中透露出来的情绪波动和以前不一样。
他心中一动,意识略略感应,随即露出笑容。
以前的露娜说话,虽然语气波动和人类没有差异,但袁至并不能感应到她的情绪波动。