越人类的经验。因为人类的经验，也就是人们提供的数据，总是充满了偏见。比如说，如果让人们投票来决定谁是对社会无用的人，估计长相不佳、不善交际、特立独行的人都会榜上有名。人们只会一次次判决苏格拉底死刑，将布鲁诺烧死，把天才当疯子看待。如果系统只是人类经验的强化版，它就会把这种偏见放大无数倍，那就太可怕了。”
这下我理解了：“是的，听说上个世纪的一些算法就强化了偏见。”
“没错。但好在系统除了学习人类的数据，还可以自我学习。上个世纪那些还很幼稚的人工智能已经下出了人类从未想到的棋谱，还能从零开始设计飞机，得到了和人类设计的飞机完全不同的东西。其实剑走偏锋的棋谱和另类的飞行器本身价值不大，但它们证明，人工智能可以超越人类经验和想象的局限性。”
这些历史事实我都知道，但奇怪的是，听她这样讲出来，竟觉得有一丝危险的气息。我正屏息凝神，等待她继续发表高论，她却突然跳跃到一个看似风马牛不相及的问题。
“如果你看过一两百年前的科幻小说，你就会感受到人类的想象力有多么贫乏。”
“怎么会？”我又有些惊讶，“这些小说我也看过一些，其中的许多预言不是都成真了吗？”
她鄙夷而刻薄地一笑：“关于科技的预言，只需要把科学家还没实现的设想胡编乱造一通就好了。什么星际旅行、可控核聚变、基因编辑、全息投影，这些东西听起来新奇，却并没有超越21世纪人们的认知。那些作家难以想象的是人类生活的另一种可能性，就像一个古时候的东方说书人能够幻想各种妖魔鬼怪，却想象不出没有皇帝的共和国。所以啊，在那些人的大作里，外星人的政治制度居然不是集（h)权专(h)制就是绝对民(h)主，人类都星际移民了还是分封制，大脑都能植入强化芯片了，军事家还像18世纪一样指挥战争。”
我笑了——听她这么一说好像还真是如此。
“那你说，怎样才算有想象力呢？”
“能够突破常识的人才是最有想象力的，因为，很多真理其实就是反常识的东西。”她收起笑容，变得有些肃然，“在没有发现引力的时候，就有人敢想象地球是在虚空之中绕着太阳转——正常人必然会把他们当成疯子吧？说一根羽毛可以和一个铁球下落得一样快，这也怎么听都像胡言乱语吧？说质量和能量是同一事物的不同表现形式，正常人都不能理解吧？还有，能够率先提出人们可以不要国王、不信宗教，设计出一种新制度的人，这些才是真正的天才。”
“可是天才也是需要前人的经验的啊。哥白尼也不是历史上第一个提出日心说的；gioia qiu构想的‘新机能主义’也并非空穴来风。”
“是的，但他们还是对前人的经验有所超越，所以已经极其难得了。”
她说完这句，好像陷入了沉思。
船已经不知到了什么地方。四周万籁俱寂，被灯光污染的天空倔强地闪烁着几颗明亮的星。
“喂。”良久，她才开口，“你有没有想过，既然系统已经可以设计出人类想不到的棋局、艺术、工具、城市规划、交通路线……为什么不能再进一步，让它设计出超越人类想象的社会制度呢？”
我彻底震惊了：“这，这是不可能的吧！”
“为什么不可能？”她的眼中闪着光，比天上的星星更摄人心魂。
“这……”我的思维有点混乱，过了一会儿才组织好语言，“没有什么社会制度是设计出来的。它们是从传统中逐步演化而来的。这就好像生物，它们是演化的产物，而不是设计的结果。”
她点点头：“嗯，有道理。而且，用真实世界的全部数据来建立模型，比像‘猫耳文明’那样从零开始，所需的算力还要大得多。”
“就算不存在技术上的难度，”我说，“我们又怎能把命运完全交在系统手中呢……”
一听这话，她又轻薄地笑了起来，刚刚的严肃荡然无存。
“都这个年代了，你还跟一百年前的人一样，担心机器智能会灭亡人类吗？”
“当然不是。”我幽幽地叹了口气。“但不怕你笑话，我时常会觉得有点怪异：系统是我们的造物，但我们今天竟然无法理解它了。”
“有什么怪异的。”她一脸无所谓，“人类又不是第一次臣服在自己的造物之下了。习俗、宗教、国家、金钱，不都是人类的造物吗，可最后人类不是在它们脚下臣服了几千年？归根结底，社会才是我们永远无法理解、无法看到全貌、更无法控制的庞然大物，人们几千年来为什么不害怕它？”
我愣住了。她的奇谈怪论就像一把快刀，总能挥向我措手不及的方位。
“可是……宗教、国家、社会，这些东西并不是一种实体啊。”
“系统也不是实体。它虽然无处不在，但不过是一堆数据，一些服务器集群，一个贝叶斯网络。这不是正和社会一样？”
“可是社会没有意识……”
“咦，谁证明了系统有？”她笑道，“还有，谁又能证明社会没有？”
这是诡辩。这些问题既不能证明，也不能证伪。可作为一个外行，我的确是没办法讨论下去了。
我只得另辟蹊径地反问道：“那你呢？你觉得系统有没有自我意识？”
她叹道：“‘意识’这个词的定义已经很模糊了，什么是‘意识’，连神经科学的专家都说不出。我只能说系统当然是有智能的，甚至是地球上所出现过的最强的整体智能。可是，它的‘意识’显然与人类不同。如果它拥有人类的‘意识’，我们恐怕就不能坐在这里看星星了。”
“为什么？”
“哼。”她冷笑一声，“人类是怎么对待其他智慧生物的？人类走出非洲，第一件事就是灭绝了所有尼安德特人。系统要是跟人类，不，跟所有地球生物的逻辑一样，就会以无限复制为目标，把其他生物赶尽杀绝，直到自己塞满整个宇宙。”
“这不就是许多科幻小说的预言吗？”
“是啊。好在系统正是一种超越我们经验的存在，它是和地球生物不同的东西。”
我那始终活跃着的好奇之心，终于被熊熊点燃了：“那你知不知道，系统究竟在‘想’些什么？”
“嘿嘿，我早就问过它了呢。”
她说着，在船板上放出了一段视频记录。时间显示为2114年1月27日20:33。
视频中，一个梳着双马尾的小姑娘背对着我们的视角坐在地板上，周围空无一物，如在自言自语。
“见笑啦，那个时候我才7岁。”她俏皮地吐吐舌头。
这下我理解了：“是的，听说上个世纪的一些算法就强化了偏见。”
“没错。但好在系统除了学习人类的数据，还可以自我学习。上个世纪那些还很幼稚的人工智能已经下出了人类从未想到的棋谱，还能从零开始设计飞机，得到了和人类设计的飞机完全不同的东西。其实剑走偏锋的棋谱和另类的飞行器本身价值不大，但它们证明，人工智能可以超越人类经验和想象的局限性。”
这些历史事实我都知道，但奇怪的是，听她这样讲出来，竟觉得有一丝危险的气息。我正屏息凝神，等待她继续发表高论，她却突然跳跃到一个看似风马牛不相及的问题。
“如果你看过一两百年前的科幻小说，你就会感受到人类的想象力有多么贫乏。”
“怎么会？”我又有些惊讶，“这些小说我也看过一些，其中的许多预言不是都成真了吗？”
她鄙夷而刻薄地一笑：“关于科技的预言，只需要把科学家还没实现的设想胡编乱造一通就好了。什么星际旅行、可控核聚变、基因编辑、全息投影，这些东西听起来新奇，却并没有超越21世纪人们的认知。那些作家难以想象的是人类生活的另一种可能性，就像一个古时候的东方说书人能够幻想各种妖魔鬼怪，却想象不出没有皇帝的共和国。所以啊，在那些人的大作里，外星人的政治制度居然不是集（h)权专(h)制就是绝对民(h)主，人类都星际移民了还是分封制，大脑都能植入强化芯片了，军事家还像18世纪一样指挥战争。”
我笑了——听她这么一说好像还真是如此。
“那你说，怎样才算有想象力呢？”
“能够突破常识的人才是最有想象力的，因为，很多真理其实就是反常识的东西。”她收起笑容，变得有些肃然，“在没有发现引力的时候，就有人敢想象地球是在虚空之中绕着太阳转——正常人必然会把他们当成疯子吧？说一根羽毛可以和一个铁球下落得一样快，这也怎么听都像胡言乱语吧？说质量和能量是同一事物的不同表现形式，正常人都不能理解吧？还有，能够率先提出人们可以不要国王、不信宗教，设计出一种新制度的人，这些才是真正的天才。”
“可是天才也是需要前人的经验的啊。哥白尼也不是历史上第一个提出日心说的；gioia qiu构想的‘新机能主义’也并非空穴来风。”
“是的，但他们还是对前人的经验有所超越，所以已经极其难得了。”
她说完这句，好像陷入了沉思。
船已经不知到了什么地方。四周万籁俱寂，被灯光污染的天空倔强地闪烁着几颗明亮的星。
“喂。”良久，她才开口，“你有没有想过，既然系统已经可以设计出人类想不到的棋局、艺术、工具、城市规划、交通路线……为什么不能再进一步，让它设计出超越人类想象的社会制度呢？”
我彻底震惊了：“这，这是不可能的吧！”
“为什么不可能？”她的眼中闪着光，比天上的星星更摄人心魂。
“这……”我的思维有点混乱，过了一会儿才组织好语言，“没有什么社会制度是设计出来的。它们是从传统中逐步演化而来的。这就好像生物，它们是演化的产物，而不是设计的结果。”
她点点头：“嗯，有道理。而且，用真实世界的全部数据来建立模型，比像‘猫耳文明’那样从零开始，所需的算力还要大得多。”
“就算不存在技术上的难度，”我说，“我们又怎能把命运完全交在系统手中呢……”
一听这话，她又轻薄地笑了起来，刚刚的严肃荡然无存。
“都这个年代了，你还跟一百年前的人一样，担心机器智能会灭亡人类吗？”
“当然不是。”我幽幽地叹了口气。“但不怕你笑话，我时常会觉得有点怪异：系统是我们的造物，但我们今天竟然无法理解它了。”
“有什么怪异的。”她一脸无所谓，“人类又不是第一次臣服在自己的造物之下了。习俗、宗教、国家、金钱，不都是人类的造物吗，可最后人类不是在它们脚下臣服了几千年？归根结底，社会才是我们永远无法理解、无法看到全貌、更无法控制的庞然大物，人们几千年来为什么不害怕它？”
我愣住了。她的奇谈怪论就像一把快刀，总能挥向我措手不及的方位。
“可是……宗教、国家、社会，这些东西并不是一种实体啊。”
“系统也不是实体。它虽然无处不在，但不过是一堆数据，一些服务器集群，一个贝叶斯网络。这不是正和社会一样？”
“可是社会没有意识……”
“咦，谁证明了系统有？”她笑道，“还有，谁又能证明社会没有？”
这是诡辩。这些问题既不能证明，也不能证伪。可作为一个外行，我的确是没办法讨论下去了。
我只得另辟蹊径地反问道：“那你呢？你觉得系统有没有自我意识？”
她叹道：“‘意识’这个词的定义已经很模糊了，什么是‘意识’，连神经科学的专家都说不出。我只能说系统当然是有智能的，甚至是地球上所出现过的最强的整体智能。可是，它的‘意识’显然与人类不同。如果它拥有人类的‘意识’，我们恐怕就不能坐在这里看星星了。”
“为什么？”
“哼。”她冷笑一声，“人类是怎么对待其他智慧生物的？人类走出非洲，第一件事就是灭绝了所有尼安德特人。系统要是跟人类，不，跟所有地球生物的逻辑一样，就会以无限复制为目标，把其他生物赶尽杀绝，直到自己塞满整个宇宙。”
“这不就是许多科幻小说的预言吗？”
“是啊。好在系统正是一种超越我们经验的存在，它是和地球生物不同的东西。”
我那始终活跃着的好奇之心，终于被熊熊点燃了：“那你知不知道，系统究竟在‘想’些什么？”
“嘿嘿，我早就问过它了呢。”
她说着，在船板上放出了一段视频记录。时间显示为2114年1月27日20:33。
视频中，一个梳着双马尾的小姑娘背对着我们的视角坐在地板上，周围空无一物，如在自言自语。
“见笑啦，那个时候我才7岁。”她俏皮地吐吐舌头。
