第一部分 科技颠覆 第三章 自由：数据霸权与社会公平

就自由主义看来，人类的自由是最重要的价值，所有权力都来自个人的自由意志，表现在每个人的各种感受、欲望和选择之中。在政治上，自由主义相信“选民能做出最好的选择”，所以它赞成民主选举。在经济上，自由主义相信“顾客永远是对的”，所以它拥抱自由市场的原则。而在个人方面，自由主义鼓励每个人“聆听内心的声音，随心所欲”，只要不侵犯别人的自由就行。于是，人权便将这种个人自由的概念奉若神明。

在西方的政治论述中，“自由主义者”（liberal）的用法有时候比较狭义且偏颇，特指支持同性婚姻、枪支管制、堕胎等特定议题的人。然而，就算是所谓的保守派，其实也会接受广义的自由主义世界观。特别是在美国，共和党人和民主党人都该偶尔停战一下，想想彼此不是都同意人权、自由选举和司法独立之类的基本原则吗？

特别值得一提的是，像里根与撒切尔夫人这样的右翼名人，除了积极提倡经济自由之外，同时也坚定地拥护个人自由。撒切尔夫人在1987年的一次著名访谈中曾表示：“没有‘社会’这种东西。生活就是由男男女女交织而成……生活质量如何，取决于每个人准备为所有人承担多少责任。”

撒切尔夫人的保守党后辈的想法也和工党完全一致，认为政治上的权威来自每个选民的情感、选择与自由意志。因此，英国要决定是否脱离欧盟的时候，首相卡梅伦并不是去征询英国女王、坎特伯雷大主教、牛津大学或剑桥大学的意见，也不是去询问议会议员，而是直接举行全民公投，问所有的英国人：“你感觉该怎么做？”

有人可能会提出反驳，认为当时问的是“你怎么想”，而不是“你怎么感觉”。这是一种常见的误解。所有的公投和选举，诉诸的永远是人类的“感觉”，而不是人类的理性。如果民主谈的就是理性决策，那么哪还有理由让人人都享有平等的投票权？甚至还投什么票呢？早就有充分的证据显示，就是有一些人比别人学识更渊博、更具理性，特别是讲到特定的经济和政治问题时更是如此。英国脱欧投票之后，著名生物学家理查德·道金斯（RichardDawkins）就提出抗议，认为绝大多数英国民众（包括他自己）其实都缺乏必要的经济和政治科学背景，根本不该要求他们投下这张公投票。“这岂不就像是要用全国公投决定爱因斯坦的代数算得对不对，又或是让乘客表决飞机驾驶员该在哪条跑道降落？”

但无论如何，选举和公投的重点并不在于我们怎么“想”，而在于我们怎么“感觉”。讲到感觉这件事，爱因斯坦和道金斯也并不比其他人更强。民主的概念认为，人类的感受反映出一种神秘而意义深远的“自由意志”，而这就是权威的本源；虽然每个人的聪明程度高下有别，但自由程度一律平等。就算是一个不识字的女佣，也和爱因斯坦和道金斯一样有自由意志，因此到了选举日的时候，她的感受（表现在她投的选票上）也就与其他任何人一样重要。

感受所影响的不只是选民，还包括领导者。在2016年的英国脱欧公投中，脱欧派由鲍里斯·约翰逊（BorisJohnson）和迈克尔·戈夫（MichaelGove）领头。卡梅伦辞职后，戈夫原本支持约翰逊担任首相，却在最后一分钟反悔，宣称约翰逊并不适任，自己将出马竞选。戈夫打乱了约翰逊的一盘棋，有人认为这是不择手段的政治暗杀。但戈夫的辩词是诉诸自己的感受，他解释道：“在我的政治生涯里，每走一步我都自问：‘什么是我该做的？我的心怎么说？’”根据戈夫的说法，他就是因此才铆足劲儿推动英国脱欧，也因此不得不在背后捅自己过去的盟友约翰逊一刀，由自己竞逐龙头宝座。一切都是因为：他的心是这么说的。

这种对“心”的依赖，可能就是自由民主的致命弱点。一旦有人研发出相关技术，能够攻入并操纵人心，民主政治便将成为一场情感丰沛的木偶戏。

自由主义相信感受，相信自由选择，但这些概念其实并不自然，也称不上久远。过去曾有几千年的时间，人类相信权威来自神祇，而非来自内心，该推崇的是神的话语，而不是人的自由。到最近几个世纪，权威的来源才从天上的神变成有血有肉的人。

然而很快，权威的来源可能再次改变：从人类转到算法。在过去，神的权威是靠宗教神话建立的，人的权威是靠自由主义这套故事建立的。至于即将到来的技术革命，则可能建立起大数据算法的权威，同时完全推翻关于个人自由的信念。

正如前一章中提到的，对于人脑和人体运作方式的科学研究显示，人类的种种感受既不是什么人类独有的精神灵性，也不代表什么“自由意志”。所有的“感受”只是所有哺乳动物及鸟类都拥有的生化机制，用来快速运算生存和繁殖的概率。“感受”的基础也不是直觉、灵感或自由，而是运算。

猴子、老鼠或人类看到蛇的时候会感受到恐惧，是因为大脑里的几百万个神经元迅速计算了相关数据，并得出“死亡的可能性很高”这个结论。而根据另一套生化算法的计算，如果发现有很大的可能性和附近的某个个体成功交配、建立社交连接或达成其他令人渴望的目标，性吸引力的感受就会上升。至于愤怒、内疚或宽恕之类的道德感受，则是源于与团体合作相关的神经机制。所有这些生化算法都经历了数百万年的进化打磨。如果某个古代祖先的感受犯了某个错误，塑造这些感受的基因就不会再传给下一代。因此，感受并非与理性背道而驰，而是体现了进化上的理性。

我们通常不会意识到各种感受是出于运算，原因在于这些快速的运算远不在我们的意识阈值范围内。我们感觉不到大脑里几百万个神经元在怎样运算着生存和繁殖的可能性，于是就有了一种错误的想法，以为我们对蛇的恐惧、对伴侣的选择或对欧盟的看法是出于什么神秘的“自由意志”。

然而，虽然自由主义在“种种感受反映出人类的自由意志”这一点上犯了个错，但直到今天，依靠情感来做决定仍然有很好的实际意义。因为，虽然各种感受并没有什么神奇或自由的地方，但讲到该学什么专业、该跟谁结婚、该把票投给谁，“靠感受”仍然是最好的办法。而且，也没有什么外部系统能够比我们自己更了解自己的感受。就算中世纪的西班牙宗教法庭或苏联的秘密警察每分每秒都在监控我的一举一动，他们还是少了必要的生物知识及运算能力，他们无法攻进我的身体，也无法了解种种生化程序是如何塑造我的欲望和选择的。所以实际上，大可直接说人有自由意志，因为人的意志主要是由内在力量的相互作用形成的，这是任何人都看不到的。于是，我可以骗自己说我掌控了自己神秘的内在领域，外界永远无法真正理解我内心正在发生的事以及我如何做出决定。

因此，自由主义要人们追随自己的内心，而不是听什么祭司或政客说的话，其实也没错。然而，计算机算法很快就能给你比“人类的感受”更好的建议。随着西班牙宗教法庭和苏联的秘密警察让位给谷歌和百度，“自由意志”大概就会被拆穿，自由主义的实用价值也随之降低。

我们现在正处于两次巨大革命的交汇中。一方面，生物学家正在揭开人体（特别是大脑和人类感受）的种种奥秘；另一方面，计算机科学家也让我们获得前所未有的数据处理能力。生物技术革命与信息技术革命融合之后，大数据算法有可能比我更能监测和理解我的感受，而掌控一切的权威也可能从人类手中转移到计算机手中。如果我每天遇到的各种机构、企业和政府都能了解甚至操纵过去我以为没有外人可进入的内心世界，我大概也就不会再以为自己有自由意志这种东西。

医学领域已经如此。我们生命中最重要的医疗决定，并不是取决于我们自己是否觉得健康，甚至也不是看医生做出什么判断，而是要看比我们更了解我们身体的计算机得出怎样的运算结果。再过几十年，大数据算法就能通过持续的生物统计数据流，24小时监测我们的健康状况。早在我们出现任何感觉之前，算法就能监测到流感病毒、癌细胞或阿尔茨海默病的蠢蠢欲动，接着就能针对每个人的体质、DNA（脱氧核糖核酸）和性格，量身推荐适合的治疗方案、饮食和养生之道。

这样一来，人类将能够享有历史上最佳的医疗保健服务。但也正因为如此，人类大概永远无法摆脱生病这件事。毕竟，身体总会有什么地方不在最佳状态，也总有什么地方是能够改进的。在过去，只要不觉得痛或没有出现像跛脚之类的明显失能，人们就会觉得自己是健康的。但到了2050年，有了生物传感器和大数据算法之后，可能早在疾病造成疼痛或失能之前，就能得到诊断并开始治疗。这样一来，你会发现自己老得面对一个又一个“病症”，得遵守这个或那个算法建议。不想听算法的？那么医疗保险就有可能被取消，或者会被公司解雇。毕竟，为什么他们要为你的固执己见付出代价呢？

例如抽烟这件事。现在只是有个整体的统计数据，告诉你抽烟和肺癌有关，你要继续抽是你自己的选择。但以后可能会有个生物传感器明确警告你：刚刚在您的左上肺检测到17个癌细胞。这时候你要继续抽烟，情况就完全不同了。如果你不理会传感器的警告，传感器就把警告转发给你的保险公司、你的领导和你的母亲，你该怎么办？

谁有足够的时间和精力去面对所有的大小疾病？我们很可能会干脆直接告诉健康算法，大多数时候它觉得该怎么办就怎么办吧！于是它大概只会定期把近况通知发送到我们的智能手机上，告诉我们“已监测并消灭17个癌细胞”。整天担心自己生病的焦虑症患者或许真的会去看这些通知，但大多数人大概只会一眼扫过，就像我们现在懒得细看那些烦人的反计算机病毒通知一样。

医疗领域已经发生的事，很可能即将延伸到越来越多的领域。扮演关键角色的发明就是生物传感器。在人们将它们穿戴上或植入人体之后，生物传感器就能将各种生物程序转换成计算机能够存储、分析的电子信息。只要有了足够的生物统计数据及运算能力，外部的数据处理系统就能进入你的身体，得知你所有的欲望、决定和意见。换言之，它们能够完全知道你是怎样的人。

大多数人并不太了解自己。我是到了21岁，才终于走出几年的自我否认，意识到自己是同性恋。而我绝非特例，许多同性恋男性在整个青少年时期都无法肯定自己的性取向。现在想象一下2050年的情况，或许有算法可以告诉青少年他位于同性恋（或异性恋）光谱的哪个位置（甚至还能告诉他这个位置有多容易受影响而移动）。或许，这个算法会先显示出一些性感男女的照片或影片，再追踪你的眼球移动、血压和大脑活动，只要短短的5分钟，就能找出你在金赛量表上的数字。如果早有这种程序，我就不用那么多年都活得如此受挫了。或许你并不想做这种测试，但有那么一天，你和一群朋友一起去参加另一个朋友的无聊生日派对，有人提议所有人都来玩玩这个超酷的新算法。做测试的时候所有人都在围观，还会对结果七嘴八舌，你要直接掉头走人吗？

就算你真的掉头离开，继续躲着自己、躲着同学，你也躲不过亚马逊、阿里巴巴或秘密警察。每当你浏览网站、看YouTube视频、阅读社交媒体的动态，算法都会偷偷监控你、分析你，再告诉可口可乐公司，如果要卖给你碳酸饮料，该用的广告模特儿是拥有8块腹肌的猛男，而不是身材火辣的美女。你对这些完全一无所知，但它们对这一切却了如指掌，而且这些信息可以卖几十亿美元。

但同样，或许这一切将会是完全公开的事，所有人心甘情愿地分享自己的信息，以获得更好的建议，最后直接让算法为他们做出决定。一开始只是些简单的事，比如该看哪部电影。打算和一群朋友一起坐在电视机前，共度一个愉快的晚上吗？首先就要决定看哪部电影。或许在50年前你别无选择，但今天有了各种随选即看的服务，足足有几千部电影任你挑选。这下要让大家意见一致就难了，可能有人喜欢科幻惊悚片，有人喜欢浪漫喜剧片，有人又说要看法国艺术片。到头来妥协的结果，可能就是挑了某部无聊的B级电影，人人都不满意。

此时算法可以派上用场。只要告诉它，你们每个人以前最爱看的是哪几部电影，算法就能根据其庞大的统计数据库，找出最适合你们这群人的完美电影。但遗憾的是，这样的算法还太粗糙，容易出错，特别是大家都知道，自己说喜欢什么，常常并不能反映出你真正的喜好。常有的事情是，我们听到很多人说某部影片真是神作，觉得不看不行，结果自己看到一半就睡到不省人事，但事后觉得可不能让人认为自己是个俗人，所以还是要向大家声称这部片子真是太好看了。

这种问题也是可以解决的：与其根据

我们自己提供的不可靠信息做决定，不如允许算法在我们看电影的时候收集实时数据。算法可以直截了当地监控我们看完了哪些电影，又有哪些是中途就放弃了的。就算我们告诉所有人《乱世佳人》（GohtheWind）真是史上最棒的电影，但算法知道我们从来就没能观看此片超过半小时，根本没看过片尾亚特兰大陷入火海的场景。

算法能做的远远不止这些。工程师正在研发软件，希望能通过人类眼部及脸部肌肉的动作来监测情绪。这样一来，只要在电视机上再装一个足够好的摄像头，这种软件就能知道哪些场景让我们发笑，哪些场景使我们哀伤，又有哪些场景令我们感到无聊。再进一步的做法，如果算法能够与生物传感器连接，算法就能知道每个画面如何影响我们的心跳、血压和大脑活动。假设我们看着昆汀·塔伦蒂诺（QuentinTarantino）的《低俗小说》（PulpFi），算法可能会发现，那个强奸场景让我们起了一点儿难以察觉的性兴奋；文森特不小心一枪爆了马文的头，我们知道不该笑，但都笑了；还有那个关于大魔法师汉堡（BigKahunaBurger）的笑话，其实我们看不懂，但都赶快跟着笑，以免被别人发现。人在假笑的时候，运用的大脑回路和肌肉其实和真心大笑不同，虽然人类通常察觉不到，但这个细节生物传感器可不会放过。

英文单词“television”（电视）的语源，分别来自希腊文的tele（远），以及拉丁文的visio（视界），原本是要让我们可以看到远方的事物，但很快就可能是让别人从远方看见我们。正如乔治·奥威尔（GeeOrwell）在《一九八四》中的想象，我们看着电视的时候，电视也正看着我们。等到我们把整部《低俗小说》看完之后，可能早就忘了大半情节。然而，网飞（flix）、亚马逊或任何拥有这套电视算法的人，将会知道我们的性格类型，也知道怎样能触动我们的情绪。有了这些数据，网飞和亚马逊除了能帮我们挑片挑得精准无比，更能够为我们做出人生中最重要的决定，比如该读什么专业、在哪里工作、和谁结婚。

当然，要求亚马逊永远不犯错，那是不可能的事。不管是因为数据不足、程序错误、目标定义不明，还是生命本来就是一团混乱，总之各家算法一定会时不时犯下各种错误。然而，亚马逊并不需要做到完美，只要能比我们这些人类强就行了。而且这并不难，因为大多数人并不太了解自己，也总是在做人生最重要的决定时犯下可怕的错误。比起算法，人类因为数据不足、程序错误（基因或文化上）、目标定义不明、生命一团混乱而犯下错误的机会，实在有过之而无不及。

谁都可以列出算法面临的许许多多问题，并由此得出结论：人类永远不会信任算法。这有点儿像列出民主的所有弊端，然后得出结论：任何一个有理智的人都不会支持这种制度。丘吉尔曾有一句名言，说除了其他所有制度之外，民主是全世界最糟糕的政治制度。不论是对是错，人类都可能对大数据算法得到相同的结论：虽然算法漏洞百出，但我们并没有更好的选择。

随着科学家越来越了解人类的决策机制，对算法的依赖可能也会越来越强烈。掌握人类的决策机制之后，就能提升大数据算法的可靠性，但同时也降低了人类感受的可靠性。而当政府和企业都能够成功进入我们这套人体操作系统时，人类就将面临铺天盖地的种种精准操纵、广告和宣传。到时候，要操纵我们的观点和情绪将非常简单，于是我们也不得不依赖算法来反制，就像飞行员一旦因为眩晕而产生空间迷向，就不能再相信自己的感官，而必须全然相信仪器。

在某些国家和某些情况下，人们可能完全没有选择，只能被迫服从大数据算法的决定。然而，就算是在理论上自由的社会里，算法也可能成为权威，因为经验让我们把越来越多的问题交给算法来处理，最后也就逐渐失去为自己做决定的能力。只要简单回想一下，短短不到20年，就已经有几十亿人把一件可以说是最重要的任务全然交付给了谷歌搜索算法：搜索相关、可信赖的信息。我们不再自己去搜索信息，而是都靠“谷歌一下”。而随着我们越来越依赖谷歌来寻找答案，自己搜索信息的能力就会下降。今日的“真相”，已经是由谷歌搜索排名最靠前的结果来定义。

人类的身体能力也正在发生这种情况。以找路为例，现在已经有很多人用谷歌来导航。到了十字路口，虽然直觉可能是让他们左转，但谷歌地图说右转。在过去，他们大概会听从直觉，结果一左转就遇上堵车，最后错过了重要会议。于是，下一次他们决定听谷歌的，向右转，并且准时到达目的地。就这样，他们从经验中学会了要相信谷歌。一两年后，他们已经习惯了盲目遵照谷歌地图的指示，如果智能手机死机，他们将完全手足无措。

2012年3月，三名在澳大利亚旅游的日本游客决定到一个小岛上一日游，结果却把车一头开进了太平洋。21岁的司机野田后来说，她只是按照GPS（全球定位系统）的指示开车，“GPS说我们可以开过去，它一直说会把我们带到一条路上。然后我们就开进了海里”。还有很多类似的例子，有人冲进湖里，有人栽到桥下，显然都是开车的时候太听GPS的话。找路的能力就像肌肉，用进废退。选择伴侣或选择从事哪个职业的能力，也是如此。

每年都有几百万名年轻人要决定大学读什么专业。这是个既重要又困难的决定。父母、朋友和师长各有想法，让你深感压力，而且，你还有自己背负的恐惧和想象。你的判断力受到各种好莱坞大片、垃圾小说和高明的广告活动的笼罩和操纵。要做个明智的抉择真的很难，尤其是你根本不知道想在不同的行业出人头地，到底需要什么条件。而且，你真的清楚自己的长处和短处吗？优秀的律师要具备什么条件？我能面对压力吗？我有团队合作精神吗？

一个学生之所以去学法律，有可能是因为对自己的能力不够了解，甚至可能是因为对律师工作有错误的想象（律师可不会每天上演慷慨激昂的辩论，一再高喊：“我反对，法官大人！”）。与此同时，她的朋友决定实现童年的梦想，虽然身体条件不佳，也缺乏自律，但还是进了专业芭蕾舞学校。几年后，这两个人都非常后悔。但在未来，或许我们就能靠谷歌来为我们做出这些决定。谷歌会告诉我，我上法学院或芭蕾舞学校就是浪费时间，但如果当个心理学家或水电工，将会非常出色（而且非常快乐）。

一旦人工智能比我们自己更清楚该选择哪个职业，甚至怎样处理人际关系，我们对人性和生命的概念将不得不改变。人类习惯把生命看成一场由一连串的抉择构成的大戏。在自由民主主义和自由市场资本主义眼中，每个个体都是自主的行动者，不断对世界做出各种选择。众多文艺作品（无论是莎士比亚的戏剧、简·奥斯丁的小说，还是滥俗的好莱坞喜剧），通常讲的都是某个英雄做了什么特别重要的决定。哈姆雷特问：生存还是毁灭？麦克白问：是听从妻子的话刺杀邓肯国王，还是听从自己的良心放过他？《傲慢与偏见》中的伊丽莎白则问：是嫁给柯林斯先生，还是达西先生？基督教和伊斯兰教同样重视这场决策大戏，认为究竟是得到永恒的救赎还是永世的诅咒，取决于能否做出正确的选择。

但随着人类越来越依赖人工智能来做决定，这种对生命的观点会发生怎样的改变？现在我们只是信赖由网飞来推荐电影，由谷歌地图来决定该往左还是该往右。然而，一旦我们开始交由人工智能来决定要读什么专业、在哪里工作、和谁结婚，人类的生命就不再是一场决策大戏了。民主选举、自由市场，这些机制将会失去意义，而且大多数宗教和艺术品也是如此。想象一下，安娜·卡列尼娜居然拿出智能手机，问问脸谱网算法，她是该继续和卡列宁长相厮守，还是和时髦的伏伦斯基伯爵私奔？又或者你最爱的任何一出莎士比亚戏剧，里面的角色居然一遇到重要决定就先请教谷歌算法？哈姆雷特和麦克白的生活大概确实能过得更舒适，但那究竟算是什么生活？我们有什么理论模式，能把这种生活说出个道理？

随着权威从人类转向算法，世界可能不再是一个自主的、人们努力做出正确选择的剧场。相反，我们可能会认为整个宇宙就是一个数据流，每个有机体不过是一套生化算法。至于人类在这个宇宙中的任务，则是打造一套无所不包的数据处理系统，然后与系统融为一体。其实，我们现在就已经像一个又一个小小的芯片，装在一个大到没有人真正理解的数据处理系统之中。以我本人为例，我每天都要通过电子邮件、推文和各种文章吸收无数的数据，处理这些数据之后，又要通过更多的电子邮件、推文和文章，传回新的资料。我真的不知道这世界上一切的背后有什么宏观的架构，我所产出的数据将如何与其他几十亿人或计算机产生的数据连接。很遗憾，我没有时间找出答案，光是回信就已经让我焦头烂额。

有人可能会提出异议，认为重要的决策通常涉及道德因素，而算法不懂道德，所以我们永远不会把重要的决定交给算法去处理。然而，就算是在道德方面，也没有理由认为算法的表现会比一般人差。今天，智能手机和自动驾驶汽车等设备已经接手一些原本专属于人类的决定，也开始应对一些早已困扰人类几千年的道德问题。

举例来说，假设有两个小孩追球，忽然冲到一辆自动驾驶汽车的前方。开着这台车的算法立刻完成运算，得出结论：要避免撞到两个小孩的唯一方法是转进逆向车道，但这就可能撞上迎面而来的卡车，而根据运算结果，这样一来有70%的可能会让在后座睡得正酣的车主一命归天。算法该怎么做决定？

像这样的“电车难题”（trolleyproblem），哲学家其实已经讨论几千年了（之所以叫“电车难题”，是因为现代哲学讨论时的基本范例是在铁轨上跑的电车，而不是自动驾驶汽车）。但讨论了几千年，却对人类实际行为根本没产生什么影响；遇到紧急状况，什么哲学全都被抛在脑后，一切都由情绪和直觉来处理。

1970年12月，有一场社科史上相当令人不悦的实验，那是在普林斯顿神学院，实验对象是一群受训要成为长老教会牧师的学生。当时，实验人员叫所有学生立刻赶往远处的一个演讲厅，就“好撒玛利亚人”（GoodSamaritan）这个寓言发表演说。这个寓言讲的是有个犹太人要从耶路撒冷前往耶利哥，但遭到强盗抢劫和殴打，被丢在路边等死。过了一会儿，有一个祭司和一个利未人经过并看到了他，但两人都未停下脚步。后来有一个撒玛利亚人（犹太教相当鄙视这个教派）路过，立刻停下来照顾他，救了他的命。这个寓言告诉我们，人是好是坏，应该由实际行为来判断，而不是由所属宗教来判断。

这些年轻的神学院学生一心想赶往演讲厅，路上想的都是怎样才能解释好撒玛利亚人的道德寓意。然而，实验人员在路上安排了一个人，穿得破破烂烂地坐在门口，低着头，闭着眼睛。每个没起半点儿疑心的学生经过时，这个“受害者”都会咳嗽并发出痛苦的呻吟声。但绝大多数学生完全没有停下脚步来关心一下他，更别说提供任何帮助了。要赶去演讲厅所造成的情绪压力，已经压过了他们想帮助受难陌生人的道德责任。

还有其他许许多多情况，都是人类的情绪战胜了哲学理论。因此，如果要讲全世界的伦理和哲学史，会是个理想很美好但现实很残酷的沮丧故事。毕竟，有多少基督徒真能把脸转过去，有多少佛教徒真能超脱利己的执念，又有多少犹太人真能爱邻如己？我们所表现出的，不过就是自然选择把智人塑造成的样子。一如所有的哺乳动物，智人也是靠着情绪来快速做出各种关乎生死的决定。从几百万个祖先那里，我们继承了他们的愤怒、恐惧和欲望，而这些祖先每一个都通过了最严格的自然选择质量管控测试。

但不幸的是，适合在100万年前的非洲大草原上生存和繁殖的特点，不见得会让你在21世纪的高速公路上是个负责的人。每年都有超过100万人因为司机分心、愤怒或焦虑而死于交通意外。我们当然可以派出所有哲学家、先知和神职人员好好给这些司机上上伦理课，但只要一回到路上，他们又会回到哺乳动物的情绪和草原本能。正因为如此，神学院的学生才无视受苦的路人，司机才会在紧急状况下撞倒无辜的行人。

从神学院到真实生活之间的分离，正是伦理学最大的实际问题之一。康德、约翰·穆勒（JohnStuartMill）和约翰·罗尔斯（JohnRawls）当然能够舒舒服服地坐在大学讲堂里，花上好几天大谈伦理道德的理论问题；但在司机发现危急的瞬间，急都急坏了，哪还有时间管这些人有什么结论。或许对于迈克

尔·舒马赫（MichaelSchumacher，现代最伟大的一级方程式赛车车手之一）来说，还真能边赛车边思考哲学问题，但我们大多数人都不是舒马赫。

然而，计算机算法并不是由自然选择塑造而成，而且既没情绪也无直觉。所以到了危急的瞬间，它们继续遵守伦理道德的能力就比人类高出许多：只要我们想办法把伦理道德用精确的数字和统计编写成程序就行。如果我们教康德、穆勒和罗尔斯怎么写程序，他们就能在舒舒服服的研究室里为自动驾驶汽车写出程序，也肯定能让每辆自动驾驶汽车在路上都遵守所有伦理规范。这就像让舒马赫和康德合二为一，担任每辆车的驾驶员一样。

这样一来，只要程序里规定自动驾驶汽车必须停车帮助遭遇危难的陌生人，即便是赴汤蹈火，它都将在所不辞。（当然，如果你针对这些汤汤火火另加个例外条款，情况就不一样了。）同样，如果自动驾驶汽车的程序原本就写着要转进逆向车道救那两个小孩，你绝对可以用生命打赌，它一定会这样做。也就是说，设计自动驾驶汽车的时候，丰田或特斯拉就是把过去道德哲学上的理论问题转化成了实际的工程问题。

当然，哲学算法永远不会是完美的。错误还是会发生，有人会受伤，有人会死亡，更有随之而来麻烦不已的诉讼。（历史上第一次，可能会有哲学家因其所提出的理论造成不幸结果而被告上法庭，因为这也是历史上第一次能够证明哲学概念与现实生活中的事件有直接因果关系。）然而，如果只是要取代人类驾驶员，算法并不需要做到完美无缺，只要比人类更好就行了。鉴于人类驾驶员每年造成超过100万人因车祸死亡，算法要表现得比人类好并不是什么太难的事。你会希望旁边那辆车的驾驶员是谁？是某个喝醉的小鬼，还是舒马赫和康德的合体？

这套逻辑不仅适用于驾驶，也适用于其他许多情况，比如申请工作。在21世纪，已经有越来越多的时候是由算法决定是否聘用某人。当然，我们不能让机器来制定相关伦理标准，这件事还是得由人类自己来完成。但只要确立了职场的伦理标准（比如不得歧视黑人或女性），接下来就可以用机器来实施和维护这项标准了。

某位人事经理可能心知肚明歧视黑人和女性有违伦理道德，但遇到某个黑人女性来申请工作时，还是下意识产生了歧视而不予录用。如果让计算机来评估求职者，并在编写程序之初就设定要完全忽略种族和性别因素，计算机一定会乖乖跳过这些因素，因为它并没有潜意识可言。当然，要写这种求职者评估程序并不容易，而且存在一种危险：工程师可能会不经意间把自己的潜在偏见写进软件里。不过发现这种错误后要清除也并非难事，至少比清除人类种族歧视和偏见的难度要低得多。

我们已经看到，人工智能兴起之后，可能会把大多数人类挤出就业市场，比如司机和交通警察（没了鲁莽的人类驾驶员，只剩下乖乖开车的算法，交通警察也就无用武之地了）。然而，对哲学家来说可能会出现一些新的工作机会，他们的专业技能在过去没什么市场价值，但未来可能会突然变得相当吃香。所以，如果想读个未来能找到好工作的专业，或许可以考虑一下哲学领域。

当然，哲学家对于什么是“对的行为”很少有共识。“电车难题”之类问题的答案，很少能让所有哲学家都满意，例如穆勒这样的结果论者（sequentialist，以结果判断行为），他的想法一定会不同于康德这样的义务论者（deontologist，以绝对的规则来判断行为）。特斯拉不过是要做一辆车，真的要在这种棘手的问题上选择一方吗？

或许特斯拉只要把烫手山芋丢给市场就行，直接生产两款自动驾驶汽车：特斯拉“利他”款和特斯拉“自我”款。遇到紧急状况的时候，“利他”款会为了整体利益而牺牲主人；“自我”款则会不顾一切保护主人，撞死两个小孩也在所不惜。至于消费者，则可以根据自己偏好的哲学观来选车。这样一来，如果多数人买了特斯拉“自我”款，你也不能怪特斯拉。毕竟，顾客永远是对的。

这可不是开玩笑。在2015年一项开先河的研究中，研究人员请参与者假想自动驾驶汽车即将撞到几个路人的情景。大多数参与者都认为，就算可能会牺牲车主，自动驾驶汽车还是应该保全那几个路人的生命。只是，等到再问他们会不会买一部设定为“牺牲车主、顾全整体利益”的车时，大多数人都说“不”。如果涉及自身，他们还是比较喜欢特斯拉“自我”款。

想象一下这个情境：你买了一辆新车，但启用之前得先打开设置菜单，勾选一个选项——如果发生事故，你是希望这辆车牺牲你的性命，还是牺牲另一辆车上那家人的性命。你真的想要做这个选择吗？想想看，如果真选了其中某个选项，家里人会不会和你大吵一架？

所以，是不是该由国家介入，规范市场，直接制定一套所有自动驾驶汽车都必须遵守的伦理准则？肯定会有某些立法者兴奋不已，毕竟终于有机会写出真的大家都会乖乖遵守的法律了。但也有某些立法者会深感不安，因为这背后代表的是要负起前所未有甚至是极权主义的责任。毕竟在历史上，幸好法律的实施必然有其局限性，也就能制衡立法时的种种偏见、错误和过度。各种反同性恋、反亵渎神祇的法律都从未全面实施，实在是非常幸运。而看着政治人物时不时地犯错，我们是否真的希望有这样一套制度系统，会把他们的决定彻底贯彻，像重力一样无所不在？

很多人之所以害怕人工智能，是因为他们不相信人工智能会一直听话顺从。已经有太多描写机器人反抗人类主人，在大街上四处乱窜、恣意屠杀的科幻小说和电影。然而，机器人可能带来的问题其实恰恰相反。我们是该害怕机器人，但原因是它们永远只会服从主人，绝不反抗。

当然，盲目听从没有什么问题，但前提是主人得是个好人。在战场上，如果交战双方全用杀手机器人上场，就能确保这是历史上第一次真正遵守战争法的战役。人类士兵可能一时受到情绪影响，就犯下谋杀、强盗、强奸等违犯战争法的罪行。讲到情绪，我们通常想到的是爱心、同情心和同理心，但在战场上，控制着人的情绪的往往是残酷、仇恨和恐惧。由于机器人没有情绪，就能放心地相信它们会一字一句遵守所有军事规章，永远不受个人恐惧和仇恨的影响。

1968年3月16日，一群美国士兵在越南南部的美莱村的行动变调，他们陷入疯狂，屠杀了大约400名平民。这起战争罪行的起源，是当时士兵已经打了好几个月的丛林游击战，他们自行在当地做了这个决定。这个行动没有任何战略目的，同时违犯了美国的法律规定与军事政策。这是一场出于人类情绪影响的错误。如果美国当时在越南派的是机器人杀手，美莱村大屠杀就绝不可能发生。

但也先别急着研发和部署机器人杀手。我们不能忘记，机器人的表现一定是其内置程序代码的反映及放大。如果程序代码规定要有所克制、立意良善，机器人的表现就会远远优于一般人类士兵；然而，如果程序代码规定要冷酷无情、赶尽杀绝，结果就会是一场灾难。机器人真正的问题并不在于它们的人工智能，而是那些人类主人天生的愚蠢和残酷。

1995年7月，前波斯尼亚的塞尔维亚族部队在斯雷布雷尼察镇周围屠杀超过8000名信奉伊斯兰教的波斯尼亚人。美莱村大屠杀属于无计划屠杀，斯雷布雷尼察屠杀则历时持久，组织严密，反映出塞军的政策是对波斯尼亚境内的穆斯林进行种族清洗。如果塞军在1995年便拥有机器人杀手，整场暴行只会更糟，因为任何机器人都只会毫不犹豫地执行接到的命令，也绝不会因为同情、对自己的行为感到厌恶，或者单纯因为过于疲累，就饶过哪个儿童穆斯林的性命。

冷酷狠心的独裁者有了这样的机器人杀手，不管下了多无情、多疯狂的命令，都不用担心士兵起而反抗。如果有了机器人军队，1789年的法国大革命可能还没开始就遭到扼杀；如果2011年埃及总统穆巴拉克手中有一群机器人杀手，用来对付民众的时候就不用担心它们倒戈相向。同样，有了机器人军队的帝国主义政府也可以发动各种没有民意支持的战争，而不用担心机器人无心作战或机器人的家人会站出来抗议。要是美国在越战时有机器人杀手，虽然可能不会发生美莱村大屠杀，但越战本身却可能要再拖上更多年，因为美国政府不用再烦恼士兵士气低落、国内出现大规模反战游行，或者“退役机器人反对战争”活动。（虽然部分美国公民仍然可能反对战争，但既然不用担心自己被征召，自己没有犯下暴行的记忆，也无须承受失去亲人的痛苦，反战游行的人数大概会锐减，反战决心也不会那么坚定。）

此类问题当然和民用的自动驾驶汽车关系不那么大，毕竟没有任何汽车制造商会蓄意设计车辆去撞死人。然而，由于太多政权道德有缺失，甚至根本就是图谋不轨，自主武器系统带来灾难也只是时间的问题。

会造成危险的不只是机器人杀手，监控系统同样有风险。在好政府的手中，强大的监控算法可以是人类历史上发生过的最大的好事。然而，同样一套大数据算法也可能养出未来的“老大哥”，最后出现奥威尔笔下的那种监控政权，所有人无时无刻不遭到监控。

事实上，我们最后可能会得到连奥威尔都难以想象的结果：完全的监控政权，不但追踪所有人的一切行为和话语，甚至还能进入我们体内，掌握我们内心的感受。举例来说，如果某国领导人拿到这项新技术，想想看他会怎么运用？在未来，可能该国所有公民都会被要求佩戴生物统计手环，不仅监控他们的一言一行，还掌握他们的血压和大脑活动。而且，随着科学越来越了解大脑，并运用机器学习的庞大力量，该国政权可能会有史以来第一次真正知道每个公民在每个时刻想些什么。如果你看到一张该国领导人的照片，而生物传感器发现你出现愤怒的迹象（血压升高、杏仁核活动增加），大概明早你就会被抓进监狱。

当然，由于该国政权与外界相对隔绝，光靠自己可能很难研发出所需科技。但相关科技可能会由科技较先进的国家研发完成，而它可以复制或者购买。某些国家不断改良其监控工具，许多民主国家（从美国到我的祖国以色列）也在做同样的事情。以色列有“新创企业之国”的美名，高科技产业部门极度活跃，还有尖端的网络安全产业。但与此同时，以色列与巴勒斯坦处于致命的冲突局面，一旦真的研发出必要的科技，至少有部分领导人、将军和国民会很乐意立刻在约旦河西岸布下全面的监控系统。

就算在今日，只要巴勒斯坦人一打电话、发了脸谱网文章或前往另一个城市，就很可能已经被以色列的麦克风、照相机、无人机或间谍软件监控。由此收集到的数据会再用大数据算法进行分析，使得以色列安全部队无须真正动用太多人力，就能找出并消灭潜在威胁。巴勒斯坦人看起来好像占有约旦河西岸的一些城镇和村庄，但其实以色列人控制着那里的天空、电波和网络空间。所以虽然西岸巴勒斯坦人口有大约250万，但只要用少得惊人的以色列士兵，就可以有效控制那里。

2017年10月曾有一起悲哀而荒谬的事件，一名巴勒斯坦工人在自己的脸谱网账号发了一张在工地的自拍照，就站在一台推土机前面。在照片旁边，他用阿拉伯文写了——“早安！”但算法自动翻译这些阿拉伯文字的时候出了错，把意为“早安”的“Ysabechhum”误判成“Ydbachhum”，意思就成了“杀光他们”。以色列安全部队怀疑这名男子是恐怖分子，打算用推土机冲撞碾压人群，于是立刻将他逮捕。直到他们发现是算法出错，这名男子才得到释放。然而，那则叫人紧张的脸谱网发文还是被删除了，毕竟小心驶得万年船啊。巴勒斯坦人今天在西岸的状况大概只是个简单预告，未来或许全球几十亿人终将出现同样的局面。

在20世纪后期，民主国家的表现通常优于专制国家，是因为民主国家更善于处理数据。民主制度采用分布式的信息处理，由许多人和机构来做出决定，而专制制度则是把所有信息和权力都集中在一处。鉴于20世纪的科技水平，把太多信息和权力都集中在一个地方并不是有效率的做法。在当时，没有人能够及时处理完所有信息，并做出正确决定。这也就成了苏联做出的决策水平远低于美国，苏联经济远远落后于美国经济的部分原因。

然而，人工智能很快就会让钟摆摆向相反的方向。有了人工智能，就能集中处理大量的信息，甚至因为机器学习在分析越多信息之后效果越好，所以人工智能可能会让集中式系统比分布式系统效率更高。在不考虑任何隐私问题的前提下，在一个数据库里就拥有10亿人的完整信息，绝对会比只有

100万人的部分信息更能训练出优秀的算法。举例来说，如果有某个专制政府要求所有公民进行DNA扫描，再将所有医疗数据提供给中央机构，这时比起那些医疗数据需要严格保密的社会，专制政府就能掌握遗传学和医学研究的巨大优势。一心想把信息集中，在20世纪曾是专制政权的主要弱点，但到了21世纪却可能成为决定性的优势。

随着算法变得如此了解我们，某些政权能够对公民进行绝对的控制，程度甚至超过纳粹德国，而且公民可能完全无力抵抗。这种政权不仅能明确掌握你的感受，甚至还能控制你的感受。

我们并不会回归到希特勒的时代。数字独裁和纳粹德国之间的差异，可能就像纳粹德国与法国旧制度的差异一样巨大。路易十四也是个集权的独裁者，但当时并没有足以建立现代极权主义国家的科技。虽然他的统治并未受到抵抗，但当时既没有收音机，也没有电话和火车，他也就很难掌控布列塔尼某个偏远乡村的农民甚至巴黎市中心市民的日常生活。当时不论在意愿还是能力上，他都不可能建立群众政党、全国青年运动组织或国家教育体系。是因为20世纪出现了新科技，才让希特勒有了做这些事的动机和能力。我们无法预测2084年的数字独裁政权会有怎样的动机和能力，但要说他们想成为另一个希特勒，是不太可能的。如果有人打算用20世纪30年代的方式来重新打这场仗，有可能会遇到完全出乎意料的攻击，令他们措手不及。

就算民主制度成功适应调整而生存下来，人民也可能遭受到新形态的压迫和歧视。现在，已经有越来越多的银行、企业和机构运用算法来分析数据，做出与我们相关的决定。你向银行申请贷款的时候，申请单很可能是由算法处理的，而不是由人类审核的。算法分析你的大量资料和其他几百万人的统计数据，据以决定你是否可靠，该不该给你提供贷款。一般来说，算法此时会比人类银行职员表现更佳。但问题在于，如果算法里藏着某种不公，我们将很难察觉。如果银行拒绝给你贷款，你问：“为什么？”银行会说：“算法说不行。”但你再问：“为什么算法说不行？我哪里有问题？”银行会说：“我们也不知道。没人知道这套算法背后的道理，总之就是一套先进机器学习的结果。我们相信我们的算法，所以不会贷款给你。”

如果被歧视的是某个群体（例如妇女或黑人），这些群体能够组织起来，抗议他们集体遭到歧视。然而，现在算法歧视的有可能就是你这个人，而你完全不知道原因。有可能是你的DNA、你的过去或者脸谱网账号上有些什么，引起了算法的注意。算法歧视你，并非因为你是个女性或黑人，而是因为你就是你。就是有些什么关于你的特质，算法不喜欢。你不知道究竟是什么特质，就算你知道，也找不到人和你一起大声抗议，因为没有其他人会遇到与你一样的偏见，只有你。到了21世纪，除了过去的集体歧视之外，我们可能还要面临日益严重的个人歧视问题。

在最高的权力阶层可能还会有几个人类，这让我们有个错觉，以为算法只是顾问，最终的权威还是掌握在人类手中。我们不会任命某个人工智能来担任德国总理或谷歌的首席执行官，但那位总理和首席执行官的决策会由人工智能制定。总理手中会有几个不同的选项，但所有选项都会是大数据分析的结果，反映的也是人工智能看世界的方式，而非人类看世界的方式。

让我们举个类似的例子：今天世界各地的政治家似乎可以在各种不同的经济政策之间做选择，政治家有种以为自己可以选的错觉，但真正重要的决定早就由经济学家、金融专家和商人在提出选项时就做完了。也就是说，是他们为政治家定下了选择的方向。而再过几十年，就可能是由人工智能来提出选项，供政治家进行挑选了。

一个好消息是，至少在未来几十年里，我们不用担心科幻小说里那种人工智能产生意识、杀光或奴役人类的噩梦。我们会越来越依赖算法为我们做决定，但算法并不太可能开始有意识地操纵人类。事实上，它们不会有任何意识。

科幻小说常把智能与意识混为一谈，并认为如果要有与人类相当甚至更高的智能，计算机就必须发展出意识。几乎所有关于人工智能的电影和小说，基本情节都围绕着计算机或机器人产生意识的那个神奇时刻。而一旦它们有了意识，不是人类主角爱上机器人，就是机器人打算杀光所有人类，或者二者兼而有之。

但实际上，并没有理由相信人工智能会获得意识，因为智能和意识是天差地别的两种概念。智能是解决问题的能力，意识则是能够感受痛苦、喜悦、爱和愤怒等事物的能力。我们之所以会两者不分，是因为对人类和其他哺乳动物来说，智能与意识会携手同行。哺乳动物处理大多数问题时靠的是“感觉”，但计算机会用完全不同的方式来解决问题。

提高智能的路其实有好几条，其中只有一条需要靠意识。就像飞机不用发展出羽毛，但飞行速度却比鸟更快，计算机也不用发展出哺乳动物所需要的感受，就能比哺乳动物更会解决问题。确实，人工智能必须准确分析人类的感受，才能好好替人类治病、找出人类的恐怖分子、为人类推荐另一半、在满是行人的街道上行车，但是这一切并不需要它自己有任何感觉。算法只需要学会辨别猿类在快乐、愤怒或恐惧下的生化模式，而不需要它自己感受到快乐、愤怒或恐惧。

当然，人工智能并不是绝对不可能发展出感受。我们目前对意识的了解还不足以完全下定论，大致而言，需要考虑三种可能：

1.意识在某种程度上与有机生化相关，因此只要是非有机体的系统，就不可能创造出意识。

2.意识与有机生化无关，而与智能有关。这样一来，计算机就能够发展出意识，而且如果计算机要跨过某种智能门槛，就必须发展出意识。

3.意识与有机生化或高智能并无重要关联。这样一来，计算机确实可能发展出意识，但并非绝对。计算机有可能具备极高的智能，但同时仍然完全不具有意识。

就目前人类具有的知识来看，这些可能都无法排除。然而，正因为我们对意识所知太少，短时间内似乎并不可能设计出有意识的计算机。因此，虽然人工智能具有巨大的力量，但在可预见的未来，人工智能的运用在一定程度上还是以人类的意识为准。

这里的危险在于，如果我们太注重发展人工智能而又太不注意发展人类的意识，那么计算机有了极先进的人工智能之后，可能只会增强人类的“自然愚蠢”。在未来几十年内，我们不太可能碰到机器人叛乱的问题，但机器人可能会比你的父母更知道怎样可以触动你的情绪，并且会运用这种神奇的能力来对你进行推销，让你想买某辆车、想把选票投给某个人，或是想接受某种意识形态。这些机器人能够找出我们最深层的恐惧、仇恨和渴望，再用它们来对付我们。从最近全球的选举和公投就可以预见未来：黑客通过分析选民数据，运用选民现有的偏见，就能知道怎样操纵单个选民。科幻惊悚片常常上演的是烈火浓烟、轰轰烈烈的末日景象，但实际上，末日景象可能是在一次又一次的点击当中悄悄而且平凡地来临。

想避免这种结果，每投入一美元、一分钟来提升人工智能，就应该同样投入一美元、一分钟来提升人类意识。但很遗憾，目前对于人类意识的研究和开发并不多。我们对于人类能力的研发，主要都是为了满足目前经济和政治体制的迫切需求，而不是为了让人类在很久之后仍然是一种保有意识的生物。上司希望我回复电子邮件越快越好，但他对于我品尝和欣赏食物的能力毫无兴趣。结果就是我连吃饭的时候都在收电子邮件，也就慢慢失去了重视自己感官感受的能力。整个经济体系逼着我要扩大投资组合、让投资更多元，但完全没让我有动机去扩大同理心，让我的同理心更多元。于是，我投入大量心力想了解证券交易的种种奥秘，但几乎不花什么心思来了解痛苦背后有什么深层成因。

在此，人类就像是其他经过驯化的家畜。例如我们培育的奶牛，性情温顺，乳量惊人，但在其他方面远远不及其野生祖先，没那么灵活，没那么好奇，也没那么懂得变通。我们现在也正在培育一种驯化的人类，产生的数据量惊人，而且能够像海量数据处理装置中的高效芯片一样运转，然而这些“数据牛”绝对称不上是发挥了人类的最大潜能。事实上，因为我们还太不了解人类的心智，根本无从得知人类的最大潜能是什么模样。然而，我们几乎没有投入什么心力来探索人类的心智，只一心想着提升网络连接的速度及大数据算法的效率。如果再不注意，最后的局面就会是退化的人类滥用进化的计算机，伤害自己，也伤害世界。

未来的危险还不止数字独裁一项。自由主义秩序背后的价值观除了自由之外，也很重视平等。自由主义一直强调政治上的平等，也慢慢发现经济上的平等几乎同样重要。如果没有社会安全网的机制与一定的经济平等，自由就毫无意义。然而，正因为大数据算法可能会抹去自由，同时也就可能创造出历史上最不平等的社会，让所有的财富和权力集中在一小群精英手中。大多数人类的痛苦将不再是受到剥削，而是更糟的局面：再也无足轻重。