“楚门效应”：数据巨机器的“意识形态”

【编者按】近日，Facebook数据泄露事件（亦称脸书事件）持续发酵。当以大数据技术为基础的社交媒体逐渐成为当代社会的重要结构性元素，当人类社会从对一般工具的依赖开始走向对指纹解锁、人脸识别等智慧生活的依赖，当普通民众让渡了“识别性”所获得的“便捷性”和“安全性”的生活轨迹本身构成大数据的一部分，当传统的农业秩序和工业秩序全面转向信息时代的数据秩序，智慧生活的革命意味着社会变迁的拐点，秩序切换的混沌也不可避免导致了智慧生活的焦虑，特别有一种焦虑挥之不去，那就是大数据时代的隐私问题，深层次的问题是数据巨机器的形成和人的自由的丧失。我们如何在个体自主性与公共秩序性之间找到新的平衡？我们如何在数据权力与伦理权利之间实现新的制衡？我们如何在算法暗箱与隐私通货之间搭建新的规则？我们如何在数据暴力与多元社会之间达成新的共识？为此，《探索与争鸣》编辑部与华东理工大学社会科学高等研究院、华东理工大学社会与公共管理学院特邀相关领域的专家学者，联合召开了以“智慧生活与技术治理”为主题的圆桌会议，希冀在对Facebook数据泄露事件背后数据监控模式和新型风险社会深度反思的基础上，探求全球的对数据监控之规制的技术治理新政。

人与技术的自由关系是技术伦理学探寻的核心命题。在不同的技术时代，人与技术的自由关系问题汇聚在不同的焦点上。在机器大工业时代，它聚焦于人与机器的自由关系，在当今大数据和普适计算时代，它聚焦于人与数据的自由关系。技术异化常常与技术增进人的自由相伴而行，如何促成人与技术的自由关系，就成了技术伦理学探寻的终极目标。

Facebook数据泄露门的曝光和持续发酵，使隐私问题再度成为人们热议的话题。隐私一直是计算机伦理四大经典问题之一，自从有了普适计算、大数据和人工智能等技术，这一经典的计算机伦理问题便激发了关于更为基础的伦理问题的讨论，即人与技术的自由关系问题。对这些事件而言，隐私问题是公众关注的焦点，但隐私问题仅是冰山一角，深层的问题是数据滥用和数据侵权的问题，是人的自由的问题。隐私问题的极化可能导致数据巨机器的出现，进而导致人与数据关系的破裂、人的自由的丧失。隐私问题只是数据滥用的后果之一，数据巨机器的形成和人的自由的丧失才是数据滥用最严重的后果。

人与数据的关系是数据伦理学的核心议题，人与数据的自由关系是数据伦理的价值追求。事件的曝光使人们对这个问题有了前所未有的紧迫感，意味着我们应当加大力度治理数据隐私问题，同时应当积极建构人与技术、人与数据的自由关系。

楚门效应：数据巨机器与人的自由

大数据的伦理问题与计算时代密切相关。计算时代经历了从巨型计算到个人计算、网络计算，再到普适计算。伴随计算时代的更替，数据收集和使用经历了三阶段。数据库阶段：数据的收集和存储是离散的。网络阶段：离散存储的数据互相关联起来。大数据阶段：收集和存储的数据的类型和数量急剧增加。更重要的是，大数据便于挖掘和定位，易于对个体进行数据画像，建构关于个体的完整形象，从而使全方位全程监控个体成为可能。数据滥用等正是依托这样的计算平台和环境得以实现。因此，通过数据和算法可以轻而易举地监控和控制个体，人机关系、人-数据关系发生了逆转。

大数据杀熟现象表明，消费者自以为是的自主决定其实是被操纵的决定，而消费者对此全然不知。我们不妨将这种现象称为“楚门效应”。楚门效应的实质是，消费者在毫不知情的情况下其自主权遭到侵犯。在具体的网络购物场景中，消费者通过货比三家，自以为作出了最佳选择，殊不知消费者看到的价格是购物网站通过对个人数据的收集和挖掘，针对消费者进行个性化定制的价格。当消费者通过所谓的货比三家或长时间的比价，以为自己得了便宜沾沾自喜时，商家可能在暗暗发笑，因为一切都在商家的掌控之中，根本不存在消费者的自主选择。

前人有言“人类一思考，上帝就发笑”，如今我们可言“消费者一思考，马云就发笑”。“马云”似乎成了大数据时代的上帝——数据上帝。在数据上帝面前，消费者的自由意志则成了笑料。以前，消费者讨价还价的能力大有用武之地，到了大数据精准营销时代，这种自主判断和选择的能力已派不上用场，甚至可以说连这种能力都可能丧失，而问题的要害在于消费者被操纵、被决定而不自知。

Facebook用户信息泄露事件表明，选民的自由选举权都可以被精准操纵。与消费者的自主权相比，选民的政治权利被操纵更为可怕。据报道，剑桥分析公司收集了超过5000万Facebook用户的资料，通过分析用户的性格特征、价值取向、行为模式和人生经历等方面的数据，对左派、右派和摇摆不定的人群进行精准的信息推送，使他们支持公司预定的总统候选人。不难想象当选民自以为自主行使了自己神圣的选举权时，剑桥分析公司及其雇主一定在暗暗发笑。以上我们仅从目前热议的消费和选举两个场景，探讨人的自由权利被侵犯的问题。大数据和普适计算催生了新的人机关系、人-数据关系，数据和算法不再只发挥工具的作用，它们会改变人们的生活习惯和行为方式，与人共同组成一个人机、人-数据融合的新世界。人类稍有不慎，这个新世界就可能成为数据巨机器。

在一般意义上来讲，现代社会是一个基于技术的空间，在这个空间中人与技术的非自由关系一直是技术哲学家和伦理学家关注的问题。美国技术哲学家刘易斯·芒福德在《技术与文明》《机器的神话》等著作中，探讨了人类在机械文明中的自由问题。芒福德认为，现代技术尤其是单一技术造就了一种高度权力化的复杂的大型机器——“巨机器”。在这个巨机器中，人无异于一颗颗螺丝钉，服从机械的铁律。

大数据技术是现代单一技术的典范，如果不对大数据技术的使用进行合理的规范，人类就可能面临“数据巨机器”的灾难性后果。大数据技术和普适计算成了数据巨机器出现的物质基础。数据巨机器由数据和算法铸成。数据是原材料，算法是加工厂。数据来源于离散的个体，算法由具有单一性的机构决定。数据通过算法的加工，铸成了数据巨机器。数据巨机器犹如“楚门的世界”。

在楚门世界，除了楚门，人人都是演员；在数据巨机器里，人人都是楚门，人人都是演员，无人是自己。这意味着楚门世界不过是数据巨机器的雏形，数据巨机器是楚门世界的升级版。楚门世界已足以警示人类，倘若数据巨机器真的全面实现，人类集体忧虑的程度可想而知。显然，人类的任务就是要阻止数据巨机器的出现，而要阻止这种巨机器的出现，还需要深挖促使它形成的精神因素，并建立新的世界观和伦理观。

数据主义与基于权利的数据伦理

如果说大数据技术和普适计算是数据巨机器形成的物质基础，那么数据主义则是数据巨机器形成的精神基础。数据主义造就了数据巨机器，数据巨机器信奉数据主义，数据主义成了数据巨机器的意识形态。

数据主义推崇数据自由至上，这集中体现在它的两条律令上。数据主义第一条律令：要连接越来越多的媒介，产生和使用越来越多的信息，让数据流最大化。数据主义第二条律令：要把一切连接到系统，连那些不想连入的异端也不能例外。不难看出，数据主义追求数据流最大化和连接最大化，要实现这两个最大化，数据自由是必要前提，正如尤瓦尔·赫拉利分析指出的，“数据主义相信一切的善（包括经济增长）都来自信息自由。……如果想要创造一个更美好的世界，关键就是要释放数据，给它们自由。”这里的自由是针对数据的，而非针对人的。

数据获得了自由，人失去了自由，自由似乎遵循守恒定律，这也暗示自由与善存在某种冲突。数据主义有助于社会运行效率的提高，但可能对个人隐私造成伤害，导致人的齐一性、个人自由的丧失。在自由与善之间，数据主义极端地选择了所谓的善，忽略了人的自由。或者说，数据主义仅在数据这一点上统一了善和自由，因为“对数据主义来说，信息自由就是最高的善”。

数据主义推崇算法至上，推崇算法暗箱，以实现数据自由的最大价值。人文主义呼吁“聆听自己内心的声音”，数据主义呼吁“聆听算法的意见”。随着大数据和普适计算时代的到来，人类正在将权力交给算法。“各种事情的决定权已经完全从人类手中转移到具备高度智能的算法。”数据主义实际上是技术至上主义在大数据时代的当前形态。数据主义主张算法至上，为实现算法至上，算法暗箱是必要的前提。算法暗箱显现了用户数据权利与机构数据权力的失衡现象。数据是用户的，算法是机构的。数据的收集和使用，对消费者而言是被动的，对机构而言则是主动的。没有算法，数据也许没有价值，算法赋予机构巨大的数据权力，主动权总是掌握在机构手中。

数据权利和数据权力的不对称，使消费者沦为数据巨机器的原材料。对机构而言，数据是透明的，哪里有数据，如何收集和挖掘数据，机构都知道。对用户而言，数据是暗的，数据是用户的，但用户并不知道自己有多少数据在外面，这些数据在哪里，如何被使用？对机构而言，算法是透明的，算法是机构设计的，是机构意志的模型化。对用户而言，算法是暗的，用户不知道算法为何物，算法对用户意味着什么。

数据和算法厚此薄彼的灰度（暗和透明），生动地呈现了数据权利与数据权力的失衡现象，这种失衡不可避免导致数据巨机器，导致算法歧视或暴政。若想走出大数据之困，就必须维护数据权利与数据权力的平衡。基于目前数据权力远胜于数据权利的现状，我们应当提倡基于权利的数据伦理。

基于权利的数据伦理主张有规范的数据共享。数据主义主张绝对的数据共享，基于权利的数据伦理是对这种数据主义的反对。基于权利的数据伦理并不一味地反对数据共享，相反它支持数据共享，反对无序无度的数据共享，反对不顾个人权利的数据共享，反对算法暗箱。目前，国际组织、各国政府、行业协会和企业等正在致力于推进数据共享，同时也制订了诸多保护个人数据权利的政策。

基于权利的数据伦理要求尊重用户的数据权利和隐私权。数据的收集和使用需征得用户的知情同意，并实行最少原则（必要原则），用户应当有权知晓个人数据的收集范围和用途。目前，绝大多数机构或网站都制订了自己的隐私条款，但这些条款的内容和实施过程出现了诸多问题，如违背最少原则、扩大个人数据收集范围、违反知情同意原则、未经用户同意二次或多次使用用户数据等。因此，应当对这些隐私条款进行必要的内容审核和过程监督。

基于权利的数据伦理要求算法具有透明性。对用户而言，暗是算法的技术架构特征，透明则是算法的规范性要求。只要算法是暗的，数据共享就是无序的、无度的，就会导致数据滥用和权利侵害。透明至少包含开放和可理解两个方面。算法若是封闭的，不被外人知悉，便是暗的，是不透明的。算法即使是开放的，如不可理解，仍是暗的，是不透明的。只有做到了算法的开放性和可理解性，才能确保算法的透明性，使用户和机构在算法灰度上达到平衡，确保用户的数据权利。

基于权利的数据伦理主张以人为本。数据主义和数据巨机器遵循机械论和机器法则。正如芒福德所指出的，以单一技术为特征的现代技术的意识形态基础是一种机械化的世界观，这种机械化的世界观已经深入到现代人类的心灵，变成一种基本的价值观念和思维方式。这种机械论导致人类智能最高表现的巨机器的出现，机器法则犹如升级版的丛林法则，使人成了数据巨机器统治的对象。这种机械论遵循决定论，与自由律背道而驰。技术意志替代了人的意志，人过着机械化的生活。数据巨机器是具有自由意志的人设计的，但数据巨机器服从机械论，人作为具有自由意志的设计者成了数据巨机器的奴隶。要摆脱巨机器的控制，需要用一种新的世界观来代替这种机械世界观，这种新的世界观提倡基于权利的数据伦理。

基于权利的数据伦理是对数据主义的反对，提倡以人的权利为本，而不是以数据的权力为本；以人的自由为中心，而不是以数据的自由为中心。芒福德通过对技术与文明发展历史的总结，认为科技具有人文传统，这一传统建立在“以尘世为中心的接近自然符合人性的模型”之上，但是这一传统因单一技术的出现式微了，要想避免“巨机器”的灾难性进程，西方文明必须回归这一传统。

总的来说，基于权利的数据伦理，旨在消除数据主义对数据自由的崇拜，提倡有规范的数据共享；旨在促进数据共享，消除数据孤岛，防止数据滥用；旨在消除机械论世界观的不良影响，提倡尊重人的权利，重建人在大数据时代的主体地位，建构人与技术、人与数据的自由关系。芒福德曾大声疾呼“：人类要获得救赎，需要经历一场类似自发皈依宗教的历程：以有机生命世界观替代机械论世界观，将现在给予机器和电脑的最高地位赋予人。”基于权利的数据伦理，正是强调平衡数据权利与数据权力的关系，平衡数据领域自由与善的关系，促进数据共享，增进人类福祉，维护人类的自由。

本文原载《探索与争鸣》2018年第5期，本文原题为《“楚门效应”：数据巨机器的“意识形态”——数据主义与基于权利的数据伦理》，澎湃新闻（www.thepaper.cn）获授权转载。