线上实验应对数字社会的“反身性”：基于两个研究设计的比较

原创 耿应祥、张忠继 定量群学

数字时代，扑面而来的海量数据使社会科学研究者兴奋不已，但信息的冗杂以及对数据产生、累积过程的不可知和不可控，也使得全面理解人类行为规律变得更为复杂。实证研究在面对个体所理解的情境和能动行为的相互作用上所面临的挑战与日俱增[1]。这种研究主体中的行动者的主观意图、目的、权力、利益、知识结构、价值和规则等，对研究产生影响以至于导致结论出现偏差的情况[2]，即是研究所面临的“反身性”威胁。

下文介绍的第一篇论文Can Conversing with a Computer Increase Turnout? Mobilization Using Chatbot Communication[3]讨论了互动性如何导致对以技术为媒介的交流的认知与个人交流类似，以及这种认知如何利用聊天机器人提高投票率的可能性；第二篇论文Using crowdsourced online experiments to study context-dependency of behavior[4]以众包网站为例，探讨了行为的情境依赖性。前者体现了应对反身性所采用的封闭性和自动化的路径选择，后者则体现了全面性、精确性和规则性的路径选择。

实验一

心理学研究表明，人与聊天机器人的对话可以产生类似于人与人对话的情感效应，这种互动类似于人与人之间基于技术的短信互动而非单向干预。该文要探讨的是这类聊天机器人能否动员选民参与投票。所使用到的聊天机器人平台是专门服务于选民与官员沟通的平台，可以将选民的意见传达给所支持的官员，选民也会收到一些政策提示。用户加入此服务是本人自愿申请。聊天机器人沟通界面如图1。

图1：聊天机器人沟通界面

研究者在威斯康星州无党派最高法院大法官大选的前一天进行实验，研究团队没有参与随机分组和处理组的安排，聊天机器人利用计算机自动生成的随机数将46,069名用户随机分配到对照组和处理组，分组情况由第三方存档。处理组中，聊天机器人会提供关于选举的提醒，提供投票地点的位置信息，以及给出一个建议：制定一个明天到达那里的计划（如图2）。选举结束后，聊天机器人将数据发送给一家专门研究选民数据的公司Catalist LLC，该公司对数据和实地投票选民数据进行匹配和分析。

图2：聊天机器人选民动员

实验二

众包是发起者将一项工作在网络上分包给工作者共同完成的行为，工作者基于获得金钱报酬、热情助人或打发时间等动机积极参与其中。众包在线实验为实验室研究提供了很有价值的补充，将同质的决策情境转移到各种生活条件和社会环境中。作者为了评估众包实验的内部有效性并证明经济决策的情境依赖性，使用独裁者游戏和最后通牒游戏加以研究。在这两种决策情况下，参与者都必须在利己行为和社会理想行为之间做出选择，所以两项实验设置测试了金钱激励是否破坏了社会规范的力量，以及决策情境下的行为对制度条件的反应。

研究设计

首先通过对最后通牒游戏和独裁者游戏中的赌注（0美元、1美元、4美元和10美元）的变化来评估众包实验的内部有效性；其次，通过设置不同情境考察参与者所在地理位置、区域富裕程度和当地社会资本等级等对行为诱发的影响。

实验过程

招募：研究者在平台上发布招募通知：做三个简单的决策任务并回答一个简单的问卷，根据玩家的表现提供0.5美元的奖励和潜在的奖金。并设定美国和印度工人的条件限制，在参与实验之前告知参与的匿名性、报酬给付准则和知情同意。

随机化：将被试随机分配到特定的赌注级别、游戏顺序以及游戏中第一、第二决策者的角色，并且随机与陌生人进行配对并完成游戏。

指令告知：尽可能告知参与者可以进行的选择和回报，避免提供具体的策略。另外，在每个游戏中加入了一个步骤，即在参与者做出决定前必须正确回答问题，以保证参与者能正确理解游戏规则。

数据收集：对于参与者游戏中的行为数据进行记录，在完成游戏后要求参与者填写一份简短的调查问卷，包括社会人口变量、个体游戏体验、州一级地理位置以及参与过程中的物理和社会环境等变量。

报酬给付：对于完成实验的参与者，给予0.5美元的参与奖金和0.5美元调查问卷完成的奖金，或在三个游戏之一中给予奖金，这是一种随机化的奖励。奖励通过众包平台进行给付，并且对于未全部完成的参与者不予奖金。

小结与讨论

实验一中的实验情境选择和数据分析外包，体现了实验过程的封闭性，即使得研究对象和研究者都从研究过程中抽离出来，没有在实验过程中进行人为干预，也没有在实验中暴露实验属性，线上平台也尽可能规避了与研究对象之间的相互影响。而是由聊天机器人作为实验设置的互动点，保证了实验过程的自动化进行，一方面对研究对象的行为和反馈有即时记录，另一方面，保证了实验进行的中立性。实验二中报酬给付准则的设置体现了规则要素，对参与者的道德风险有控制效果。在数据收集环节中对多方面数据的收集反映了全面数据化的想法，这使得数据的真实性和可靠性大为加强。实验过程中的反身性，体现的是一种自我实现预言，上述手段，既避免了主体影响，也隔绝了研究对象的相互作用，并且使得整个实验过程自动化、确定化、可监控和可预测。

当然，对反身性的彻底解决，还有待于进一步探索。如封闭性的实现较为困难，在实验过程出现偏差需要实时维护、模型分析离不开主体介入等，另外，封闭性的实现与实验伦理的平衡也尤为关键，同样，规则的引入和中立性的保持也存在取舍的困境。最后，数据的全面性也考验着数据的精确性。近年来，对参与者自我反馈报告、答题时鼠标反应时长等分析[5]正在对线上实验的缺陷形成弥补。（范晓光、程凡玲 校）

参考文献

[1] 范晓光. 数字化与实证社会学研究方法困境化解[J]. 中国社会科学评价, 2020(3).

[2] 梁玉成, 政光景. 打破技术治理悖论——从“默顿系统”迈向“牛顿系统”的技术治理转型[J]. 社会发展研究, 2020(1).

[3] Mann C B. Can conversing with a computer increase turnout? mobilization using chatbot communication[J]. Journal of Experimental Political Science, 2020:1-12.

[4] Keuschnigg M, Bader F, Bracher J. Using crowdsourced online experiments to study context-dependency of behavior[J]. Social Science Research, 2016:68-82.

[5] Ben Howell. Online psychology experiments: everything you need to know. Psychstudio, 2020.

作者 | 耿应祥 张忠继（浙江大学社会学系硕士研究生）

校对 | 范晓光（浙江大学社会学系副教授）；程凡玲（美国纽约州立大学欧本尼分校博士研究生）

原标题：《线上实验应对数字社会的“反身性”：基于两个研究设计的比较》

阅读原文