网站调查的兴起与谬误

【编者按】

2011年，随着大数据的兴起和网络调查（包括网络上开展的定量调查，也包括网络民族志）的盛行，社会学者潘绥铭、黄盈盈、王东出版了《论方法 : 社会学调查的本土实践与升华》第一版，对于定量调查与定性调查这两种主要的社会学调查研究方法进行有原创性地比较，反思当时流行的结合使用两种方法的误区与局限，并建设性地探讨两者结合的可能性与条件，提出可以提高调查质量的一些具体建议。

自20世纪90年代起，潘绥铭团队就中国人的性行为、性关系、性观念进行了四次全国范围内的随机抽样调查，并在多点红灯区考察的基础上访谈了1300多位相关人群，积累了大量的定量与定性调查实地经验。该书第二版由世界图书出版公司/巴别塔文化于2023年1月再版。本文摘自该书第四章“随机抽样的本土应用”。

《论方法：社会学调查的本土实践与升华》书封

一、捷径往往是失误

在互联网上的某个网站发布、仅仅由上网者主动登录该网站并且主动回答的问卷调查就是网站调查（web survey & web-based survey）。通常所说的“网上调查”或者“网络调查”还有其他内容，本文暂不论及。

至晚从2005年开始，网站调查就在我国呈现为几何式的增加，其调查结果往往被大众传媒广泛地、放大地传播（董瑞丰、杨桃源，2006），不但已经在相当大的程度上影响到公众的认知与价值判断倾向（人民论坛“千人问卷”调查组，2008），而且甚至影响到政府行政与立法（盛宇、刘俊熙，2008；孙云龙，2008）。就连在被认为应该是科学性要求最强的医学领域中，居然也有人堂而皇之地使用起这样的网站调查的结果（陈新，2006）。

在“性”方面最典型的例子是，生产避孕套的杜蕾斯公司2004年公布其网站调查结果说：中国人的性伴侣人数达到平均19.3个，是世界上最多的。经大众媒体广泛传播之后，引发了中国公众的极大困惑与争论。尽管该公司的网站调查负责人信誓旦旦地说：“我们就是想尽一些社会责任，了解人们性生活全景，并和社会来分享信息。这个报告和商业没有任何关系，也不会为商业而用。”但是，从其社会效果来看，人们仍然很有理由认为，这个网站调查其实从一开始就可能仅仅是该公司的一种促销手段而已（刘吉涛，2004）。

虽然国际上早有对于网站调查的批评（Bailey，2000），虽然我国的一些学者在泛论式的研究成果中也涉及这方面的问题，但是我国学术界（包括笔者自己）直到本书第一版面世的2011年为止仍然没有专门针对这种大行其道的网站调查的论文。此后直到2021年，在中国知网的检索结果显示，以“网站调查”为主题的中文文献中，仍未有针对此种方法进行的专门研究。与研究方法相关的文章只有《基于网上调查的科研成果可信吗?》。它以2016年美国总统大选为例，仅仅提出网上调查用于科学研究需要慎重。

网站调查既没有一个调查总体，也不可能进行随机抽样，因此其结果不具有任何意义上的代表性。这是学术界一直坚持的共识（徐浪、向蓉美，2006；方国斌、陈年红，2009），某些网站调查的主张者也敢于公然承认这一点。

但是，网站调查的这种非随机抽样方法究竟产生了多大程度的样本偏差，这种偏差又造成了调查结果在多大程度上的失误，我国学术界目前尚缺乏实证的研究成果。这不利于对网站调查方法及其结果进行科学的评价，不利于引导公众正确看待各种网站调查的结果，客观上可能造成学术界放弃引导公众之社会责任。

笔者尤其希望论述的是：网站调查的这种样本偏差为什么值得学术界高度重视？其方法论层面（而不是操作层面）的意义是什么？笔者又主张什么与建议什么？

为此，笔者设计了这样的一个研究方案。

第一步，以笔者完成于2006年底的“第二次全国调查”为对照组。

第二步，从2007年8月开始，在保留所有基本提问、删除细节追问（题量大约是原来的一半）之后，将同样的问卷以Web格式挂在一个公共网站上。到2008年12月1日为止，共获得18岁到60岁的2593人的有效回答。（以下简称为“网站调查”）

第三步，由于具有足够的可比性，笔者将两组数据进行对比分析，以便发现其差异。

笔者所设计的这个对照研究，不仅足以检验网站调查样本偏差的程度及其后果，而且是检验的最佳途径。

二、网站调查样本的社会阶层分布严重偏离实况

与总人口的偏差

在现实生活中，网站调查的实施者经常把大规模的样本量当作标榜其调查结果具有代表性的最重要的指标，有时甚至是唯一标准。

我国社会学的研究成果早已指出了上述说法的荒谬。笔者的实证对比研究也清楚地表明：在笔者所设置的30个社会阶层特征指标中，与全国总人口调查的结果相比，网站调查结果中基本持平的指标仅有7个，而其余的23个指标相差可以达到58个百分点，甚至相差20倍（上过大学或者研究生的比例）。这就使得任何统计技术层次上的矫正都失去了可能性。

与全国网民总体的偏差

在大众传媒中，相当多的人认为，网站调查虽然不能代表中国的总人口，但是至少在一定程度上可以代表中国的网民。这成为网站调查结果被广泛传播的重要理论依据之一。

但是，笔者把全国总人口调查中的网民抽出来与网站调查结果进行对照却发现：即使仅仅针对网民这个群体，网站调查的对象也系统地偏向于城市的、30岁以下的、大学以上的、中等以上收入的科技人员与知识分子。其间的差异可以达到49个百分点，甚至5倍左右（上过大学或者研究生的比例）。显然，网站调查无法代表全国的网民总体。

与城市男性网民总体的偏差

网站调查样本就连特定的网民小群体也无法代表。笔者把两个调查中的城市男性网民这样一个总体单独抽取出来进行对照分析，发现网站调查在其他社会阶层特征上的差异仍然很大而且具有统计学显著性。

三、样本偏差带来的认知谬误

表4-1说明：那些在网上回答笔者调查的人，其实都是那些性活动非常活跃而且不遵守传统性道德的人们之中那些表现欲更强一些的人。可是，即使是仅仅针对这些特定人，网站调查的结果也仍然不具有任何意义上的代表性。

表4-1　网站调查与总人口调查的差异（％） 

如果学术界任由这样的网站调查结果在大众传媒中扩散，那么就会夸大“性自由者”的比例，就会扭曲城市男性网民、全体网民乃至全体中国人的性的存在状况，甚至可能引来社会管理方面的决策失误。

四、网站调查兴旺及其恶果的社会文化原因

网站调查得以兴旺，最基本的社会推动力来自于中国公众的“统计数字饥渴”。

一方面，一是长期以来，中国的统计数字一是过于官方化（唯有官方机构发布）；二是过于物质化（主要是统计客观存在物）；三是统计普通人所关心的日常生活状况不够，造成了供给不足所引发的需求旺盛。

另一方面，中国公众中存在着一种“中国人幻象”，也就是一种抽象出来的、绝对整体化的、不需要也不能够证伪的“中国人”。人们格外关注这种“中国人”究竟是什么样的，因此总是倾向于把任何一个百分数都看作“中国人”的发生率。在这种情况下，网站调查所得到的非随机抽样的各种百分数，就很容易满足人们的需求。也就是说，与其说是网站调查误导了公众，不如说是公众渴求这种误导。

正是在这种背景下，两方面的社会力量共同造就了网站调查兴旺的现实。

首先，无知与无良自觉合谋的“统计数字经济学”是大约21世纪以来中国的独特产物（周银香，2002）。它虽然来自“眼球经济”（Thomas and John，2001），但是在当今的中国，这往往是一种高度自觉的合谋行为：一些缺乏社会科学基本训练的IT从业者，持续地、商业化地（雷弢，2001）、批量化地生产出各式各样的非随机抽样的网站调查结果，再由一些力图吸引眼球的传媒商人（黄鸣刚，2004）包装为五花八门的耸人听闻的“统计数字”来赚钱。他们还发出豪言壮语：“网络调查必将取代传统的调查方式，这是调查业发展的趋势和方向。”结果，中国公众被两面夹击：在信息荒漠中忍受信息的商业化。

其次，网站调查对于公众的误导，在相当大的程度上应该归罪于社会学家既没有积极抗争“传媒的话语霸权”（丁和根，2000），也没有用日常语言把社会学调查中随机抽样的必要性给公众人们讲清楚。结果，象牙塔中学者的洁身自好在当今中国的消费主义化的情境之中，很有可能蜕变为犬儒主义之举，甚至可能为虎作伥（汪传雷、罗绘俊、陈宏亚，2008）。 

五、网站调查的非科学性

表面上看来，网站调查与总人口调查之间仅仅是在代表性方面出现巨大差异。因此，许多网站调查中的有识之士已经开始努力接近随机抽样，不断地提出各种解决方法，例如“正确界定目标总体”、运用IP地址限制技术、Cookie技术等。一些专业学者也试图进行评估与控制（杜婷、庞东，2004；李军军、李应荣，2005），或者矫正各种抽样误差（黄建，2004；徐浪，2006；杜婷，2006；王东，2007；胡云峰、何有世，2008），或者在统计技术层面上进行弥补（浦国华、高玲芬、惠琦娜，2004），试图解决“网络调查的回复率呈现逐年下降趋势”（邵培基等，2008）。还有一些学者则是提倡规范网站调查的应用范围（郭继志、阎瑞雪、宋棠，2006），或者提倡“网络调查与传统调查相结合”（石磊，2008）。

但是，上述努力都是治标而不是治本。其实，网站调查与总人口调查这两者之间的根本区别（随机抽样的决定性）在于，前者是依赖于被调查者主动地去寻找调查问卷，而后者则是调查者去寻找调查对象。

这是网站调查无法克服的根本缺陷。这又可以分为三个层次步步深入地来看。

首先，任何网站，即使是仅仅针对网民，也不可能具有起码程度的涵盖性，都不可避免地会出现极高比例的无应答误差（这往往被刻意隐瞒了）。因为绝大多数网民根本就看不到发布问卷的该网站，或者看到了而根本不去点击。哪怕是最大的门户网站或者搜索引擎也是如此。

其次，网站调查的抽样框永远无法涵盖人口总体。无论科技与经济如何发展，只要人类还存在着各种差异，那么网民就永远也不可能覆盖任何一个较大规模的人口总体。所谓“随着互联网的发展，网站调查的代表性会日益提高”的说法其实只是以假设来代替前提的谬误。

最后，也是最根本的，对主动应答者无法进行任何抽样。也就是说，只要调查对象是主动地、任意地参加的（这常常被认为是网站调查最重要的优点），那么任何一种抽样（哪怕是非随机的）就不可能实现，任何程度的代表性也就根本无从谈起。况且，“在互联网上你不知道对方是一条狗”，夫复何言？

这一本质区别标识了网站调查方法的非科学性。网站调查的方法论的实质是招募式调查，是守株待兔、愿者上钩。这违背了任何一种问卷调查的最基本的原理。

社会学的问卷调查来源于对于自然科学基本研究方法之一的“受控条件下可重复的试验”的模仿（陈蓉霞，2004）。后者要求“我”（调查者）必须主动地去研究被动存在的“它”（调查对象），才能得到对于“我”的假设的检验。

在社会学调查中，经典的实地调查方法因为是调查者自己需要进行“试验”（实地调查），所以不得不主动地追求“受控条件”（界定总体）与“可重复”（随机抽样），结果客观上也就达到了模仿自然科学的效果，实现了自己的科学性。

可是，网站调查却恰恰相反。因为它一开始就没打算进行“由调查者来操作的试验”（实地调查），而是依赖于应答者自投罗网，所以根本不需要任何主动寻找调查对象的设计与实施，结果也就不需要“受控条件”“可重复”这两大原则。也就是说，招募调查对象的网站调查，绝不是在总体界定与抽样方法方面做得不够，而是根本不需要这些东西。这就是它的非科学（不是反科学）的性质，任何基于科学性的统计技术都无法改善之，因为两者牛头不对马嘴。

进一步说，正是由于招募调查这一实质不可改变，网站调查被认为所拥有的一切优越之处（方便、及时、廉价、时空广泛等），统统都会因其调查结果在代表性上的谬误而变成助纣为虐之举。

更进一步说，经典的实地问卷调查是客观测量的方法，是调查者主动去收集被动存在的数据；而网站调查所使用的招募调查方法则在很大程度上是“主体建构”（潘绥铭、黄盈盈，2007），是应答者们主动创造出调查结果。这两者之间的区别已经超出统计技术与调查方法的操作层次，实际上是方法论层次上的“唯科学主义”与“唯人文主义”的冲突焦点（张学广，2007），甚至需要从认识论层次上来进行分析（秦英君，2007）。本文仅希望强调双方的不同质，不再展开论述。

六、发展建议 

由于“招募调查对象”这一方法论上的本质，网站调查不应该再朝着总体代表性这个无望的方向发展，而是应该朝着三个不同的方向前进。

第一个方向仍然在问卷调查的范畴之内，把网站调查作为实地调查的试调查，用来修订问卷。这样，网站调查的各种优点（方便、及时、廉价、时空广泛等）才能真正变成正向的长处。

第二个发展方向是把网站调查所发现的小概率的社会现实转化为定性的表述。

招募式调查不可能实现代表性，却足以反映社会生活的多样化存在。它所得到的任何数字的意义，并不是某种情况在某种群体中占百分之多少，而是在社会生活中确实存在着这种情况。因此，网站调查应该努力去揭示那些发生概率很小甚至极小的各种现象，这才是其最大优点。

这是因为，一方面，随机抽样的实地调查的最大缺点恰恰是很容易筛选掉这样的小概率情况；另一方面对于任何一种小概率情况来说，最重要的并不是它有多少、占百分之多少，而首先是它究竟有没有、存在不存在。

例如，在网站调查中，有些应答者一生中的性伴侣人数达到了4位数。反之，有些年轻夫妻虽然没有任何相关的障碍，却可以在上一年中连一次性生活都没有。因此，网站调查实施者应该这样来发布自己的调查结果：尽管发生概率很小而且出乎大众的意料，但是这样的人确实存在于中国社会之中。

这样的表述是一种定性的认知，不但应该舍弃任何寻求绝对数与百分比的意图，而且应该在表述中刻意把具体的数字模糊化。

这种定性认知其实非常重要。它可以打破社会中广泛存在的各式各样的刻板印象，促进公众首先在思维方式上实现多元化，从而发挥社会学调查的积极社会作用。

说到底，即使是随机抽样的统计数字与相关分析的结果，最后其实也只有被当作定性认知来使用，人类才能够思考（Lincoln and Guba，1985）。因此在这一点上，网站调查恰恰可以以其对于小概率现象强大的发现能力，在定性认知上开辟捷径。

第三个发展方向是把网站调查彻底转变为定性调查的工具。

定性调查追求的并不是测量社会现象，而是发现与理解人的行为及其结果，所以不寻求代表性，而是追求资料的深度。因此，定性调查不但不排斥而且非常欢迎调查对象的各种主动呈现（黄盈盈等，2008）。这不仅恰恰符合网站调查的性质，而且其所有优点更有用武之地。调查者完全可以运用各种文化感召与技术手段，把网站设置为某一主题的磁铁，去吸纳那些日渐增多而且送货上门的“网上自白”。

尤其是，在实地的定性调查中，合适的调查对象常常是可遇而不可求，或者只能是沙里澄金，而网站调查的招募性质及其相对更容易做到的大应招量，却恰恰可以在更大的程度上解决这一难题。

笔者猜测，恐怕恰恰是由于定性调查的理论与实践在目前中国尚不够普及，众多的网站调查才会舍优择劣地去进行问卷调查。