mayi  (2006-11-22):

What are the threats to the external validity of experiment research. and what are the threats to the internal validty of survey research?

庄主答 (2006-11-23):

简单而言，影响实验研究的外在效度 (external validity) 主要有样本 (往往是便利样本而无法推及总体) 和环境 (人为制造而往往强化了实验效果) 两类。我相信这两点容易理解、所以不多赘言。

影响调查研究的内在效度 (internal validity)，可以用Stanley and Campbell 及其他人有关影响实验研究内在效度的下述因素为参照（详细可查看http://psych.athabascau.ca/html/Validity/concept.shtml）：

1、自我选择（Selection，在单次调查中更容易存在）；
2、历史（History，在重复实验或调查中均存在）；
3、成熟（Maturation，同2）
4、重复测试（Repeated Testing，固定样本调查有此问题）
5、测试工具影响（Instrumentation，调查问卷自然有其问题）
6、回归趋中（Regression to the Mean，调查同样存在、追踪调查尤其如此）
7、实验对象流失（Experimental Mortality、同样适用于固定样本）
8、自我选择和成熟的交互影响（Selection-Maturation Interaction、见1和4）
9、实验偏差（Experimenter Bias，在调查中也有调查环境的问题）

上述影响中，大部分与追踪调查或固定样本调查（前者可以用非固定样本）有关；而与最常见的单次调查有关的是自我选择，即调查对象往往将自己的预存行为和观念（统称 predispositions) 带入他们对调查问题的回答，这是自然的，问题在于调查者无法测量各种预存行为和观念之间的先后次序，从而无法确定它们之间的因果关系。如看电视与文化观念之间，是因为看了西方电视节目然后有了现代化观念、还是因为崇尚现代化观念而看西方电视节目？再如网瘾与社会冷漠之间，是因为上网太多而减弱了人际交往、还是因为缺乏人际交往（的能力或机会）而泡在网上？传播研究中最常见的困惑往往就在于此。 

当然，上述讨论也给了我们指出了希望和方向：调查与实验的结合，可以互补互助。在程序上，可以先做实验以确定一对关系的内在效度，然后通过调查来验证其外在效度；也可以倒过来，用实验来验证自己或前人已经做过的调查发现。也就是说，我们并不一定要同时做调查和实验，可以在别人的调查基础上做实验或者实验基础上做调查。Iyengar and Kinder (1988) 用实验方法做议程设置研究，开创了议程设置研究的一个新范式，其实验结果则给议程设置研究中的”鸡与蛋“悬案（即“先有媒体议程还是先有公众议程”）作了最后的定论。

控制实验 (control experiment) 与现场实验 (field experiment) 的结合使用，也是提高实验外在效度的一种有效方法，这里主要解决的是控制实验的环境问题；是否能否解决样本的代表性问题则要看现场实验的抽样方法。我做过的美国总统电视辩论实验 (Zhu, Milavsky & Biswas, 1994) 是控制实验和现场实验的结合，可惜我们用的实验对象是非随机抽取的大学生，所以只解决了环境问题。

固定样本调查是解决自我选择问题的良方，但是其容易受到其它几种影响。所以需要在做最后一次固定样本调查的同时，再另抽一个独立样本。其意义与调查与实验的结合相似。我们2000-02年在北京和广州研究互联网使用时，就是采用这种设计，对同一固定样本做了三次面访调查，然后又另做了一个电话随机样本。我们2000-2005年在香港的互联网使用调查，也是每年调查一个固定样本和一个新的独立样本。当然，这个研究经费比较充足，才能实现这一比较理想的设计。