从目标总体走到最终回复者,中间有几道筛选?
评价问卷结果,不能只问收到了多少份。先界定想描述谁,再看哪些人进入可抽取的名单、哪些人被抽中、哪些人实际回复。目标总体、抽样框、抽中样本和回复样本是四个不同集合;每一步都可能改变最终数据包含的群体。
例如想了解学习中心全部成年注册学员,却只在到校学员群里发链接,纯远程学员可能根本没有参加机会,这是覆盖不足。如果使用完整名册抽中了远程学员,但他们没有回复,则是无回应。加拿大统计局的调查质量资料把抽样框覆盖和回复情况分别检查,不能用同一个“样本小”概括。
原创场景:抽样比例相同,回复比例不同
设一个虚构学习中心有 1,000 名成年注册学员,其中到校学习者 600 人、纯远程学习者 400 人。研究问题是支持延长资料室开放时间的比例。现有完整名册,在两组内分别简单随机抽取 120 人和 80 人,因此每人的入样概率均为 0.2。
到校组有 96 人回复,其中 72 人支持;远程组有 16 人回复,其中 4 人支持。所有邀请均送达、对象均符合资格,且每位回复者都回答了这道题。因此这里的组内回复比例分别为 96/120=80% 与 16/80=20%,不涉及资格不明等更复杂的回复率定义。
- 到校组:总体 600,抽中 120,回复 96,支持 72
- 远程组:总体 400,抽中 80,回复 16,支持 4
- 总计:总体 1,000,抽中 200,回复 112,支持 76
直接合并回复者,会让谁的声音更大?
直接计算支持率得到 (72+4)/(96+16)=76/112,约 67.86%。这个数准确描述收到的回复,但远程学员在回复者中仅占 16/112,约 14.29%,而其总体占比是 40%。只要两组的支持倾向不同,这种组成偏移就可能影响总体估计。
两组回复者内部的支持率分别为 72/96=75% 与 4/16=25%。如果把两组都看成同一类回复者而不作调整,回复积极的到校组就获得更大的实际权重。需要注意,较低回复率只是偏差风险的信号;只有结合未回复者与回复者在研究变量上的差异,才能判断偏差方向和大小。
先算设计权重,再做组内无回应调整
设计权重是入样概率的倒数,本例每个抽中对象原本代表 1/0.2=5 人。若假设同组回复者能够代表该组未回复者,到校组的无回应调整因子为 120/96=1.25,最终权重为 5×1.25=6.25;远程组调整因子为 80/16=5,最终权重为 25。
加权支持人数估计为 72×6.25+4×25=550;加权总人数为 96×6.25+16×25=1,000;支持率估计为 55%。也可用总体组别占比复核:0.6×0.75+0.4×0.25=0.55。两种写法一致,但 550 是加权估计,不是已经实际询问并确认支持的 550 个人。
加权修复了可见组成,没有自动发现未知态度
关键假设藏在“同组能够代表”里。若远程学员中支持延长开放的人更不愿回复,即使加权后远程组占比恢复为 40%,该组支持率 25% 仍可能偏低。加拿大统计局的加权方法说明要求对这种组内可比性作判断;权重不能从缺失的答案里创造信息。
如果抽样框完全漏掉某一群体,且没有相关观测,单纯给现有回复者乘权重更不能保证恢复该群体的真实意见。已知总体人数只提供组别规模,不提供组内支持比例。某个加权单元无人回复时,直接除以回复数也无法计算,需要额外资料、模型或重新收集数据。
诊断练习:补充未回复者答案后会发生什么?
仅为检验假设,假设后来成功补齐原抽中样本的答案:到校组未回复的 24 人中有 18 人支持,远程组未回复的 64 人中有 32 人支持。现在原来 200 人的完整样本支持率是多少?先分别补回人数,再合并;不要继续使用之前仅适用于回复者的调整权重。
解析:到校组支持数为 72+18=90,远程组为 4+32=36,合计 126/200=63%。由于原抽样概率相同,完整样本的未加权比例也就是设计加权比例。它比原先的 55% 高 8 个百分点,说明先前的远程组代表性假设在此设定下失效;63% 仍是样本估计,不是已知总体真值。
更多回复和更窄误差条,都不是全部质量保证
如果扩大调查时重复同样的覆盖缺口和回复机制,样本变大可以减小部分随机波动,却不保证消除系统性偏差。常见的抽样误差区间通常没有自动纳入所有覆盖、无回应和测量误差,不能用一条很窄的区间证明调查准确。
权重差异也会影响估计方差;本例远程回复者每人权重为 25,不能把加权总数 1,000 当成 1,000 个独立回复去套简单比例标准误。真实推断应使用能处理分层、权重及其他设计特征的方法,并说明方差估计采用了哪些假设。
提交调查报告前,留下能被检查的方法记录
至少说明目标总体与调查时间、抽样框来源及覆盖范围、入样方法、各组邀请与回复数、题目原文和权重构造。将“112 位回复者的支持率”与“经调整的总体支持率估计”分开命名,可以避免读者把两个回答不同问题的数字当成互相冲突。
设计阶段可先检查名册是否完整,测试问卷是否易懂,并采用合适的联系时段与方式。分析阶段比较回复者与名册中已知的特征,讨论哪些重要差异仍不可观察。透明呈现这些限制,比写一句“样本足够大,因此具有代表性”更有统计依据。
参考资料
下一步
准备调查方法课程讨论时,可以整理目标总体、抽样步骤和回复情况,再咨询是否有匹配的学术支持。导师能否提供该模块辅导及具体可用时段,须逐一确认。
