问卷需要检查信度和效度。信度检查问卷的稳定性。效度检查问卷的准确性。不做这些检查会产生问题。研究结果可能不可靠。结论可能没有用处。
很多人设计问卷。他们直接发放问卷。他们收集数据。他们分析数据。他们写下结论。他们忽略信度检验。他们忽略效度检验。这是错误的行为。问卷测量人的想法。人的想法有时会变化。今天这样想。明天可能那样想。问卷需要稳定。信度就是稳定性的指标。信度高表示结果一致。信度低表示结果混乱。结果混乱就不能使用。
效度问题更重要。问卷必须测量正确的东西。你想测量学习态度。你的问题却关于学习时间。学习时间不等于学习态度。这就是效度不好。问卷无效等于白做工作。你花费很多时间。你花费很多精力。你得到错误答案。错误答案导致错误决定。错误决定带来实际损失。
现实中有很多例子。学校想做教学改革。领导发放教师问卷。问卷问题设计模糊。问题意思不明确。教师理解有偏差。有的教师理解为教学进度。有的教师理解为课堂纪律。答案五花八门。数据没有价值。学校根据数据做决定。决定可能不符合真实情况。改革可能失败。资源可能浪费。
公司想做市场调查。公司设计产品问卷。问卷没有测试效度。问题不能反映客户需求。客户喜欢产品外观。问卷却问产品价格。客户重视产品质量。问卷却问包装颜色。收集的数据是片面的。公司根据数据生产产品。产品可能不受欢迎。公司可能损失金钱。竞争对手可能抓住机会。
不做信度效度检验的原因很多。研究者不懂研究方法。他们没有学习过相关知识。他们认为问卷很简单。他们随便写几个问题。他们觉得问题看起来合理。他们相信自己的判断。实际上个人判断常常出错。科学工具可以减少错误。信度效度就是科学工具。
有些人知道检验重要。他们没有时间。检验需要额外步骤。设计问卷后要测试。测试需要找一批人。这批人不是正式样本。测试后要分析数据。分析后要修改问题。修改后可能再次测试。这个过程需要时间。很多研究者急着要结果。他们跳过测试步骤。他们直接开始正式调查。这是冒险的做法。
有些人没有资源。测试需要人力物力。小规模研究没有资金。学生做论文没有经费。他们只能自己找人测试。找到的人可能不合适。测试效果可能不好。他们干脆不做测试。他们希望正式调查顺利。这种希望常常落空。
有些研究领域不规范。这些领域不重视定量研究。大家习惯使用定性方法。问卷调查是新鲜事物。研究者模仿别人的问卷。他们直接拿来使用。他们不考虑文化差异。不考虑时代变化。旧问卷可能不适合新情况。直接使用风险很大。
信度检验有具体方法。常用的是克隆巴赫阿尔法系数。这个方法测量内部一致性。问卷有很多题目。这些题目应该指向同一个东西。如果都测量满意度。那么题目之间应该相关。系数高于零点七可以接受。系数低于零点六不好。需要删除或修改题目。还有其他方法。重测信度是两次测量结果比较。复本信度是相似版本结果比较。评分者信度是不同人评分比较。研究者可以选择合适方法。
效度检验更复杂。内容效度看题目是否全面。专家可以帮忙判断。结构效度看题目之间的关系。因子分析是常用方法。聚合效度看相同特征的测量是否一致。区分效度看不同特征的测量是否分开。效标效度看问卷结果和外部标准的关系。这些检验需要统计知识。研究者需要学习。
不做检验的后果很严重。学术论文可能被拒绝。评审专家重视方法正确。缺乏信度效度报告是明显缺陷。论文价值受到质疑。研究贡献大打折扣。
实际应用可能出错。政府根据调查制定政策。问卷质量差导致政策偏差。政策影响千千万万人。错误政策危害社会公平。企业根据调查制定战略。错误数据导致战略失败。企业可能倒闭。工人可能失业。
医疗领域也有问卷。健康调查测量病人感受。治疗效果问卷测量康复情况。如果问卷没有效度。医生可能误判病情。治疗可能没有效果。病人可能耽误治疗。健康是重要的事情。不能依靠粗糙的工具。
教育领域同样如此。学生评价教师教学。问卷设计影响评价结果。无效问卷不能反映教学水平。好教师可能得到低分。差教师可能得到高分。这对教师不公平。这对学生不负责。
如何改善这种情况。研究者要学习基本知识。研究方法是一门课程。学生应该认真学习。学校应该加强训练。导师应该严格把关。学术期刊应该设置标准。没有信度效度报告的文章不能发表。资金机构应该提出要求。申请课题必须说明检验计划。
实际操作中有简便做法。小研究可以使用简单方法。参考成熟的问卷。修改要谨慎。进行小范围预测试。找几个同行提意见。这些都能提高质量。完全不做检验是不可接受的。
问卷是一种测量工具。工具必须精确。木匠需要好锯子。裁缝需要好尺子。研究者需要好问卷。好问卷需要检验。检验保证工具可靠。可靠工具产生可靠数据。可靠数据支持可靠结论。可靠结论服务社会进步。
每一个研究者都有责任。认真设计问卷。认真检验问卷。这是对科学负责。这是对研究对象负责。这是对社会负责。信度效度不是抽象概念。它们关系到真实世界的决定。正确决定带来美好生活。错误决定带来麻烦问题。我们都要记住这一点。