保留原始文件,先写数据字典
大学数据清理流程辅导从记录字段含义开始:观察单位是什么、每列单位是什么、哪些取值代表缺失、一个人是否允许有多行。不要打开表格就直接覆盖原文件。
UK Data Service 的可复现研究材料强调记录数据、工具、决定和结果。下面是原创教学流程建议,不代替本专业的数据管理、伦理或访问要求;真实受限数据只能按授权使用。
原创练习:四行记录,不急着删
设虚构练习含四行:(A,10)、(B,空白)、(B,12)、(C,999),第二列是每周学习小时。数据字典指定 999 为“未回答”,空白也为缺失;学习小时不能直接把 999 当作真实数值。
先保留原列,再生成清理列,将空白和 999 标为缺失。对于 B 的两行,需要核对观察单位和记录时间:可能是重复导入,也可能是两次不同测量。没有证据时先标记,不武断删除。
每个决定都给出可检查的理由
研究数据缺失值处理练习中,若暂按“每行一条记录”统计,已观察数值为 10 和 12,均值为 11,有效分母为 2。把两项缺失当作零,会得到 5.5,但那是另一种有实质假设的处理,不能悄悄替换。
若后来有证据证明 B 的空白行是重复导入,记录删除依据和删除前后行数。缺失机制与分析目的会影响合适方法;这个小练习不能证明某种插补或删行方法普遍适用。
从原始输入重跑,而非手动补结果
可复现分析日志准备至少记录:原始文件版本、清理规则、执行顺序、各步行数、输出位置和软件环境。用脚本或可追踪步骤从只读原件生成派生文件,输出不要混入原始目录。
自测:关闭当前结果后,能否从原始四行重新生成相同缺失标记、有效样本数与均值?再解释为什么删除 B 前需要证据。讨论时用虚构或获准分享的数据,分析决定和评估提交由自己负责。
参考资料
下一步
说明专业课程模块、学习目标和已经尝试的步骤,以便讨论适合的学术支持。
