学习指南 →

· Albion Gateway College

大学数据分析专业课:把数据清理写成可复现流程

用原创小样本练习缺失值、重复记录和分析日志,保留原始数据,让研究方法与数据分析过程可检查。

保留原始文件,先写数据字典

大学数据清理流程辅导从记录字段含义开始:观察单位是什么、每列单位是什么、哪些取值代表缺失、一个人是否允许有多行。不要打开表格就直接覆盖原文件。

UK Data Service 的可复现研究材料强调记录数据、工具、决定和结果。下面是原创教学流程建议,不代替本专业的数据管理、伦理或访问要求;真实受限数据只能按授权使用。

原创练习:四行记录,不急着删

设虚构练习含四行:(A,10)、(B,空白)、(B,12)、(C,999),第二列是每周学习小时。数据字典指定 999 为“未回答”,空白也为缺失;学习小时不能直接把 999 当作真实数值。

先保留原列,再生成清理列,将空白和 999 标为缺失。对于 B 的两行,需要核对观察单位和记录时间:可能是重复导入,也可能是两次不同测量。没有证据时先标记,不武断删除。

每个决定都给出可检查的理由

研究数据缺失值处理练习中,若暂按“每行一条记录”统计,已观察数值为 10 和 12,均值为 11,有效分母为 2。把两项缺失当作零,会得到 5.5,但那是另一种有实质假设的处理,不能悄悄替换。

若后来有证据证明 B 的空白行是重复导入,记录删除依据和删除前后行数。缺失机制与分析目的会影响合适方法;这个小练习不能证明某种插补或删行方法普遍适用。

从原始输入重跑,而非手动补结果

可复现分析日志准备至少记录:原始文件版本、清理规则、执行顺序、各步行数、输出位置和软件环境。用脚本或可追踪步骤从只读原件生成派生文件,输出不要混入原始目录。

自测:关闭当前结果后,能否从原始四行重新生成相同缺失标记、有效样本数与均值?再解释为什么删除 B 前需要证据。讨论时用虚构或获准分享的数据,分析决定和评估提交由自己负责。

参考资料

下一步

说明专业课程模块、学习目标和已经尝试的步骤,以便讨论适合的学术支持。

继续阅读

学院在线咨询

欢迎咨询

你好,欢迎咨询!你是学生、招生代理、求职者,还是想申请成为导师?请告诉我你的咨询方向。

[email protected]