今日焦点:

当前所在的位置:首页>>调查工作>>它山之石
冯忠良:浅谈统计调查问卷中数据缺失值的处理
日期:2021-04-02作者:
 

    在统计调查工作中经常会遇到调查数据缺失的情况,数据缺失很可能会影响调查的结果。因此在实际调查中,一方面我们要尽可能的避免出现数据缺失的情况,另一方面当数据缺失情况发生时采取有效的缺失值处理方法进行数据处理。本文以湖州市万名群众评议机关调查为例,利用EXCELEpiData中自带的数据处理功能,进行缺失值数据处理,以进一步提高统计调查问卷数据质量。 

    一、数据来源及数据处理 

    (一)数据来源。万名群众评议机关调查数据来源于网上直报系统和通过EpiData软件导入的各层级纸质问卷的数据,导出数据格式分别为csvxls 

    (二)数据处理。将两份数据表格进行数据汇总,得到原始的调查问卷数据,通过终表进行统一的数据处理。 

    二、缺失值寻找和处理 

    (一)避免缺失值方法。 

    在万名群众评议机关调查中,产生缺失值主要是调查数据为空、多选无效的情况和人为录入错误。可以在EpiData录入程序编写时,通过CHECK功能设置允许值为0-5,不允许空填项和异常数据的出现。针对空填项和多选无效项,录入人员将该项赋值为0。在时间和条件满足的情况下,也可进行双录校验,可以避免人为数据录入错误,确保数据的准确性。 

    (二)缺失值寻找方法。 

  如在网上直报数据有缺失值或录入过程中未设置CHECK功能导致缺失值出现,那就需要寻找并处理缺失值。寻找缺失值的方法很多,处理缺失值的软件也很多,各有优缺点。在EXCEL中最常用是筛选法和定位空值法。数据量较少的情况下,采用筛选法能快速有效的查找到缺失值,而在数据量较大的情况下,一般采用定位空值法来寻找缺失值。通过开始——查找——定位里选择空值,可以筛选出所有空值,筛选出空值后可以对空值进行处理或者填充颜色来凸显。 

    (三)缺失值处理方法。 

   缺失值处理的方法有很多,例如直接删除、均值插补、回归插补等。在万名群众评议机关调查中,部分评分的缺失值如果直接删除,在运用COUNTIF函数进行数量核对时会发现样本量与实际数量不相符,所以不能直接删除。调查中1-5分别表示满意到不满意的程度,这里一般采用将缺失值赋值为0,默认这部分缺失值评价无效,方便后续统计各层级无效得票数量。采用定位空值法定位好空值后直接在其中一个筛选出来的单元格内输入0,此时先不要急着按Enter键,可以通过“Ctrl+Enter”来实现批量缺失值处理。根据原始数据表分别计算0-5评价数量公式为:=COUNTIFS(区域1,条件1,区域2,条件2),这样采用COUNTIFS函数汇总得到的从0-5评价的原始得票数与实际数量相等。在计算得分时,运用公式:=SUM(分值总数!E4:E8/SUM(原始得票数!D4:D8),将分值总数除以评价为1-5的有效得票总数,分别获得1-5评价的得分,有效的避免了空缺值对调查结果产生影响。 

    (四)异常值判断和处理。 

  调查过程中,调查问卷数值型变量太异常可以判断为异常值,例如一个受访者的调查问卷填写数据全部为不满意,这显然是不正常的。在EXCEL中,通过开始——条件格式——突出显示单元格规则,设置条件将异常值显示出来,这里一般采用判断值的大小来显示异常值。根据调查实际情况,对调查原始结果进行异常值的剔除,剔除异常值后得到最终的调查结果,并运用RANK函数进行最终结果的排名。 

    三、结论和建议 

    (一)Excel处理缺失值问题不如专门的统计软件。 

    在处理调查数据时,Excel对于公式运用的熟练度要求高,需要运用公式嵌套运算来实现数据处理,功能方面也没有SPSS等专门的统计软件直观。 

    (二)大量的函数嵌套导致运行速度慢。 

    除了熟练掌握统计调查中经常用到的countif()、sumproduct()、vlookup()等函数,理解数据与公式之间、公式内参数之间的关系,还需学习运用VBA进行程序编写,函数不是万能的,大量的嵌套会导致运行卡顿,VBA的可设计性可简化很多难题。 

    (三)合理运用统计软件提高数据处理质量和效率。 

   在统计调查过程中,数据量大,处理时间紧张。熟练掌握各种专门统计软件,学会融会贯通,合理的运用统计软件,能提高数据处理的效率和质量,降低数据分析的出错率。 

(作者单位:国家统计局湖州调查队) 

  国家统计局台州调查队 地址:台州市行政中心2号楼5楼
网站标识码:bm36000046 浙公网安备 33010602000687号
浙ICP备17023767号-6 网站主办单位: 国家统计局浙江调查总队
邮编:318000 联系电话:0576-88512218