今日焦点:

当前所在的位置:首页>>调查分析>>分析
利用Python程序对文明城市测评大数据进行全流程自动处理的探索和研究
日期:2022-09-05作者:

全国文明城市是反映城市整体文明水平的综合性荣誉称号,是国内城市综合类评比中的最高荣誉,也是最具有价值的城市品牌。创建全国文明城市,是协调推进全面建设社会主义现代化国家的重要载体,是统筹推进城市经济、政治、文化、社会、生态文明全面发展的系统工程。通过创建全国文明城市,可以更好地改善城市环境,打造城市形象,提升城市的综合竞争力,可以不断提高城市文明程度和市民文明素质,激发全市人民形成和保持争先向上的精神状态,这是一项顺民意、得民心的利民工程,是构建和谐社会的重要推动力。

一、研究背景

每年全国各地有上百个城市参与文明城市测评,台州市自申报创建文明城市以来,认真落实文明城市创建的各项任务,全力做好迎评复检的各项工作。国家统计局台州调查队承接了台州市文明城市测评的自检自查工作,为切实有效地推进文明测评工作,台州队从方案制定、计划安排、实地测评、数据汇总、报告撰写等一系列的环节,投入了大量的人力物力。但是文明城市测评存在点位多、照片多、汇总数据多这“三多”问题,如果按照传统的手工录入汇总,需要耗费大量的人力物力和时间,如何高效地推进文明城市测评工作成了台州队需要研究的一项重要课题,在探索过程中,我们逐渐找到一条适合的台州市测评工作的方法,利用Python程序对文明城市测评大数据进行全流程自动处理。

二、需求分析

台州市文明城市测评工作按照全国文明城市测评要求对椒江、黄岩、路桥三区共37个乡镇(街道)进行测评,每次测评都有近700个点位,需在2到3天内完成测评工作,任务非常繁重。特别是数据处理环节,调查员需完成取证拍照、照片分类、照片命名、打分、数据录入、审核、汇总、统计、生成报表等一些列工作,调查员只能人工完成,逐项操作,耗时长,工作量大,任务繁重。通过前几年的工作积累,我们发现很多工作可以通过计算机编制程序来自动处理数据,用以减轻调查员和统计员的工作任务,提高工作效率。

首先,我们从照片的命名、打分着手,通过计算机程序自动进行;其次,数据录入可以通过计算机程序对照片信息进行分类统计进行计分,并录入;第三,数据汇总、统计可以通过计算公式来实现;第四,报表可以根据固定格式从数据汇总中调用相关的数据。

确定目标任务后,我们选择目前最流行的、在大数据处理分析方面具有无可比拟的Python语言作为程序的开发工具。

三、程序实现过程研究

经过研究,我们决定将程序分成两个部分来实现,即生成录入表、生成数据报表两个部分。

首先,在使用程序前必须设置卡片信息表(如表 1)。其中数据类型中“1”表示城市/主街道,“2”表示乡镇/其他街道;卡片编号根据测评表序号和测评项目来编制;测评点位即卡片标题中测评对象的类型;测评内容即测评项目,与卡片编号中的子编号对应;赋值指该测评项目的分值;部门是指该点位相应测评项目的责任单位;是否需要写清街道是指测评点位的负责街道。

1  卡片信息表

数据类型

卡片编号

测评点位

测评内容

赋值

部门

是否需要写清街道

1

3-1

背街小巷

一、查市容市貌

20

-

需要

1

3-2

背街小巷

二、查基础设施

5

-

需要

1

3-3

背街小巷

三、查公共厕所

5

-

需要

......

2

43-1

背街小巷

一、查环境秩序

10

 

 

2

43-2

背街小巷

二、查基础设施

5

 

 

......

(一)生成录入表

在拍照取证后,调查员需要根据要求将照片分类,一级目录为区级或街道;二级目录为卡片编号-具体点位名称;三级目录为测评表中的测评项目;四级目录为扣分理由、数量(处数)及扣分值。

 

照片放置在四级目录中,照片审核后,执行“生成录入表”Python程序后,照片会根据扣分理由自动命名并编号。同时生成录入数据表,格式如表2所示。

 

 

2  生成数据表

卡片编号

测评点位

测评内容

赋值

部门

是否需要写清街道

街道

测评

地点

扣分原因

得分

25-1

小旅馆、小浴室

一、查内外环境

5

市卫健委

-

**区

-

**宾馆

5

25-2

小旅馆、小浴室

二、查规范管理

5

市卫健委

-

**区

-

**宾馆

无纱窗

4

25-3

小旅馆、小浴室

三、查工具消毒

5

市卫健委

-

**区

-

**宾馆

5

29-1

网吧

一、查内外环境

5

市文广旅体局

-

**区

-

**网咖

乱扔垃圾1处;无文明如厕

3.5

29-2

网吧

二、查规范管理

5

市文广旅体局

-

**区

-

**网咖

吸烟现象

3

29-3

网吧

三、查消防设施

5

市文广旅体局

-

**区

-

**网咖

5

卡片编号与卡片信息及二级目录相关联;测评内容与卡片信息及三级目录相关联;是否需要写清街道列“-”表示不需要,则街道列显示相关街道,此两项与卡片信息表及一级目录相关;区与一级目录相关;测评点即具体点位名称;扣分原因与四级目录相关;得分根据扣分情况来统计。

(二)生成数据报表

调查员生成录入数据后将数据表交组长,按其他街道、其他乡镇、区点位(主街道)分类汇总。再交给项目负责人,执行“生产数据报表”Python程序后,生成各类数据报表。

 

生成“运行结果”文件夹和文件“文明城市单位排名.xlsx”(表3)、“文明城市点位详情.xlsx”、“文明城市统计结果.docx”(表4)、“文明城市问题汇总.xlsx”(表5)

表3主要统计各主管部门所对应的负责单位的得分情况,按照得分率进行排名。按照主管部门抓落实,对存在问题更好地明确相关部门责任。

3  文明城市单位排名报表

排名

市级部门

主要职责

样本量

分项得分

总得分

得分率

1

**局(15分)

城市规划馆

1

15.00

15.00

100.00%

1

**局(15分)

科技馆

1

15.00

15.00

100.00%

1

**大学(30分)

大中小学校、幼儿园

1

30.00

30.00

100.00%

1

**书店(15分)

实体书店

2

15.00

15.00

100.00%

5

****中心(30分)

政务大厅

4

29.88

29.88

99.58%

......

 

4  文明城市点位统计报表

点位类型

点位名称

分值

样本量

主街道

背街小巷

30

4

城乡接合部

20

2

新时代文明实践站

15

2

新时代文明实践所

15

1

新建小区

50

4

老旧小区

50

4

城中村

50

4

城市社区

20

2

农贸市场

50

2

......

 

5  文明城市点位详情报表

街道

主次干道、

商业大街

专业市场

建筑工地

大中小学校、幼儿园

台州湾新区

市区

1.经中路

1.德逸.车之星二手车交易市场

1.海伦堡玖悦府

1.台州经济开发区蓝天学校

市本级

市区

 

 

 

1.台州学院
2.台州广播电视大学
3.台州科技职业学院
4.台州职业技术学院

椒江区

市区

1.机场北路
2.江滨路(椒江区解放路至轮渡路)
3.解放南路(椒江区云西路至中山西路)

1.小商品市场

1.台州中央商务区刚泰国际中心北侧06-01地块地下空间、06-02地块房地产开发项目(和合公园西南侧)
2.台州中央商务区天盛中心南侧A、B地块及C地块地下空间EPC工程(和合公园西北侧)

1.椒江区第二中学
2.白云小学

路桥区

市区

1.西路桥大道(路桥区商海街至南官大道)
2.银安街
3.银座南街

1.路桥小商品市场

1.绿情一品
2.铂璟府

1.路北街道中心小学
2.路桥区第二中学

黄岩区

市区

1.天长南路
2.横街东路
3.西街

1.果品市场

1.天长南路安置A地块
2.梁融置业有限公司

1.黄岩区东城街道中心小学
2.黄岩区城关中学

表6统计各区级单位的得分率情况及排名,可以进行横向比较各区之间的得分情况。

6  分区文明城市统计结果报表

排名

区点位
(400分)

主街道
(300分)

其他街道
(200分)

乡镇
(100分)

合计
(1000分)

1

黄岩区

95.47%

92.38%

87.48%

91.76%

925.74

2

路桥区

88.80%

89.05%

88.96%

92.91%

893.18

3

椒江区

93.13%

83.99%

80.41%

92.07%

877.34

表7统计出各主要街道、其他街道以及乡镇的得分情况排名。

 

7  分街道(乡镇)文明城市统计结果报表

排名

街道

得分率

背街小巷

城乡接合部

新时代文明实践站

新时代文明实践所

新建小区

老旧小区

城中村

城市社区

农贸市场

1

黄岩区西城街道

93.86%

29.1

15.2

15.0

14.0

46.0

47.8

45.2

20.0

50.0

2

黄岩区东城街道

90.90%

27.9

13.2

15.0

14.0

40.6

47.1

47.5

19.8

48.2

3

路桥区路桥街道

89.89%

26.4

18.0

15.0

15.0

43.8

45.8

42.2

18.0

50.0

4

路桥区路南街道

88.99%

26.8

11.2

15.0

15.0

43.6

41.2

47.6

20.0

48.2

5

路桥区路北街道

88.25%

22.1

18.5

15.0

15.0

42.2

43.9

45.8

20.0

48.0

......

表8主要统计各点位存在的具体问题。

8  文明城市问题汇总报表

街道

测评项目

序号

测评点位

主要问题

市区

大中小学校、幼儿园

1

台州学院

大中小学校、幼儿园

2

台州广播电视大学

3

台州科技职业学院

4

台州职业技术学院

健康教育栏未及时更新;垃圾未正确投放;垃圾桶污损1个;存在吸烟现象;未公示从业人员健康证4例

政务大厅(行政服务中心)

1

台州市政府行政服务中心(开发大道692号)

银行

1

农业银行台州分行营业部(椒江区市府大道529号)

城市规划馆

1

市城市规划馆

图书、文化、博物馆

1

市博物馆

2

市图书馆

3

市文化馆

科技馆

1

市科技馆

机关、企事业单位

1

中国建设银行台州分行

乱扔垃圾1处;存在吸烟现象;未设置毒鼠屋;罐缸瓶未倒置1例;无文明用餐劝导员;未推出半份菜、小份菜

2

台州市环保局

无公筷公勺公益广告2处;机动车未按停车标识方向规范停车1辆;无文明用餐劝导员

......

四、Python程序实现技术研究

我们在利用Python程序处理文明城市测评数据的过程中,主要用到了Python对磁盘文件的读写、重命名、Excel文件、Word文件的读写以及对文明城市测评数据处理的环节等方面。

(一)检测卡片信息文件

检测当前文件夹下是否存在“卡片信息.xls”文件,该文件作为点位测评分的数据文件。

(二)读取卡片信息

读取当前文件夹中的“卡片信息”,遍历表中的行列,得到数据字典。

(三)遍历各文件夹中的测评数据,并生成数据汇总表

 

遍历所有子目录,计算所有扣分项,并记录数据。根据拆解文件夹名称来汇总、统计数据,如遇到文件夹名称异常,则提示相关文件夹错误信息。

(四)将数据生产汇总表

将第三步汇总出来的数据保存到Excel文件中。 

(五)设置表格样式

 

美化设置汇总文件的格式,重新设置行高、列宽、对齐方式、背景颜色等。

(六)读取汇总数据

读取汇总文件中的数据,并保存在infos中,为后期各种统计表的生产做好准备。

 

(七)按点位统计信息

按照点位统计扣分情况,并保存信息。

(八)生产各类报表

 

五、结束语

通过Python程序的应用,解决了在文明城市测评中调查人员照片重命名和数据录入的问题,解决了数据的汇总统计及报表生成的问题,初步实现了对文明城市测评大数据进行自动整理与汇总,有效地提高了文明城市测评中数据录入和数据报表生成的工作,避免了人工统计过程中的疏忽和遗漏,提高了数据的准确度。接下来,我队还将在测评数据采集、照片智能分类、自动化汇总等环节做进一步的研究。由于水平有限,难免存在一些不足之处,敬请指正。

 

  国家统计局台州调查队 地址:台州市行政中心2号楼5楼
网站标识码:bm36000046 浙公网安备 33010602000687号
浙ICP备17023767号-6 网站主办单位: 国家统计局浙江调查总队
邮编:318000 联系电话:0576-88512218