- 项目简介
福州水务集团有限公司于2020年1月启动智慧水务大数据中心研究和建设,并于2020年6月投入应用。大数据中心包括数据集成采集整合、数据仓库建设、数据资产管理、数据开发与分析模型、数据质量管理、数据运维与安全、数据共享服务等功能。大数据中心解决了业务数据孤岛问题,达到了数据总体管理、各业务系统数据互通的目的,实现了数据标准化治理、可视化分析,为各层管理者提供更为全面的数据感知和决策支持及数据资产全面治理和价值挖掘。 - 主要技术内容
图 总体架构图
(1)创新点
1)基于云计算的大数据中心构建技术。提出了采用云计算支撑保留既有业务系统+新建大数据中心的技术架构,采用了云计算技术对各系统大量数据进行汇聚,实现了大量数据按照标准进行分类入库,实现了各类数据分层计算,并建立了各类数据分析与应用计算模型。
2)基于变更数据获取的大数据实时同步技术。开发了对业务数据库的CDC(变更数据获取) 日志进行实时解析汇聚程序,解决了业务系统数据库之间数据共享实时性差,实现了大数据中心及业务系统数据库之间大数据量表的实时增量同步,解决了历史数据变更等问题,提高了数据实时性。
3)基于Hadoop+API的大数据分析与服务技术。针对Hadoop技术进行二次开发,优化分布式计算程序支持针对水务业务特点的云计算和大数据的分析挖掘;建立API市场融合各业务主题域数据,实现了跨系统、跨部门自动化数据流转,提升了数据精准性。
(2)应用及推广前景
福州水务集团有限公司大数据中心汇聚各类生产运营、营收客服与管理管控型系统,形成水务数据资产,整合有效业务表数量1297张、总行数18.4亿条、分析计算模型563个;建立字段级数据血缘关系网络,建立数据服务市场,形成统一数据共享通道,共注册接口总数551个,累计调用次数1809万次/年,平均日调用3万余次;大数据中心以水务实际需求和可持续发展为出发点,可在大、中、小型水务公司推广应用。
(3)经济、社会效益情况
1)经济效益方面。大数据中心解决了需要保留已建各项业务系统及平台的问题,节省了重新建设系统及平台投资约2500万元。在大数据中心的支撑下,福州水务集团有限公司年节约人工、能耗及维护费用约3100万元。
2)社会效益方面。2022年12345诉求量同比下降21.07%,数字城管诉求量同比下降11.72%,榕水热线968933日工单量同比下降5%,线下营业厅接待人次同比下降23.84%,线下营业厅办件量同比减少23.88%,对外服务能力和质量显著提高。