爱情公寓316集2019年以来,深水集团、杭州水务集团、重庆水务集团、苏州水务集团、郑州供水等众多大、中型水务企业相继启动了数据治理和大数据中心建设项目,水务行业如此密集地开展数据治理和数据中心建设,智慧水务的建设重心逐步发展变化:由建设营收、GIS、SCADA等MIS系统为主的业务数据化,逐步转变至以数据治理和大数据为主的数据业务化;由偏向于数据的生产转为更注重数据资源的管理和数据资产化,水务行业数字化转型迎来新的发展阶段。
在杭州水务集团、郑州供水、苏州水务集团、江苏中法水务等多家水务企业的数据治理及大数据中心建设工作中,数据仓库建模方法论是一致的,但由于水务行业特性、业务场景的不同,在不同的水务企业,基于大数据的数据仓库建设无法按照统一的项目流程、开发模式进行,更多的是需要根据具体的业务场景结合新的技术体系进行灵活调整,以满足水务企业的实际情况和具体需求。
在实际数据仓库建设中,考虑到底层建设的工作量大,过程时间长,内容比较抽象、不易理解等特点,我们先对水务企业现有的数据资源进行盘点和评估,科普大数据中心建设知识,梳理各条业务线的大数据应用场景,确定数据入仓的范围,挑选各部门需求程度最高的大数据应用场景进行优先建设,一方面能快速看到数据仓库建设成果,另一方面也可以及时发现和调整建设过程中出现的问题,总结经验,为其他大数据应用场景建设打下基础,提高数据仓库建设效率,降低成本。
在数据仓库建设过程中,各水务企业数据仓库建设流程也会有所区别,但主要流程和重点环节基本一致,主要流程和重点环节介绍如下:
根据前期的需求调研,确定本次入仓的信息化系统,并向系统维护人员收集系统操作手册、数据字典等文档以及系统数据库相关信息。通过数据采集工具对各系统数据库的表和字段进行采集,结合各系统文档,确定数据库中所有表和字段的中文含义及字段的数据类型,形成元数据清单。
以营销管理系统数据入仓为例,需要明确哪张表是客户表,哪张是收费表,以及表中每个字段的中文含义。有些系统文档由于没有及时更新,与现有系统数据有不一致情况,则需要信息管理部门与系统开发厂家支持,获取比较准确的元数据清单。
针对元数据清单进行进一步的数据筛选,去除临时表和空表等无用表,确定核心数据表和维度表,提供给信息管理部门进行确认,形成最终入仓的数据表清单。
经过第一步元数据采集,形成元数据清单的过程,可以比较容易的识别出临时表和空表,重点放在空表是否确实为无用表上即可。
三、数据入仓:根据各数据表实际情况,制定出入仓方案,通过专用ETL工具将数据抽取至镜像数据仓库
根据待入仓的数据表清单,以及每张表的实际情况,制定出源数据和镜像数据仓库表之间的字段的映射关系,确定出每张表的入仓策略和抽取规则,是实时抽取还是定时抽取,是全量出抽取还是增量抽取,将规则配置入ETL工具,执行数据入仓。
将数据汇入镜像数据仓库时,因为数据通常来自多个系统多个数据库最终进入同一仓库中,镜像数据仓库对于数据表的命名有专门的原则和规范,与源数据库的表名会有所不同,需要将表名之间的映射关系做好记录,同时制定好每张表的同步规则,如考虑业务系统晚上使用较少,数据同步时间一般放在晚上,错峰同步;
以营销管理系统为例,系统中的组织机构表、客户表等数据不多、变化较小的表可以全量同步,而像抄表数据、收费数据等数据量较大的表可以使用增量同步。
四、数据质量检查:制定数据质量检查规则,定时进行数据质量检核,提升企业数据质量
根据元数据清单以及业务含义,定义出数据质量检查规范、评分标准、及每个字段检查规则,如户号是否唯一,手机号是否为11位数字,身份证号是否为国家规定的15位和18位规则,抄表读数是否为合理的数字范围等。
经过数据质量检核清洗,形成数据质量报告,并将报告结果和未通过检核的明细记录反馈至源系统,形成闭环,PDCA持续提升源数据库的数据质量。通过数据质量检核的数据,进入标准化数据仓库,供主数据管理和数据集市使用。
五、建立数据集市:从业务角度对入仓数据进行梳理,制定数据资产目录以及主数据和业务模型等数据标准,最终形成数据集市
对数据入仓清单进行专题数据识别,划分数据分类与主题,形成数据资产目录,制定出主数据和业务模型等相关数据标准。
制定数据资产目录主要是为了让非技术人员了解企业有哪些数据,因此在制定过程中一般从业务角度进行分类制定,方便业务人员理解。制定数据标准时,一方面需要考虑与现有系统的兼容性,另一方面应重点考虑未来的扩展性和统一性,方便企业对数据的应用,也为新系统建设提供指导。
六、数据应用:建设数据仓库最终是为了更好的应用数据,充分发挥数据在生产运营、营销客服、管理管控中的最大价值
通过数据仓库,水务企业可以拆掉“烟囱”,打破各系统中的数据壁垒,实现真正全面数据共享,同时也让水务企业的分析统计维度获得全面的提高,为企业管理带来新的视角和手段。
数据共享不仅让水务企业内部与外部、部门与部门间的数据获取与共享更方便更快速,也让每一位员工能够获取更全面的信息,提高工作效率,如客服人员不再只能查询营销管理系统内的用户信息,还能知道用户所属的二次加压泵房的工作状态、最近一次水箱清洗的时间、最近一次水质检查结果、附近管网情况、是否有抢修停水情况发生、当天附近是否还有其他用户来电反应相同事件、用水由哪几个水厂提供、附近是否有工作人员可以快速上门、用水由哪几个水厂提供等,真正实现从水源到龙头的管理。
同时通过基于AI算法的客户画像功能,可以识别出更多客户特征,方便业务人员为客户提供更为精细化有针对性的服务,如独居老人关怀、重点用户识别、异常用水分析、工作质量分析、客户服务分析等,支撑精准服务、个性化和主动服务,持续提升客户体验和获得感。
随着《关于加快推进国有企业数字化转型工作的通知》、《关于加快构建全国一体化大数据中心协同创新体系的指导意见》等众多利好政策的推出,数据作为重要的生产要素将逐步成为水务企业的经营理念——凭数据工作、凭数据决策、凭数据指挥。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
为全面贯彻落实党的二十大精神,推进“深学争优、敢为争先、实干争效”行动,深化招商合作,3月10日上午,泉州水务集团与京东工业成功举行合作签约仪式。京东工业华南区福建客户部总经理洪永海、京东工业华南区福建客户部客户经理郑随意、泉州水务集团党委委员、副总经理苏湘华出席仪式,集团相关权属
3月3日,江苏中法水务股份有限公司(简称:中法水务)发布公告,公司拟在上交所主板上市,募资总金额为2.86亿元。公司主营业务包括供水业务、污水业务、市政水务工程业务和智慧水务业务。作为水务行业综合运营商,公司立足于常熟本地的水务市场,凭借在区位布局、合作经营、业务结构、管理水平、生产技
2月7日,金卡水务科技有限公司(以下简称“金卡水务”)和中法水务管理(中山)有限公司(以下简称“苏伊士”)签订战略合作协议。双方将在智慧水务行业的自动化、信息化、数据化、智能化解决方案领域深入合作,结合各自优势互补有无,联合打造引领行业标准的多元场景智慧建设方案。金卡智能集团高级副
日前,全球三大权威ESG评级机构之一——摩根士丹利资本国际公司(中文简称“明晟”,英文简称“MSCI”)公布最新年度环境、社会、公司治理(ESG)评级结果。北控水务集团凭借在ESG方面的出色表现和亮眼成果,MSCIESG评级提升至A级,成为水务行业里唯一一家获此评级的亚洲企业,在国际水务行业中处于领
12月30日,郑州水务集团有限公司正式揭牌。自2020年起,水务行业集团化、规模化的趋势愈发明显,包括万家寨水务、陵水县黎族自治区水务集团、宁波市水务环境集团、杭州市水环境发展集团、福建省水务集团、东莞市水务集团供水有限公司在内的地方水务集团相继成立,它们注册资本动辄几亿、几十亿,企业通
对于水务行业而言,2022年遭遇了前所未有的挑战,受疫情和经济下行等因素影响,水务市场业绩指标出现下滑,但在相关政策的持续引导下,水务行业投资有望保持增长。在挑战与机遇并存的态势下,水务上市公司表现如何?市值有何变化?北极星水处理网对65家水务上市公司的总市值进行了统计与分析。2022年65
2022年,水务行业混改大戏基本落下帷幕,仅剩的民营企业成员如岭南股份、博世科、博天环境等要么“入编”,要么“入编”失败后破产重整。虽然2022年收并购的关键词不是混改,但水务行业在今年依旧有“大戏”上演,企业们努力寻求拓宽自己服务边界,增强竞争力,有的是为了消除同业竞争,总之,都是为了
经过23个月的连续奋战,近日,由上海城投水务(集团)有限公司建设、上海城投水务工程项目管理有限公司管理、市政集团上海分公司承建的竹园污水处理厂四期工程ZYSQ1.3标项目顺利通过通水条件验收,为后续全面通水联动调试、通水达标奠定了基础。1.3标位于竹园污水处理厂西侧50万立方米/日处理厂区内,
导言:水务部门在气候变化中的角色与作用是什么?XPVWaterPartners的一份新报告调查了水与气候变化之间的联系以及该行业如何提供帮助。水务部门的作用根据XPVWaterPartners的说法,水是我们感受到气候变化影响的主要媒介。XPVWaterPartners是一家专注于水、废物和环境领域的加拿大投资基金。联合国数据
10月9日,“2022中国水务行业金禹奖”评选结果揭晓,粤海水务作为全国水务行业领跑者,荣膺“2022中国水务行业金禹奖·产业贡献奖”。“2022中国水务行业金禹奖”评选由深圳国际水务科技博览会组委会举办,主办单位包括广东省水利学会、广东省水利水电技术中心等,该奖项旨在表彰水务行业先进企业,树
9月14日晚,经深圳证券交易所创业板上市委员会2022年第64次审议会议审议,安徽舜禹水务股份有限公司(以下简称“舜禹水务”)创业板IPO首发通过。舜禹水务是水务行业的国家高新技术企业、国家级专精特新“小巨人”企业,公司主营业务包含二次供水和污水处理等,其多项技术填补了国内智能供水成套设备、
2023年3月14日,达泽环保品牌脱颖而出荣登央视CCTV2,以细致的镜头向人们展示了达泽环保的卓越品质和垃圾渗滤液处理项目的丰富案例,成为环保行业的一大焦点,彰显品牌实力!央视作为媒体的权威代表,公信力、影响力和传播力在媒体中具有“中央”地位,其影响力触达全国将近14亿人口。本着对全国消费者
3月14日,中国政府采购网发布西江干流(浔江平南县段)一江两岸水环境综合整治提升工程PPP项目(一期)社会资本采购终止公告,项目因投标人不足三家而采购活动终止。项目预算金额99997.91万元,西江干流(浔江平南县段)一江两岸水环境综合整治提升工程(一期)工作范围为浔江平南县平南三桥至平南二桥
近日,贵州省发改委公布2023年贵州省重大工程和重点项目名单。2023年贵州省共安排省重大工程和重点项目4158个,年度预期投资8003.86亿元,涉及“四化”项目、基础设施项目、民生工程三大领域,包含收尾项目、新建项目、续建项目、预备项目四个类型。其中涉及生活垃圾焚烧发电项目、循环经济产业园、智
水是生命的源泉,随着城市的发展,水污染问题也越来越严重,水资源监管和治理成为城市发展的一大困扰,水质监控不及时、水灾预警不及时更是直接关系到民生问题。达泽环保为解决水资源利用高效化、水务服务便捷化、保障水务设施安全运行循序渐进地推进智慧水务建设进程应用而生。你知道什么是「智慧水务
据《中国环保产业发展状况报告(2021)》显示,2020年,列入统计范围的15556家企业从业人员数为1859297人,据此测算全国环保产业从业人员为321.73万人,占2020年全国就业人员年末数的0.43%,比2011年提高0.31个百分点,对全国就业贡献成逐步扩大的趋势。连续5年的统计样本数据表明,“十三五”期间,我
北极星环保网获悉,2月13日,由中核环保有限公司和瑞邦晟达科技(北京)有限公司共同投资成立的中核智慧环境科技有限公司揭牌启动仪式在常州武进国家高新区举行。市委常委、区委书记、武进国家高新区党工委书记乔俊杰出席活动并揭牌,区领导恽淇丞、李德森参加活动。近年来,武进区深入践行“两山”理论
2023年2月2日,贵阳水务集团与上海威派格智慧水务股份有限公司开展合资合作沟通座谈会,贵阳水务集团党委书记、董事长曾军主持会议,上海威派格智慧水务股份有限公司董事长李纪玺、总经理柳兵通过视频出席会议,双方相关部门及区域负责人参加会议。会上,双方就合资合作具体事宜进行深入沟通,根据《贵
12月27日,中国政府采购网发布广西泰华项目管理有限公司-关于西江干流(浔江平南县段)一江两岸水环境综合整治提升工程PPP项目(一期)社会资本采购资格预审结果公告,排名第一的供应商为广西贵港建设集团有限公司/广西富林建设集团有限公司/水利部珠江水利委员会技术咨询(广州)有限公司(联合体)。
北极星环保网获悉,12月5日,中国政府采购网发布西江干流(浔江平南段)一江两岸水环境综合整治提升工程PPP项目(一期)社会资本采购资格预审公告,预算金额99997.91万元,西江干流(浔江平南县段)一江两岸水环境综合整治提升工程(一期)工作范围为浔江平南县平南三桥至平南二桥段,沿线km
三峡集团利用大水电集中管控和工业数字化成果,自主研发了国内首个水务业态全覆盖、数据全监视、操作全远控的智慧水务调控系统,通过布设在厂站网以及河道水体的5000余个传感器建设“耳听八方”的在线感知系统,实现运行状态“动态感知”。当前,在六安,通过该系统实现了对所有涉水设施的全监全控、联
11月19日,住房和城乡建设部科技与产业化发展中心发布《关于发布2022年智慧水务典型案例的通知》,经过形式审查、初审及专家评审,最终遴选典型案例18项。关于发布2022年智慧水务典型案例的通知有关单位:为探索智慧水务建设运营模式,推动智慧水务行业发展,我中心组织开展智慧水务典型案例征集工作,
12月30日,郑州水务集团有限公司正式揭牌。自2020年起,水务行业集团化、规模化的趋势愈发明显,包括万家寨水务、陵水县黎族自治区水务集团、宁波市水务环境集团、杭州市水环境发展集团、福建省水务集团、东莞市水务集团供水有限公司在内的地方水务集团相继成立,它们注册资本动辄几亿、几十亿,企业通
时间来到9月初,水务上市公司2022年中期业绩披露完毕,北极星水处理网整理了58家水务上市公司2022年中期业绩数据。看完只能说,在整体经济下行及疫情影响的大的态势下,诸多水务项目放缓,大部分水务企业出现了业绩下滑,区别只是有的下滑一点点,有的下滑很多点……真正“逆风飞扬”的企业可谓寥寥。
近年来,随着国家智慧城市、水十条等多个与水环境相关的政策出台落地,以及物联网与工业互联网先进技术的发展,智慧水务产业潜在需求巨大。研华作为物联网智能系统及嵌入式平台产业的实力企业,以数据采集及全面感知构造工业物联网基础,提供整体架构解决方案。DeviceOn/BI正是研华打造的智慧水务云端
2022年全球水奖获奖结果公布!2022年5月17日,备受全球水圈高度关注的2022年全球水峰会(GlobalWaterSummit)在西班牙马德里隆重举行。本次水峰会的会议以“低碳水未来”(Water-PositiveZeroCarbon)为主题,吸引了来自全球70个国家1000多位工业企业、政府和国际水务公司高层领导者的积极参与,演讲嘉
据北极星水处理网统计,2022年4月开标亿级水处理项目19个(含部分预中标,不含上个月已统计的预中标,不含供水),数量上较前几个月比明显下滑,19大项目涉及14大省份,总投资额263.75亿元。4月,站在风口上的EOD项目继续稳居C位,几个大单接踵而至,在投资总额上弥补了落地订单数量不够多的遗憾。据北
盐湖提锂火了!在水务企业2021业绩整体表现不尽人意之时,很多企业开始将目光瞄向新的领域,而盐湖提锂这个站在“最强风口”上的赛道成为了如碧水源、巴安水务、久吾高科等膜分离技术企业的新的选择。那么,龙头企业们纷纷布局的“盐湖提锂”究竟是什么?他们为什么选择了这个赛道?盐湖提锂站上新风口
4月结束,水务上市公司2021年业绩披露完毕,北极星水处理网整理了56家水务上市公司2021年业绩数据,与大家共同关注水务行业发展态势及水务企业的“命运沉浮”。营收百亿级水务企业凤毛麟角据北极星水处理网统计,56家水务企业中,营收超百亿的仅3家,可谓凤毛麟角,分别为北控水务(278.8亿港元)、首
通过借助新IT技术与水务应用结合,建立水务大数据标准规范、大数据采集系统、大数据交换中心、大数据云计算平台、大数据应用支撑平台、大数据创新应用系统及安全与备份系统等框架体系。为达到“三全”(大数据全过程覆盖、全要素分析、全流程辅助决策)目标,力争在水务行业生产、管网、服务、管理及安
水务行业作为重要的市政公用事业和民生行业,在国家政策的强化引导,相关技术标准的逐步制定和完善、财政资金的支持和社会资本的大量进入等背景下,在“十四五”期间将迎来新的发展局面,本文拟从几个热点的细分方向进行浅析,以期为水务企业能提供一些有益参考。方向一低碳化发展2021年3月15日,习近
2022年全球水奖已于近日公布各奖项的入围名单,共有四个中国水务项目成功入围项目类奖项,一个由中国水务企业参与的国际项目入围项目类奖项、以及一家中国水务企业入围公司类奖项!小编今天将为各位读者带来这些优秀项目与企业的详细介绍。经过全球范围内激烈的角逐和评选,2022年全球水奖已于近日公布
前言在大家的普遍观念中认为水是最廉价且取之不尽用之不竭的,然而事实上,世界范围内可直接利用的淡水资源非常有限。水对于我们来说是生命之源、生态之本、生产之要。因此,对水的使用和管理一直以来都是政府和企业高度重视的问题,水能载舟亦能覆舟,把水用好事关我国经济社会和国计民生。认识《节水
总投资6481.67亿、687个!2023年毕节市重大工程和重点项目名单公布
河北雄安新区农村人居环境整治提升五年行动实施方案(2021-2025年)
加快推进生态环境重点工程 苏州市印发推动经济运行率先整体好转的十六条措施
超12亿元 12家入围 宁晋县县城建设提质升级及北部新区污水处理厂PPP项目中止
总投资5.3亿元 吴川市滨江污水处理厂二期及配套管网建设项目EPC总承包招标
邢台市信都区生活污水处理设施改造提升项目设计-施工EPC工程总承包中标公告
4.28亿元 内蒙古通辽市科尔沁左翼中旗污水处理设施及配套管网特许经营项目招标
超12亿元 12家入围 宁晋县县城建设提质升级及北部新区污水处理厂PPP项目中止
加快推进生态环境重点工程 苏州市印发推动经济运行率先整体好转的十六条措施
重大喜讯!达泽环保荣登CCTV2 17年的坚持只为让水更清、让天更蓝!
|