如何给老婆解释什么是“数据共享交换”?
关键词:数据共享交换、集算器、数据处理、数据清洗、ETL
作为销售工程师的小王,自从结婚有了孩子之后就是累,时不时的要给老婆这样那样的解释。上次好不容易给媳妇解释了什么是“集算器” ,这不,麻烦又来了…
五一的前一天,一个阳光明媚的清晨,阳光洒在小王的脸上,慢慢把他唤醒。小王觉得奇怪,今天老婆怎么没有一次次的催促自己起床呢?而且家里还特别的安静。
小王赶紧起床,突然不对劲, “咦,老婆孩子呢?怎么都不在家”。昨天晚上还商量好的,今天去郊游的呢。
故事的起因........
书桌上的纸条
起床了?看到我和孩子已经不在家了,很奇怪是吗?
我带着孩子回娘家了!原因我相信你懂的。如果你不懂,请打开微信。
小王一脸懵逼,打开了手机微信:
你还是忍不住的打开微信来开了吧?哼,你怎么可能不知道原因,你进来看就是想确认我发现的是不是你那个秘密而已,那我就告诉你吧。
最近我一直注意到,你经常在聊什么“数据交换共享”的话题,我虽然是女生,但也知道“交换共享”是个什么勾当,你还挺聪明,在“交换共享”前面还加了一个模凌两可的名词“数据”,真的没想到你放着好好的管理者不做,居然做起了“交换共享”,有时候,你还加上一个尾巴“服务”,你怎么变成这样了呢?
昨天,我找了度娘,想看看你的这种“共享交换服务”是怎么个“共享交换”法,哼,你们这些IT/DT人看来都挺精明的,感谢度娘告诉了我一切,我在度娘上找到了几个APP,叫做“共享女友”、“共享情人”等等......
算了,不管怎样,既然你选择了“共享交换”这条路,我也不想掺合,但也别怪我不仁不义,再见了。
不,再也不见了。
小王这才缓过神来,拿起手机,给老婆发了微信:“中午12点,老地方,给你解释什么是'数据共享交换’和'数据共享交换服务’。”
@ 政务服务大厅
小王提前30分钟来到了COSTA咖啡。
已经12点10分了,小王开始有点紧张了,老婆居然没来啊。
正在焦虑的望着门口的时候,12点15分,老婆戴着墨镜、穿着连衣裙、登着高跟鞋、披着纱巾款款而入。小王突然变得好紧张,像是初恋时一样的紧张......
“服务员,一份芝士蛋糕,二份抹茶冰淇淋,一杯美式咖啡,一杯绿茶,谢谢”,小王对服务员说。
“说吧,你还有什么要解释的?请直截了当些,一会我还有事要走!”
“嗯,首先,我向你保证,我在做的'数据共享交换’,绝对不是你想的那种'交换和共享’......”
“哦,那是什么?看你还能口吐莲花什么......”
“这个解释起来要花点时间,我们先吃点喝点,我慢慢和你解释,好吗?”
安静的喝了一会儿咖啡,把抹茶冰淇淋消灭后,小王指了指马路对面的政府政务服务大厅,对老婆说:“看到对面的政务服务大厅了么?”
“嗯?这跟我们的话题有什么关系?不是说你真的要跟我再不见?”
“在那里,为打造好“一站式服务大厅”,政务服务中心将整合资源,涉及街道各部门办理、咨询类几十项业务全部进驻大厅。今后,公安、工商、税务等业务在街道政务大厅也可办理。同时设立“全科式综合服务窗口”,一个窗口可以办理街道服务群众的所有事项,革新以往各个条口分散管理、各自为政的情形。升级后的政务服务中心将建立“互联网政务通道”,通过微信公众号“智慧望城坡”等互联网渠道,实现24小时全天候业务查询、受理、初审模式。”
“嗯?你到底要说什么?”
“那里面似乎什么都可以一站式办理,而且,将来,不管你去到哪一个政务服务大厅,里面的格局可能都是一模一样的。也正因为如此,这才带来了问题。”
“有什么问题呢?我觉得这样挺好呀,老百姓去了那里,想办理什么都找得着和能办得好,不用老远的东跑西跑了。”
“首先,这些不同部门的业务领域不同,他们之间的数据会相互影响。你想啊,居委会、派出所、工商、社保等都有你的相关的资料,这些资料我们叫做“数据”,如果你在居委会的数据与社保的数据不同步,他们的数据就不一致,你想一站式办理完你想要办理的事情,就会受到影响,对吧?上次我们给孩子办理户口的时候忘了拿出生证明是不是就跑了好几次?”
“另外,记得吗?上次我们买房,要纳税证明,正好税务的系统故障,我们是不是也没一次办理成功?这些部门的任何一个部门的系统出现问题,就有可能影响到其他部门或者老百姓的办事,也影响到了政务服务的老百姓的体验。”
“你这乌鸦嘴…”
“哈哈,都说是假如啦。除了这点,还有一个问题,我考考你,我们这个城市里有几个政务服务大厅?”
“好像每个区都有一个?”
“没错,只在这里有一个政务服务大厅,这时候你就会发现,你要跑到离家很政务服务大厅去办理业务,这对城市的交通和老百姓的感受是不是很差?”
“那就像现在这样啊,在每个区都设立一个政务服务大厅啰”
“嗯,这确实是一个办法,可是你住的区域并不是你户口所在的区域呢,你就不得不大老远的跑来跑去了吧?”
“这挺浪费老百姓的时间的啊,而且老百姓的感觉也会很差的呀,为了满足百姓一站式办理业务的需求,最好是能就地办理。”小王老婆若有所思。
“的确,如果能就地一站式办理业务就好了!这才有了'数据共享交换’......”
“哦?终于要讲数据共享交换服务了?”
更加灵活的政务服务大厅提高百姓的体验
“你看,假如我们把政府各个部门的关于你我和家庭的各种数据,都能放倒一起,形成一个可以给各个政务服务大厅使用的统一的数据源,并且,你在任何一个柜台办理的业务的新的数据又能及时的放在这个数据源,更新后的数据又可以给各个政务服务大厅使用,那么,你是不是任何时候在任何一个大厅都能及时的办理业务呢?这些提供不同服务的部门,分布在城市的各个地方,但是数据都能相互共享,即使某些系统出了问题,由于你的信息都在统一的共享平台上,就不会互相影响了。”
“去,原来是这种共享交换啊”,小王老婆脸上流露出了微笑。
“不仅如此,我们发现A区的居民的服务需求量大,那我们就在A区的政务服务大厅多排些人手,或者在多设置一个服务大厅,而在B区的居民的服务需求量少,那我们就在B区的政务服务大厅少排些人手。或者,我们发现某区的某项业务办理的人多,我们就在这个区多设置一些这项业务的柜台等等”
“Wow,这样看来,数据共享服务让政务服务大厅变得灵活了许多!哪个地方对某种服务的需求大,就在对应的地方多设置些相关设施就好了。”
负载均衡
“看来数据共享服务就是把政务服务大厅变成若干个可以同时服务的政务服务大厅呗,就这么一个东东至于你这么费劲吗?”,小王老婆的好奇心被彻底的激活了。
“哈,数据共享交换服务当然不只是这些,我们现在只是把一个政务服务大厅变成若干个可以同时服务的政务服务大厅,但是对于如何管理这些政务服务大厅,我们还没做好准备”
“哦?这里面还有什么门道?”
“当然,别忘了,政务服务可是有网站的。你可以在网上预约一项服务,然后直接去某个政务服务大厅排队办理业务;如果你预约的地方始终人满为患呢?啦怎么引导到离你近的大厅去办理呢?”
“晕,这还是真的是个问题。那管理这些政务服务大厅的数据中心肯定知道他们哪个就近的服务大厅人较少吧?”
“没错,这时候网站会从数据中心查出,百姓所在地的附近有哪些服务大厅较空闲,接下来就是从这些服务大厅里,选一处,给百姓推荐过去。”
“就选离百姓最近那一处就好啦。”
“哈,那万一有几处政务服务大厅,一处靠近他的居住区区,一处靠近他的工作区,或者一处靠近他经常出没的区域呢,而百姓通常留的地址都是自己的居住区呢?”
“这样… 那靠近居民区的政务服务大厅就会收到很多推荐的预约,经常人满为患,而靠近工作区的那处大厅,就没什么人了,是吧?”,小王老婆两眼放光的看着小王。
“对!这就是问题,所以数据中心就会对上网预约的IP地址,或者你经常出没的地理位置信息等进行判断,推荐一些可能对你更为方便的服务大厅的信息给你。”
“懂了!”
“用专业的术语来讲,就是根据爬虫数据来提供更为方便的服务”
“呵呵,少扯你的这些专业术语”
“怎么样,数据共享服务不是你想象的那样吧,当然,在这个领域,要考虑的因素还有很多,现实生活中的政务服务大厅只是一个小小的缩影。数据共享交换的应用在政府、金融、通讯、企业制造等各方面都有很多的应用。刚才讲的只是冰山一角。”
“得了,听听就头大,走,带我去娘家拿行李”
“……”
数据计算领域的话
大白话给老婆讲明白了数据共享交换服务的来龙去脉。
还有些话想说的,还是怕老婆听完一脸懵逼,没给她说的:
数据共享交换,不得不讲单体应用带来的信息孤岛的问题。
所谓单体应用,就是把所有业务的代码都放在一起,由一个开发商从头到尾的完成。这对于小型项目来说自然是很合适的,可是项目一旦大了起来,业务一多,这个单体也就膨胀了,膨胀后的单体应用主要有以下几个显著的缺点:
应用软件与数据绑定在一起,牵一发而动全身
只能水平扩展,不能纵向扩展。对于单体应用,如果发现某一业务的请求量非常大,那么是无法单独扩展该业务的,只能拷贝整个单体应用,再部署一套环境,来实现集群。
业务端的需求发生变化,需要重写数据源的计算过程。
与其他单体应用无法联动,造成数据库多源、异构等问题,数据无法共享。
讲数据共享交换不得不从国办39号文说起,早在2017年5月3日,“国务院办公厅关于印发政务信息系统整合共享实施方案的通知国办发〔2017〕39号”,发布了智慧政务的发展规划,明确了以建设“政务信息”为引领,通过顶层设计和统筹规划,形成统一的智慧政务管理体系目标。
从基础设施建设来看:电子商务基础设施、服务平台及部门应用均有了很好的基础。作为“互联网+政务服务”的基础,各级政府建有人口、法人、地理信息、宏观经济等基础数据库,智能监管平台、地理信息公共服务平台、综合交通信息指挥中心等。
从顶层设计来看,各级党政机关非涉密电子政务系统服务器设备很多已实现统一托管,有效整合迁移了市级部门的网络数据,形成了上至国家部委,下至各区县政府部门的业务网络。不仅能满足各部门业务的需求,也推动了电子政务网络的延伸和统一。
在互联网时代,如何解决企业、群众办事难的问题题?如何让政务服务契合时代需求?是政府、企业、群众共同关心的问题。
联通“四端”,网上备案项目“零跑动”
政务服务的核心是“办事”。便民审批服务的“网上办、就近办、简约办、我来办”,围绕方便企业、群众办事的宗旨,接通了办事大厅端、电脑PC端、自助服务端、口袋移动端的“四端”政务公共服务端口,联通政府内部的办事网络。
办事网络通了,政务服务也有了网上办理的基础,政务服务自然变得快捷、方便。
基础建设顶层设计一个不能少
互联网联通部门之间的“信息孤岛”,让办事人少跑腿甚至不跑腿的举措在全国竖起了旗帜。想实现基层办事窗口“最多跑一次”,需要牢固的基础设施建设和顶层设计的有序推进。
在互联网时代,“智慧政务”不仅体现在政府管理和服务的智能化,还将应用于百姓生活的方方面面。依托互联网,社会保障、公共安全、社会信用、市场监管、食品药品安全、医疗卫生、国民教育、劳动就业、养老服务、公共交通等都将变得智能。
智慧政务建设痛点:信息化质量和业务协同效率不高,数据不连通!
各级地方政府和部门在开展智慧政务时往往各自为政,采用的标准各不相同,业务内容单调重复,造成新的重复建设;各应用系统单独规划,每个系统往往采用了不同的数据格式,运行在不同的平台,给彼此之间的数据交换、协同应用带来了障碍。
从流程上看,政务部门的工作流程都比较复杂,很多网上审批流程可能会涉及不同系统、不同级别的多个政府部门,就公众用户而言,公众的“一站式”服务需求、按需服务需求、及时服务需求无法在现有应用系统中得到满足和实现。
打通这些“信息孤岛”或“数据烟囱”,实现各系统彼此之间的数据交换和协同应用,是政府部门亟待解决的重大问题。
华云数创采用独立智能数据采集引擎,让此问题迎刃而解。
华云数创的独立智能数据采集引擎替代软件厂商接口对接,实时精准采集各种软件系统数据,存储到指定的数据库、大数据平台或内存中,客户可从统一的数据中心获取各类系统数据,并协同原有的数据仓库等,达到数据共享交换的目的。
华云数创的独立智能数据采集引擎让各级政府所建立的数据库、系统网站、业务服务、网络数据之间真正的畅通无阻,让数据跑起来!实现从数据到信息到知识到智慧的全部过程,既能加快电子政务的建设,又能解决项目建设费用高、交付时间长、技术难度高的问题。
华云数创的独立智能数据采集引擎采用全国内知识产权的的“集算器”为核心,在数据共享交换领域实现了以下的突破,一键式终结了“数据孤岛”和“信息孤岛”的问题:
独立的计算引擎,实现了数据与软件、数据与可视化、数据与存储过程、数据与计算过程的分离,完美的实现了系统的“松耦合”;
兼容几乎所有的软件系统,兼容几乎所有的数据库和物联网的传感器网的数据;
独立的数据采集单元,无需系统软件和应用软件厂商的参与;
实时的数据采集,真正的实现T+0;
标准的结构化数据输出接口,可以作为前端数据分析、数据挖掘、数据可视化的基础;
快速的自动导入历史数据;
对多源、异构;结构化、半结构化等数据进行快速的混合运算;
作为数据网关,保护数据库本身的安全,方便引入新的数据源;
协同数据仓库、大数据hadoop平台,提高计算效率;
节省大量的数据库的扩容;
实施部署:一键式安装
灵活的策略配置
......
案例:“数字**”城市级数字化应用数据共享交换平台:
“数字**”城市级数字化应用数据共享交换平台通过资源整合,使物理分布在各个系统中的多源、异构的数据逻辑集中,从数据层面满足“数字城市”的发展需要,快速地获取城市各方面的信息,提供给上层应用进行综合分析与决策。该数据共享交换平台是实现城市部门间业务协同的数据枢纽,多种灵活的数据接入方式,一键式的安装实施,解决了各部门间因信息化水平差异所造成信息无法共享的问题。该平台以“四大基础数据库”为核心,实现跨部门间的基础数据比对服务,在此基础上扩展业务应用。
该平台支持结构化、半结构化和非结构化的数据交换共享。如数据库、空间数据、流媒体、实时监测数据、呼叫中心的语音等,数据内容丰富、全面。在此基础上,与商业智能(BI )、人工智能(AI)、地理信息系统(GIS )、数据仓库(DW )等关键技术,为共享数据提供了综合性的分析、查询和数据可视化等服务。
让数据多跑路,相信在不久的将来,智能化的政务服务能真正的让百姓办事只需安坐家中,动动手指头,从此一趟不用跑。
华云数创很荣幸能为这一美好愿景贡献自己的一份力量。
数据共享交换系统的衍生组件还有很多,比如ETL、数据网关等。这里就不一一列举了。这篇文章只是想用一种比较有趣的方式,让大家对数据共享交换有一个初步的了解。