引言
《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出“分级分类推进新型智慧城市建设,将物联网感知设施、通信系统等纳入公共基础设施统一规划建设,推进市政公用设施、建筑等物联网应用和智能化改造”,强调了建设智慧城市的重要性,并为“十四五”时期我国城市发展指明了方向。
由中科星图股份有限公司(以下简称“中科星图”)旗下子公司——中科星图智慧科技有限公司研发的时空大数据云平台,是以高分和城市时空大数据、统一时空基准和北斗网格标准为基础,大数据、云计算和人工智能生态技术栈为支撑,面向政府数字化智慧城市建设,提供时空大数据的统一引接汇聚、数据治理、存储承载和高效管理的开放数据平台,将为城市实时运行监控和辅助决策提供有力支撑。
平台介绍
时空大数据云平台基于海量城市时空大数据提供智能数据分析、快速数据查阅、数据资源共享和交换、数据链路监控等共性能力,为智慧城市数字化建设提供时空数据底座支撑。平台内置统一安全权限认证和服务集成体系,可实现城市各部门系统服务的快速集成、实时云上并行计算、容器化服务托管等能力。
图1 时空大数据云平台门户
平台架构
平台按照“统一框架、分布式可组合微服务、高可用和可扩展”的原则,设计相关的系统开发规范和集成规范,形成统一的接口交互规则。平台技术架构分为五层,分别是应用层、平台层、数据层、云平台层和设施层,如下图所示:
图2 时空大数据云平台架构
核心技术
(a) 高可靠性私有云服务
平台基于kubernetes云原生技术,托管物理服务器硬件设施所有cpu核心、内存、硬盘等资源,并利用容器化技术实现所有服务和组件在隔离的容器化环境运行,单集群最高支持管理1000节点数,根据服务器性能每个节点最高支持100-300个pod副本数;基于云原生技术可实现对任意pod托管资源的自动/手动动态扩容、秒级弹性伸缩、服务探针、健康监测、多节点数据灾备,从而保障服务高可用,降低维护成本。
图3 集群管理控制台
图4 集群服务副本和运行状况管理维护面板
(b) 数据的生命周期治理、管理和监控
平台提供全链路的数据生命周期管理。数据库分为原始库、资产库、专题库和业务库。通过数据引接的数据进入到原始库后,经过数据治理进入到资产库,不同类型资产数据可以整合和迁移进入专题库,项目高度相关的非资产业务数据则在业务库中存储,实现从数据引接,到数据治理、数据分发存储、数据共享,再到数据订阅的全链路流转处理和监控管理能力。
图5 数据生命周期管理技术流程图
图6 时空数据管理中心
图7 数据库分类管理
(c) 高性能分布式数据计算
平台基于flink分布式实时流式计算引擎和云原生技术的有机结合,进行了深度定制化改造。在高通量并行时空大数据计算分析时,容器组会根据计算性能消耗判断是否达到阈值,进行快速扩容,flink分布式计算引擎将同一类型的数据计算任务维护在多个节点的多个pod副本中,并在各个服务实例中通过线程池技术维持最高128个并行计算线程,以支持峰值计算场景,理论上1000节点的集群可支持千亿条/s的数据处理量和亿次/s时空数据关联计算分析,所有数据计算任务的时间窗口数据处理量、偏移量记录等统计信息每秒定时向缓存数据库同步。
图8 实时和累计数据统计和监控
图9 实时数据治理任务管理和监控
图10 数据治理etl技术流程图
(d) 一体化时空数据共享交换
平台基于内置的地理空间信息服务引擎和时空数据库ibestdb,结合传统非空间数据服务优势,提供数据共享和实时数据订阅能力,实现了时空数据统一化的服务管理和共享交换。同时,平台的api资源池管理提供了内置服务api管理、代理外部api服务,有效整合和映射内外部接口,形成了统一规范的对外数据服务。并通过授权密钥绑定api数据服务模式,进一步实现对共享或订阅数据的访问权限、有效期、范围和混合加密传输的精细化控制。
图11 api服务资源池管理
图12 api资源分类管理和映射配置
图13 时空数据一体化共享
(e) 全局唯一编码与快速数据全文检索
平台对所有数据提供全局数据编码,任何一条数据进入平台都会被顶层数据治理逻辑赋予全局唯一编码id,方便数据进行快速检索,依托分布式实时数据检索引擎elasticsearch的能力,实现数据的实时跨库全文检索,建立元数据变化监测机制。元数据配置改变后,其标识的数据表内容自动向es集群进行实时数据同步,保障数据检索的时效性。
图14 全文智能模糊检索
(f) 北斗网格编码和高效空间计算
平台针对空间数据,依托高性能时空数据库geovis ibest-db和北斗融合服务引擎,提供对空间数据的北斗网格位置编码和高性能空间计算分析能力;针对网格数据模型,在geovis ibest-db数据库中分别实现了基于b-tree和倒排索引的空间索引,通过北斗网格编码实现海量空间数据的快速索引能力。有北斗网格位置编码、时空数据库的高性能索引和空间分析算法的加持,空间点线面体交并集分析、范围分析、轨迹运动、气/流体扩散、空间关联分析等,对性能时效影响较高的空间分析难度和空间计算复杂度被大大降低。
图15 三维全球北斗网格剖分图
图16 北斗网格索引计算与传统索引性能对比
应用场景
(1)农业三产融合大数据平台:以数字技术赋能新型农业
农业三产融合大数据平台以卫星遥感、空间大数据等高新技术创新为驱动引擎,依托时空大数据云平台,对土地利用、作物长势等信息进行宏观监测;通过农业三产数据关联分析进行长势监测与作物估产;依据历年供需、库存、产量、面积、价格、天气、政策、地域等数据进行时空数据关联分析,对重点农产品进行价格预测,指导农民生产和农产品出售。系统提供系统感知、精准作业、灾害防控、安全监管、销售流通、社会化服务等服务能力,实现农业一二三产全产业链全要素全过程的数字化与数字赋能,通过三产融合服务于乡村振兴。
图17 智慧农业三产融合大数据平台图
(2)省级数字化一体化支撑平台:以北斗网格赋能智慧城市
省级数字化一体化支撑平台围绕“北斗网格时空引擎”总体赋能原则,构建“一中心、一中台、一大屏、n应用”新型智慧城市时空底座。北斗网格时空大数据中心基于时空数据管理系统,实现时空基础数据、公共专题数据、资源调查数据等多源异构时空数据的整合、汇聚与管理;北斗网格时空公共服务中台面向智慧城市建设各类用户,提供时空数据的服务支撑、统一存储、北斗网格编码、数据承载、空间分析、空间可视化等共性服务;通过时空服务展示大屏对用户进行展示;以典型行业代表性业务场景为例,基于平台时空数据服务及应用服务搭建示范应用系统,向各领域用户展示共性服务应用成效。平台将时空智管服务和时空智用服务相结合,提升城市治理体系和治理能力现代化水平。
结语
未来,随着智慧城市的进一步发展,将从人与人的连接进化到万物互联和泛在时空信息服务。只有加速颠覆性创新技术应用,依靠数字技术的创新驱动,推进城市建设数字化转型,才能更深入地了解城市社会运行状态,更好地开展城市建设和管理,为数字政府建设和数字经济发展创造庞大动力。中科星图愿与生态欧洲杯手机投注的合作伙伴一同为数字化智慧城市建设贡献力量。