引言
geovis ifactory空天大数据智能处理软件(简称geovis ifactory)是中科星图股份有限公司自主研发的一款集实时分布式计算、交互式分析和数据可视化为一体的开放性数据处理软件平台产品。针对航天、航空等不同平台获取的可见光、微波、高光谱等数据自动化处理需求,将云计算、高性能处理、大数据、人工智能等新一代信息技术与遥感测绘技术深度融合,实现时空泛在数据的自动化、精准化、实时化、智能化处理,生产各类遥感数据标准产品,如数字正射影像(dom)、数字地表模型(dsm)、数字高程模型(dem)等,以及地物类、目标类、应用类专题产品。
▲geovis ifactory空天大数据智能处理软件
存储计算一体化,解决海量数据存储、数据种类泛在问题
geovis ifactory具备七十余种影像处理基础算法集,支持空天多源载荷数据的实时处理,包括航天、航空的可见光、微波、高光谱等多源遥感数据。例如国内的高分、资源、天绘、环境减灾、高景、欧比特、长光等系列卫星数据,国外的worldview、ikonos、geoeye、pleiades、spot、compsat等系列卫星数据,以及专业的倾斜航空摄影测量相机、常规数码相机等航空数据等。此外,geovis ifactory支持载荷可扩充,并可根据新增卫星、航空数据格式进行动态扩充定义,满足不同行业的复杂多变的需求。同时,平台还自带数据管理系统,支持数据上传、下载、查询、数据分析等功能,真正实现存储计算一体化。
▲光学遥感卫星影像处理流程
▲光学测绘卫星影像处理流程
▲高光谱卫星影像处理流程(gf5)
▲insar卫星影像处理流程
▲sar卫星影像处理流程
自动化智能处理,解决人工作业占比大的问题
geovis ifactory具备自主可控的“平台 插件”软件体系架构、内置专业流程模板、智能生产调度框架,具备分布式资源下的任务统一管理与负载均衡等平台能力,支持批量数据自动筛选与导入、流程任务定时启动的流程自动调度、流程中的全局或局部参数数据进行动态更新与重构计算等功能,实现了自动化任务处理全过程可控。同时支持任务测区海量数据的实时显示、“分钟级/景”的处理效率、“景”级处理参数调配、任务中异常影像的重处理等功能。此外,geovis ifactory提供作业执行情况数据的统计分析、状态监控,作业执行预测、计算任务状态监测等功能,从而实现任务的全程精细化管理和可视化分析。
geovis ifactory构建了一个完全自动化智能的处理流程,平均每天可实现优于千景光学遥感影像dom生产(高级版9节点标配),几何精度达像素级(平原优于1个像元,山地优于2~3个像元),在减轻作业人员的负担,减少人为失误的同时,大大提升了数据处理效率。
▲内置处理流程模板
▲全过程可视化质量控制
高性能异构机群,解决计算资源利率低的问题
为了加速图像处理,异构机群的设计被广泛使用。在集群环境中,服务器兼具cpu和gpu等计算资源,如何根据应用的特点,合理使用cpu和gpu资源以及实现访问流量在各服务器上均衡分配,充分利用各服务器资源,从而达到性能最大化的目标?是一个关键的问题。
geovis ifactory采用可扩展高性能异构机群,基于分布式并行计算框架,构建gpu/cpu的混合算力池,整合百节点计算、存储和i/o,打造超算平台。该平台采用任务分割模型,把任务流程中每个算法模块中的处理任务进行分割,形成子任务队列,通过自动化生产调度进行调度处理;同时结合影像切分模型,通过将一幅影像进行分块多进程并行计算的方案,利用低延迟的通信技术,调用单机或集群中所有可用的计算资源来计算分块后的块影像。这样通过子任务和影像分块等资源拆分方式,即可深度优化遥感处理算法对不同计算资源的负载适配,而多线程与多进程并行加速方法的综合使用,可同时达到多源遥感数据实时处理的目的。
geovis ifactory同时具备了多节点状态实时监控、多节点资源实时统计、网络、磁盘i/o速度实时计算等功能,可为用户合理高效地利用资源提供参考,实现了深度任务统计分析、系统资源可视化。
▲高性能计算
▲子任务并行计算
▲运维管理
结语
在时空泛在遥感大数据时代不断强化的发展背景下,geovis ifactory以用户需求为牵引,以卫星遥感大数据处理为核心驱动,深入与各行业数据融合应用,不断研究国内外卫星遥感应用产业发展形势,综合利用云计算、大数据、人工智能等多项技术,实现了海量数据全自动化、智能化实时处理,与传统人工作业方式相比效率提高90%以上。geovis ifactory已成功应用于基础测绘、自然资源、交通、农林、水利、环保、应急等领域。
▲林火监测
▲农作物估产
▲水环境监测
未来,中科星图将紧跟国家提出的“高水平科技自立自强”的科技战略方向,加大在更多领域中的推广应用,推动时空泛在数据处理平台与技术赋能千行百业。