赞
踩
基于PYTHON及“裙Y的多进程空间数据检查任务实现 张雅珉张禾 (贵州省第二测绘院,贵州贵阳5 J) 嫡要.本文针对批虽数据进行检查貊提出通过多进程的处理方式,设计并实现了空间数据检查并行处理方式,为任缶量巨大的空间数据检查任务提供了一种简单易用的解决途径;并运用 到实际检查工作中得到了较好的效果 关键词:pyTH()N• ARcpy;多进程;空间据;等高线套合检查 目前,数据存储量正在速度增长,系统处理的时间越来越长这需要我们的操作系统及计算机硬件具有更强的数据处理能力和更快的响应时》传统的单进程在一个CPU指令周期内只能完成一条指令,而单纯的提高计算机设备的硬件性能并不能解决这个问題为了满足大规模数据计算的需求,可以通过对空间数据进行多进程并行处理来解决这一问题 本文以贵州省第一次全国地理国情普查10万DEM*F* 化生产检查任缶中DEM套合检查为例,探讨py田ON及 ARCPY多核应用程序在空闾数据检查中的应用 1. p、THON多计算 PYTHON是一种面向对象解释型计算机程序设计语言,它语法简洁而清晰,既可用来快速编写脚本程序,也可用来开发大规模的应用软件,应用十分广泛· PYTHON提供了面向 语言的应用程序编程接口,程序员可使用十十 C [C斗十 编写扩展模块,从而提升PYTHON程序的执行性能 多核CPU是在一个CPU芯片上集成多个处理器,基于 PYTHON可以在这个基础上编写多线程并行程序 2、ARCPY空间数据处埋 模块为基础并继了 ARCPY是一个以 aregisseripting 功能进而构建而成的站点包 主要由制图模 川p亩 生ARCPY 块,数据访问模块空间分析模块和基本函数功能组成,为用户提供了使用py“ON语言操作所有地理处理工具的能力,并提供了多种有用函数和类,以用于访问和处理GIS据并且。通过ARCPY鳊与应用程序,可以使用来自多个不同領垭的G巧专业人员和众多程序员开发的旧ON模块 任分圻 3, 本次]:]万DEM精细化生产任务共计)0()多幅根据第一次全国地理国恬普查实施方案》要求,格网单元按照省级行政区統一为2米× 2米大地基准为2〔国家大地坐标系CGCS2000);高程基准为] 985国家高程基准,高程单位为 米;投影与分带采用高斯一克吕格投,酽分带 DEM数据采用A卜的GRID格式存赌,像元值采用单精度浮点型记录;元数据采用Microsoft 0朊e的XLS格式 本次采用4台电脑用于程序自动检查,配置为15陔CPU' 16C内存,iT硬盘系统为WIIü 64位,橙查使用软件为AreGlS.长橙查周期为30天 4软件实现 4.1基本思路: 利用原始等高线做缓冲区,与栅格数据反生出的等高线进行除处理,在缓冲区外的曲线即为套合错误的曲线 原始等高生成冲区 错误信息 韉格数据反生出等高线 标准哐 裁剪 标准分幅误信息 4.2软件实现 在PYTHON中调用多进程模块灬It;@“妯呻' 根据硬件配填写进程数,将要完成的工作分右到多个工作进程完成一个进程后,pool会继缍分配下一个进程进行运算,直至任结束 Pool:multiprocessing. ‰r以““:4) Job:[“,apply— async p“ ”' (dgxpath' buffer— dgx ok' Eras—叩' dem— check— '月 Jobs,即"d 加入栅格数据反生成的等高线将原始曲线缓冲区成果与该等高线进行除处理 Arepy- Emge- “、“(d萨山' b《疳“一dgx— ok' “ shP' " 0.001 Meters")
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。