【6.0】构建数据枢纽:Python Pandas高效管理与融合多源地质数据

  

本系列文章是沙特地质调查配套软件的最后一章，讲的是这套综合数据整理工具是怎么开发出来的、现在又能帮你做什么。一开始，它只是为了帮图幅负责人「合库」而开发的：当时每天有两组野外同时开展，一周下来数据量非常大，需要频繁把多期 Excel 合并在一起。我看到负责人总是一个个表格手动复制粘贴，为了把他从繁琐的数据处理中解放出来，让他能把更多精力放在宏观把控图幅调查上，就给他定制了一款合库小工具。

相比项目组提供的 ArcGIS 工具箱里的 Merge 工具，这个工具不受文件名和路径限制，任何文件夹命名都能正常合并；更重要的是，它支持多次返回修改数据，可以灵活提交图片和素描记录，保证实体图片和 Excel 记录的一致性，操作起来更顺手。后来有同事反映 ArcGIS 工具箱经常出问题，于是我索性决定彻底脱离 ArcGIS 平台：不再依赖 Arcpy，而是用开源库 GeoPandas 重新开发数据导入导出的功能。这样一来，这套软件就不再受 ArcGIS 约束，可以在纯 Python 环境下跑起来，并在此基础上逐步把「野外数据导出、SHP ↔ Excel、图片整理、数据检查」这些环节都集成进来，变成覆盖沙特野外调查全流程的一站式数据整理桌面工具，把合并、转换、整理、检查这些常用操作都集成在一个界面里，用可视化按钮替代复杂脚本。点几下按钮、选好文件夹或文件，就能完成以前要折腾半天甚至几天的工作，而且完全不依赖 ArcGIS，只要有 Python 环境，或者直接运行打包好的 exe 就能轻松使用。

下面按功能块介绍一下它能做什么、怎么用、用的时候要注意什么。

---

它能做什么？

工具界面按三大块排列：野外数据整理、数据检查、合库数据功能。每一块里都有对应按钮，用弹窗选择文件/文件夹即可，处理在后台进行，状态栏会显示当前进度。

一句话概括：用一款工具，替代过去「Excel + ArcGIS + 手工整理」的多软件、多步骤流程。

---

一、野外数据整理（三个功能）

1. 野外数据导出

• • 作用：把野外采集的原始数据按日期和内容类型，一键导出、整理到指定目录，并自动做备份，避免原始数据被误改。
• • 怎么用：点击「野外数据导出」，在弹窗里选择「野外数据文件夹」、填写日期（默认当天），程序会自动给出「输出文件夹」（DataClean）和「备份文件夹」（Backup）；再选择导出内容：All（全部）、Location（仅位置）、Shape files（仅 Shape 文件），点「开始导出」即可。
• • 适用场景：每天野外调查后的第一道工序，把原始数据规整到统一目录结构，便于后续合并和检查。

2. SHP 转 Excel

• • 作用：把一个文件夹里（含子文件夹）的所有 .shp 文件，逐个转成同一个 Excel 工作簿里的不同工作表，每个 SHP 的属性表、坐标（经度/纬度）都会保留；点、线、面几何会转成坐标或中心点，方便在 Excel 里查看、修改。
• • 怎么用：点击「SHP 转 Excel」，先选「SHP 文件夹」（程序会递归查找所有 .shp），再选「保存 Excel 的位置和文件名」，确认后自动转换；若某个 SHP 几何数据损坏（如报错 Invalid length for entity），工具会尽量只导出属性表，避免整个文件失败。
• • 注意：每个 SHP 对应一个工作表，工作表名来自文件名（不含 .shp）；Excel 工作表名有长度和字符限制，程序会自动截断和替换非法字符。

3. Excel 文件整理

• • 作用：给选定的 Excel 文件统一排版：表头行加粗、表头背景设为灰色（如 #C0C0C0）、正文字体统一为 Arial 10 号，多份表格风格一致，交报告、归档都更规范。
• • 怎么用：点击「Excel 文件整理」，选择要整理的 .xlsx 或 .xls 文件，程序会直接在该文件上修改并保存（建议先自行备份）；支持多工作表，每个表都会按同一套规则处理。

二、合库数据功能（三个功能）

4. Excel 文件合并

• • 作用：把一个目录下（含所有子目录）的多个 Excel 工作簿，按工作表名称合并成一个大工作簿：同名的表从第二行起追加在一起，表头只保留一份，适合多期、多批数据「合库」。
• • 怎么用：点击「Excel 文件合并」，先选「包含 Excel 的目录」，再选「合并后要保存的 .xlsx 路径」；程序会递归查找所有 .xlsx 和 .xls，逐个读取、按表名合并；若存在名为「Structures」的工作表，还会按指定字段排序。合并完成后可选对表头做统一格式化（加粗、灰色背景等）。
• • 注意：支持 .xlsx 和 .xls；若某个文件损坏或格式异常，会跳过该文件并记录在结果提示里，不影响其他文件合并。

5. 图片合并整理

• • 作用：把散落在多个子文件夹里的 jpg 照片，按文件名关键词自动分拣到 Media/Photo 和 Media/Sketch：文件名里带 PH 的归到 Photo，带 SK 的归到 Sketch，整理完目录结构清晰，便于和 Excel 里的 Picture、Sketch 表对应。
• • 怎么用：点击「图片合并整理」，先选「待处理图片文件夹」，再选「目标 Media 文件夹」；程序会在其下创建 Photo、Sketch 子文件夹，并移动（非复制）符合规则的 jpg 过去。支持子目录递归扫描。
• • 注意：目标是「整理」而非备份，原位置的文件会被移走；若目标已有同名文件，会按程序逻辑处理（如覆盖或避免覆盖，以实际版本为准）。

6. Excel 转 SHP

• • 作用：把 Excel 工作簿里的多个工作表，每个转成一个独立的 .shp 文件；程序会自动识别坐标列（经度/纬度、X/Y、或中文「经度」「纬度」），用这些列生成点几何，保存为 Shapefile，方便在 ArcGIS、QGIS 等软件里做图和分析。
• • 怎么用：点击「Excel 转 SHP」，选择 Excel 工作簿和「SHP 保存文件夹」；每个有坐标数据的工作表会导出一个 .shp，字段名会按 SHP 要求截断或重命名（如 10 字符、字母数字下划线）。坐标列优先识别 Longitude/Latitude，其次 X/Y。
• • 注意：工作表里必须有可识别的坐标列，否则该表会跳过；经纬度建议在 -180～180、-90～90 范围内，否则会按无坐标系处理，需在 GIS 中自行设投影。

三、数据检查功能（两个功能）

7. 图片与 Excel 记录一致性检查

• • 作用：对比 Picture 工作表和 Sketch 工作表的 B 列（通常为照片文件名）与 Photo 文件夹、Sketch 文件夹里实际存在的 jpg，生成一份文字报告：哪些照片在文件夹里但没有在表里登记、哪些表里有记录但文件夹里没有图，方便查漏补缺。
• • 怎么用：点击「图片与 Excel 记录一致性检查」，选择 Excel 工作簿和「要检查的照片目录」（应包含 Photo、Sketch 子目录或等效结构）；程序会匹配 B 列与文件名（不区分大小写），报告显示在界面下方的「检查报告」区域。
• • 注意：工作表名支持「Picture」「Picture.shp」「Sketch」「Sketch.shp」等常见写法，B 列应为文件名（如 38263B064_PH09.jpg），程序会自动补 .jpg 做匹配。

8. 删除多余照片

• • 作用：在「一致性检查」的基础上再进一步：找出文件夹里有、但 Excel 里没有任何记录的照片，列出清单，经用户确认后一键删除，减少冗余文件，节省空间并降低混淆。
• • 怎么用：点击「删除多余照片」，选择 Excel 工作簿和 Media 目录；程序会列出 Photo、Sketch 下「多余」的文件，弹窗确认是否删除；确认后执行删除，并在报告区显示结果。删除不可恢复，建议先备份或确认清单无误再点确认。

典型使用场景（可以怎么搭配用）

• • 每天野外调查回来：先用「野外数据导出」整理原始数据并备份 → 需要给甲方或汇报用表格时，用「SHP 转 Excel」把各类 SHP 导出到一张 Excel。
• • 多期数据合库：用「Excel 文件合并」把多期 Excel 合成一本 → 用「Excel 文件整理」统一表头和字体。
• • 照片和表格对账：用「图片合并整理」把照片归到 Photo/Sketch → 用「图片与 Excel 记录一致性检查」看是否缺图或缺记录 → 用「删除多余照片」清理无记录的照片。
• • 从表格到地图：用「Excel 转 SHP」把带坐标的 Excel 表转成 SHP，再在 GIS 里制图或分析。

实现原理与技术栈

• • 主语言与运行方式
• • 使用 Python 3.8+ 开发，核心逻辑集中在 main.py。
• • 通过 PyInstaller 打包为 SGS项目数据整理工具.exe，方便在无 Python 环境的电脑上直接运行。
• • 桌面界面与交互架构

  classGeologyToolApp(ctk.CTk):def__init__(self):super().__init__()self.create_field_data_export_row()  # 野外数据整理self.create_second_row()             # 数据检查功能self.create_first_row()              # 合库数据功能defupdate_status(self, text, status_type="info"):# 统一更新底部状态栏与颜色        ...

• • 基于 tkinter + customtkinter 实现深色风格 GUI，GeologyToolApp 作为主窗口类，按「野外数据整理 / 数据检查 / 合库数据功能」三大区域布置按钮。
• • 按钮只负责收集参数 + 启动后台任务，真正的耗时操作（读写 Excel、SHP、扫描目录等）放在 threading.Thread 里执行，避免界面无响应。
• • 底部状态栏统一显示「正在执行…」「系统就绪」等状态信息，野外导出时还会把 FieldDataExport_geopandas.py 的日志重定向到界面状态。
• • 数据处理与文件读写
• • Excel：pandas + openpyxl / xlrd，封装了 read_excel_file()，自动根据扩展名选择引擎，既兼容 .xlsx 又能在安装 xlrd 后读 .xls。
• • SHP 与空间数据：geopandas + shapely，在「SHP 转 Excel」「Excel 转 SHP」「野外数据导出」中统一使用；支持点、线、面几何，必要时只导出属性表以绕过损坏记录。
• • 图片与文件系统：Pillow 处理照片 DPI 和 EXIF，os / pathlib.Path / shutil 用于移动、备份和合并照片，以及建立 DataClean、Backup、Media/Photo、Media/Sketch 等目录结构。
• • 其他：个别场景使用 sqlite3、csv、numpy 等库，在 FieldDataExport_geopandas.py 中对原始野外数据做更精细的转换与校正。
• • 模块拆分与复用

  def_run_field_data_export(self, fieldfd, date, outfd, backupfd, content):# 动态导入 FieldDataExport_geopandas 模块    spec = importlib.util.spec_from_file_location("FieldDataExport_geopandas", field_export_module_path    )    module = importlib.util.module_from_spec(spec)# 将模块中的消息输出映射到 UI 状态栏    module.AddMessage = lambda msg: self.update_status(str(msg), "processing")    module.AddWarning = lambda msg: self.update_status(f"警告: {msg}", "warning")    module.AddError =   lambda msg: self.update_status(f"错误: {msg}",  "error")    spec.loader.exec_module(module)    module.main(fieldfd, date, outfd, backupfd, content)

• • 所有 Excel/SHP/图片相关操作都封装成独立方法（如 shp_to_excel、merge_excel_files、merge_images、excel_to_shp 等），便于后续在不改界面的前提下扩展或替换内部实现。
• • 野外导出逻辑单独放在 FieldDataExport_geopandas.py 中，主界面通过 importlib.util.spec_from_file_location 动态加载，并把 AddMessage/Warning/Error 这类输出函数重定向到 GUI：

整体上，这是一套**「界面层（customtkinter） + 任务调度层（线程 + 状态栏） + 业务逻辑层（Excel/SHP/图片处理函数）」**分离的架构，既照顾非技术用户的易用性，又方便技术同事阅读、修改和二次开发。

怎么用？环境要求与获取方式

方式一：直接运行 exe（推荐给非开发人员）

• • 在发布包中找到 「SGS项目数据整理工具.exe」，双击运行即可。
• • 界面为深色地质风格，上方是各功能按钮，下方是检查报告区域和状态栏；点击对应按钮后，按弹窗提示选择文件或文件夹，处理在后台进行，状态栏会显示「正在…」「系统就绪」等状态。
• • 若杀毒软件报警，多为误报（打包工具生成 exe 常见），可添加信任或从可靠渠道获取 exe。

方式二：用 Python 源码运行

• • 需要 Python 3.8 或更高版本。
• • 基础功能（Excel 合并、图片整理、Excel 整理、一致性检查、删除多余照片）：安装项目里的 requirements.txt 依赖即可（如 pandas、openpyxl、customtkinter 等），运行 python main.py。
• • 地理相关功能（野外数据导出、SHP 转 Excel、Excel 转 SHP）：还需安装 geopandas。Windows 上建议用 conda：conda install -c conda-forge geopandas；或从第三方站点下载 GDAL、Fiona 的 wheel 再 pip install geopandas，详见项目内的安装说明或 install_geopandas.bat。
• • 不安装 geopandas 也可以正常使用除上述三项以外的所有功能。

注意事项小结

• • Excel 转 SHP：工作表里必须有可识别的坐标列（经度/纬度或 X/Y），否则该表无法导出为 SHP。
• • 一致性检查 / 删除多余照片：Excel 中需有 Picture、Sketch 工作表（或 Picture.shp、Sketch.shp），B 列为照片文件名；照片目录结构建议包含 Photo、Sketch 子目录。
• • 图片合并整理：会移动文件而非复制，重要照片请先备份；分拣规则为文件名含 PH → Photo，含 SK → Sketch。
• • 合并与整理：合并会递归扫描子目录下所有 Excel；整理会直接修改所选 Excel 文件，建议先备份。

小结

SGS 项目数据整理工具把野外数据导出、Excel 与 SHP 互转、多表合并、照片分拣、表头统一、记录与照片对账、多余照片清理集中在一个窗口里，适合作为项目每周合库、交成果前的标准化数据处理工具。