Данные
Единый стандарт описания данных
Единый стандарт формального описания пространственно-временных данных цифрового двойника почв.
Назначение стандарта
Прикладные задачи в области почвоведения и сельского хозяйства, для решения которых создается цифровой двойник почв, невозможно реализовать без пространственно-временных данных. Современные почвенные и экосистемные модели требуют интеграции разнообразных типов данных из различных источников – глобальных баз данных, полевых и экспериментальных наблюдений, информации с локальных сенсоров. В связи с разнородностью источников данных и самих получаемых данных требуется их унификация в соответствии с единым стандартом формального описания.
Этот стандарт описания данных должен обладать рядом ключевых свойств:
- стандарт должен описывать данные в формализованном виде, чтобы автоматически читать и анализировать цифровым двойником;
- данные, описанные по стандарту, должны быть совместимы между различными источниками, моделями и сервисами API;
- стандарт должен поддерживать добавление новых типов данных, моделей, отвечающих новым прикладным задачам;
- совместимость с внешними стандартами описания данных и метаданных.
Основа ЕСОД
На сегодняшний день разработаны международные и национальные стандарты метаданных, которые устанавливают единые правила описания, обмена и распознавания всех возможных типов географических данных. К таким стандартам относятся ISO 19115-1:2014 «Geographic Information – Metadata», INSPIRE (ISO 19139), FGDC-CSDGM, OGC-EO Metadata. Часть стандартов разработаны с учетом принципов каталогизации пространственных данных, что обеспечивает их непосредственную интеграцию в системы каталогов и сервисов метаданных. Стандарт STAC выступает не только моделью описания данных, но и основой для их публикации, поиска и использования через веб-интерфейсы.
В рамках проекта разработан ЕСОД – единый стандарт описания данных с опорой на стандарты STAC, ISO-19115 и OGC. ЕСОД определяет обязательные элементы метаданных – основную информацию о датасете, пространственно-временные границы, системы координат, лицензию распространения данных, контактную информацию и ссылку на связанные ресурсы. Основное свойство ЕСОД заключается в описании смешанных данных, которые заключают в себе растровые, векторные, табличные и другие типы данных, включая данные, доступные во внешних общедоступных STAC-каталогах.
Система публикации и доступа
ЕСОД является центральной частью системы каталогизации, публикации и визуализации пространственных данных, реализованной на основе связки pgSTAC и pygeoapi. Хранение и индексирование метаданных о наборах растровых данных организовано в базе данных PostgreSQL/PostGIS с установленным расширением pgSTAC, обеспечивающим структурирование и быстрый поиск STAC-совместимых коллекций и файлов.
Доступ к этим данным реализован через stac-fastapi – динамический сервер, предоставляющий интерфейсы для публикации и поиска коллекций в соответствии со спецификацией STAC API и поддерживающий базовые функции предварительной визуализации датасетов. Публикация наборов данных иных форматов, включая векторные, табличные и вспомогательные, осуществляется на локальном файловом хранилище с использованием приложения pygeoapi, которое реализует спецификации OGC API (Features, Records, Coverages) и обеспечивает стандартизованный доступ и визуализацию таких ресурсов. Это решение позволяет структурированно хранить, искать и визуализировать растровые и векторные коллекции, включая подключение к ГИС-клиенту (QGIS).
Структура ЕСОД
В таблице приведена структура ЕСОД на примере основных типов данных, используемых в реализациях цифрового двойника.
| Тип данных | Вектор (vector) | Растры (grid) | stac-collection |
|---|---|---|---|
| Формат хранения данных | PostGIS, GeoPackage, Shapefile | GeoTIFF, NetCDF, GRIB2… | JSON-файлы (каталог STAC) |
| Resources (особые поля) | type: feature; providers: PostgreSQL или GeoPackage; id_field, geom_field, title_field — поля для предварительного отображения | type: coverage; providers: rasterio; data: путь к GeoTIFF/NetCDF на локальном диске или внешний URL; format: name, mimetype | type: stac; providers: stac; data: путь к STAC-каталогу на локальном диске или внешний URL |
| Основное применение | Почвенные карты, земельные угодья, границы ключевых участков | Климатические и геолого-геоморфологические данные, землепользование | Общедоступные каталоги данных |