BUFR - BUFR

Универсальная форма Binary для представления метеорологических данных ( BUFR ) является двоичный формат данных поддерживается Всемирной метеорологической организации (ВМО). Последней версией является BUFR Edition 4. BUFR Edition 3 также считается актуальной для оперативного использования. BUFR был создан в 1988 г. с целью замены десятков символьных метеорологических кодов ВМО , таких как SYNOP (приземные наблюдения), TEMP (аэрологические зондирования) и CLIMAT (ежемесячные климатологические данные). BUFR был разработан, чтобы быть портативным, компактным и универсальным. Могут быть представлены данные любого типа вместе с их конкретным пространственным / временным контекстом и любыми другими связанными метаданными . В терминологии ВМО BUFR относится к категории кодовых форм , управляемых таблицами , где значение элементов данных определяется ссылкой на набор таблиц, которые хранятся и обслуживаются отдельно от самого сообщения.

BUFR - это сложный формат, который может быть трудно использовать, и он имеет некоторые недостатки. Введение формата BUFR привело к «рассогласованию» данных и множеству ошибок форматирования.

Описание формата

Сообщение в коде BUFR состоит из шести разделов, пронумерованных от нуля до пяти.

  • Разделы 0, 1 и 5 содержат статические метаданные, в основном для идентификации сообщения.
  • Раздел 2 не является обязательным; если он используется, он может содержать произвольные данные в любой форме, которую пожелает создатель сообщения (это рекомендуется только для локального использования).
  • Раздел 3 содержит последовательность так называемых дескрипторов, которые определяют форму и содержание информационного продукта BUFR.
  • Раздел 4 - это поток битов, содержащий основные данные сообщения и значения метаданных, как указано в Разделе 3.

Описание продукта, содержащееся в разделе 3, можно сделать сложным и нетривиальным за счет использования репликации и / или дескрипторов операторов. (См. Ниже краткий обзор различных видов дескрипторов; дополнительные подробности см. В Руководстве ВМО по BUFR.)

Шаблоны

Раздел 3 содержит короткий заголовок, за которым следует последовательность дескрипторов, которая соответствует содержимому битового потока раздела 4. Последовательность дескрипторов в разделе 3 можно понять как шаблон сообщения BUFR. Шаблон содержит информацию, необходимую для описания структуры значений данных, встроенных в соответствующий битовый поток. Его следует интерпретировать поэтапно, подобно алгоритму . Учитывая набор сообщений BUFR, значения, содержащиеся в Разделе 4, могут отличаться от одного сообщения к другому, но их порядок и структура будут оставаться предсказуемыми, если шаблон, представленный в Разделе 3, останется неизменным. Шаблоны могут быть разработаны для удовлетворения требований конкретного информационного продукта (например, погодных наблюдений). Такие шаблоны затем можно использовать для стандартизации содержания и структуры продуктов данных в коде BUFR. ВМО выпустила ряд шаблонов BUFR для данных приземных и аэрологических наблюдений.

Дескрипторы

Все дескрипторы шириной 16 бит имеют структуру FXY , где F относится к двум старшим битам (крайнему левому); X относится к 6 средним битам, а Y - к младшим (крайним правым) 8 битам. Значение F (от 0 до 3) определяет тип дескриптора.

  • Дескрипторы элементов (F = 0): как следует из названия, эти дескрипторы используются для передачи элементарных данных и связанных метаданных.
    Значение X определяет класс дескриптора (т.е. параметры горизонтальной координаты, параметры температуры и т. Д.). Значение Y - это номер дескриптора в своем классе. Дескрипторы элементов классов с 1 по 9 обладают особым свойством оставаться в силе с момента, когда они появляются в остальной части шаблона BUFR, если не противоречат или не отменены. На практике дескрипторы классов с 1 по 9 используются для пространственных, временных и других метаданных, которые применимы к основным данным сообщения BUFR.
    Все дескрипторы элементов определены в разделе спецификации BUFR, известном как «Таблица B». Добавление новых дескрипторов элементов в таблицу B не требует изменений в спецификации программного обеспечения BUFR. Определение дескриптора элемента в таблице B включает его номер, краткое текстовое определение, параметры декодирования (разрядность, масштабный коэффициент и смещение) и тип (числовой, символьная строка, кодовая таблица и т. Д.).
  • Дескрипторы репликации (F = 1): специальные дескрипторы, которые позволяют контролируемое повторение выбранного количества дескрипторов. Это очень мощная операция, которая вводит петлевые структуры в шаблоны BUFR. Значение X определяет количество следующих дескрипторов, которые должны быть включены в репликацию; Y значение указывает на то, сколько раз репликация иметь место. Если Y = 0, то репликация называется «отложенной репликацией», и количество репликаций должно быть получено из значения дескриптора специального элемента.
  • Дескрипторы операторов (F = 2): эти дескрипторы передают специальные операции, которые могут изменять характер данных или позволять создавать и манипулировать дополнительными данными вместе с исходными. Значение X идентифицирует оператора, а значение Y используется для управления его применением. Эти дескрипторы определены в разделе спецификации BUFR, известном как «Таблица C». Добавление новых дескрипторов операторов в таблицу C действительно требует изменений в спецификации программного обеспечения BUFR и, следовательно, ведет к новому номеру издания BUFR.
  • Дескрипторы последовательности (F = 3): Дескриптор одиночной последовательности является псевдонимом для последовательности других дескрипторов, включая дескрипторы репликации и записи таблиц B, C и D. Эти дескрипторы определены в разделе спецификации BUFR, известном как «Таблица D». Использование значений X и Y такое же, как и для дескрипторов элементов.

Подмножества

Структура данных, установленная в шаблоне раздела 3, может многократно использоваться в одном сообщении BUFR. В таком случае Раздел 4 будет содержать последовательность так называемых подмножеств . Например, подмножества можно использовать для передачи наблюдений из нескольких мест в одном сообщении.

использованная литература

  1. ^ https://www.eumetsat.int/website/wcm/idc/idcplg?IdcService=GET_FILE&dDocName=PDF_CONF_P57_S5_01_KARHILA_V&RevisionSelectionMethod=LatestReleased&Rendition=Web
  2. ^ «О пригодности BUFR и GRIB для архивирования данных» . 10 января 2013 г. Цитировать журнал требует |journal=( помощь )
  3. Перейти ↑ Hand, E. (2016). «Ткацкие станки устаревания данных о воздушном шаре» . Наука . 352 (6283): 281–282. Bibcode : 2016Sci ... 352..281H . DOI : 10.1126 / science.352.6283.281 . PMID  27081049 .
  4. ^ «Работа с исчезающими данными на поверхности: переход на кодировку BUFR и прекращение использования текстовых SYNOP и отчетов с буев» . 25 января 2017. Цитировать журнал требует |journal=( помощь )
  5. ^ "ECMWF - TAC2BUFR - ECMWF Confluence Wiki" (PDF) .

внешние ссылки

Онлайн-валидаторы BUFR

Программные библиотеки