Hive Metastore хранит метаданные. Это, например, данные о пути к файлам, о колонках и типах данных. Вся эта информация помогает легче обращаться к массивам данных и преобразовывать их в реляционные таблицы — подготовленный формат для разработки бизнес-систем. Hive Metastore предоставляет метаданные приложениям и помогает ускорять доступ и обработку конкретных данных из облачного хранилища.
Hive Metastore интегрирован с сервисом для обработки массивов данных Yandex Data Proc. Технология представлена в виде отдельных кластеров, которые автоматически масштабируются и используют сервис Yandex Object Storage как основной вариант хранения данных. Размещение информации в Object Storage обеспечивает совместный доступ к данным из множества кластеров Data Proc, гарантирует надёжность хранения и высокую пропускную способность доступа к данным.
“Сервисы платформы данных остаются самыми быстро растущими по темпам потребления на облачной платформе. Для нас важно, чтобы работа с данными с помощью сервисов Yandex Cloud была максимально простой и быстрой для дата-инженеров, аналитиков, датасаентистов, ведь качественный анализ данных помогает любому бизнесу быстрее принимать решения и получать конкурентные преимущества. Hive Metastore позволяет упорядочить работу с данными из разных источников и, как результат, ускоряет работу с ними”, — отметил Григорий Атрепьев, директор по продуктам Yandex Cloud.