Группа Arenadata представила новую версию Arenadata Orchestrator

Релиз 3.0.0 расширяет аналитические возможности платформы и упрощает переход на следующее поколение Airflow, позволяя компаниям ускорять разработку и снижать операционные затраты.

В новую версию Arenadata Orchestrator интегрирована высокопроизводительная in-process-аналитическая СУБД DuckDB, оптимизированная для быстрого выполнения запросов непосредственно в задачах конвейера. Это позволяет выполнять трансформацию данных без развёртывания внешнего кластера, что снижает инфраструктурные затраты и упрощает архитектуру. Для работы с DuckDB добавлены соответствующий провайдер Airflow, а также расширения для интеграции с HDFS, Ozone (ofs) и Hive Metastore, обеспечивающие бесшовную работу с данными в экосистеме Arenadata. Кроме того, реализована интеграция DuckDB с системой управления секретами: добавлено расширение, позволяющее хранить persistent secrets DuckDB централизованно в HashiCorp Vault / OpenBao вместо локального хранения на хосте.

Ядро оркестратора обновлено до версии Airflow 3.2.1. Для упрощения перехода на новую мажорную версию добавлена утилита Airflow Migration Helper, которая проверяет существующие DAG на типичные несовместимости с Airflow 3 и помогает подготовить их к миграции, что снижает риски и трудозатраты при обновлении. Для повышения отказоустойчивости реализован НА-режим для Airflow API Server и появился компонент Airflow HAproxy, который обеспечивает балансировку нагрузки и высокую доступность компонентов управления, повышая устойчивость критичных процессов к сбоям.

Arenadata Orchestrator получил поддержку сбора и передачи метрик через vmagent для интеграции с централизованным мониторингом на базе VictoriaMetrics. Такой подход отделяет сбор метрик от их централизованного хранения и позволяет использовать единый современный стек мониторинга Arenadata.

Расширена поддержка российских операционных систем: добавлена совместимость с РЕД ОС 8 (сертифицированной редакции). Дополнительно реализована поддержка дистрибутива Ubuntu 24.04 LTS, широко используемого в среде разработки и эксплуатации.

Георгий Живлюк, технический менеджер продукта Arenadata Orchestrator:

«В релизе 3.0.0 мы сфокусировались на снижении стоимости владения платформой и безопасности миграции. Интеграция DuckDB позволяет анализировать данные прямо в задачах конвейера без развёртывания внешних кластеров. Переход на ядро Airflow 3 стал предсказуемым благодаря утилите Airflow Migration Helper, минимизирующей риски для критических процессов. Кроме того, мы обновили стек мониторинга для экономии ресурсов инфраструктуры и обеспечили совместимость с сертифицированной версией РЕД ОС 8 для enterprise-заказчиков».