программное обеспечение
Группа Arenadata выпустила новую версию высокопроизводительной СУБД для оперативной аналитики больших объемов структурированных данных — Arenadata QuickMarts (ADQM) 26.8.2.7. Релиз уже доступен пользователям и включает новый LLM-сервис, централизованный мониторинг, обновленный ClickHouse и ряд улучшений для администрирования кластеров.
Основные изменения Arenadata QuickMarts:
- Основа ADQM — ClickHouse — обновлена до более актуальной и стабильной LTS-версии 26.8.2.7-lts.
- В режиме tech preview появился принципиально новый встроенный LLM-сервис Text-to-SQL на основе дообученной локальной языковой модели семейства Qwen3.6. Он преобразует запросы на естественном языке в SQL-диалект ClickHouse.
- С помощью Wizard, мастера поэтапной установки и настройки, стала доступна установка кластера ADQM, а также операции Reinstall, Upgrade и Reconfig. Это упрощает стандартные процедуры с кластером ClickHouse и снижает риск ошибок.
- После внедрения мониторинга ADQM на базе Prometheus добавлена поддержка централизованного мониторинга платформы на основе VictoriaMetrics, включая новые дашборды.
- Сервис ClickHouse Keeper доработан: теперь можно динамически менять его конфигурацию, гибче управлять настройками при установке и удалении, а также настраивать другие параметры. Это повышает удобство администрирования.
- Обновлена поддержка российской ОС Astra Linux 1.8.6 и добавлена поддержка Ubuntu 24.04 LTS. Одновременно прекращена поддержка устаревших РЕД ОС 7.3 и Astra Linux 1.7.
- ADQM Notebook обновлен до версии 1.2.0. В нем реализована интеграция с LLM-сервисом Text-to-SQL. В разделе Dependency Graph добавлено отображение связей между объектами базы данных на уровне запросов, для запросов SELECT — просмотр плана выполнения, а также история запросов для их сравнения и переключения между ними.
Одновременно вышла новая версия инструмента ADQM Control 1.4.0, который помогает отслеживать состояние кластера ADQM и анализировать его работу:
- Добавлена поддержка Astra Linux 1.8.6 и Ubuntu 24.04 LTS.
- Появились новые графики для анализа запросов (user load и duration delta). Они помогают наглядно оценивать среднюю нагрузку от пользователей и отклонения от среднего времени выполнения запросов, чтобы выявлять аномалии и контролировать нагрузку на кластер.
- Повторяющиеся запросы можно объединять в группы с несколькими уровнями вложенности и оставлять к ним комментарии. Это упрощает работу с запросами и их контроль со стороны DBA.
- На страницу с информацией о таблицах ADQM добавлены карточки с детальной статистикой запросов по параметрам Reads, Writes, Changes и Consumers. Это сделано для удобства аналитиков и администраторов.
- Реализовано отображение отметок структурных изменений в таблицах и колонках: добавление или удаление столбцов, изменение кодеков сжатия.
- Расширено управление пользователями СУБД: добавлена блокировка, разблокировка и удаление пользователей, а для повышения безопасности — защита от перебора паролей при входе в систему.
- Значительно ускорено построение графиков, а также работа с таблицами и группами таблиц на больших временных интервалах.
«В релизе Arenadata QuickMarts 26.8.2.7 мы уделили особое внимание тому, чтобы работа с кластерами стала проще и безопаснее. Типовые операции — от установки до обновления и изменения конфигурации — теперь можно выполнять через пошаговый мастер, что снижает риск ошибок и нагрузку на команды эксплуатации. Централизованный мониторинг и новые графики в ADQM Control помогают быстрее находить источники проблем, а расширенное управление пользователями и защита от перебора паролей повышают безопасность доступа», — отмечает Антон Коваленко, руководитель отдела продуктового маркетинга Arenadata.
«В основе сервиса Text-to-SQL — первая языковая модель, которую мы в Arenadata дообучили сами, пройдя весь путь от подготовки датасета до оценки качества. Мы взяли модель, которая уже знает SQL, и научили ее диалекту ClickHouse. Сервис позволяет учитывать схему конкретного кластера и работает полностью локально, поэтому задавать вопросы на естественном языке можно не выводя данные за пределы клиентского контура», — добавляет Дмитрий Безруков, технический руководитель продуктов ADQM и ADQM Control.
