VK Tech добавила функцию автоматического охлаждения данных в Tarantool Column Store

VK Tech добавила механизм автоматического охлаждения данных в Tarantool Column Store — колоночную in-memory СУБД для мгновенной обработки и анализа данных в реальном времени. Теперь устаревшие записи автоматически переносятся из оперативной памяти на диск по заданному сроку хранения, что позволит компаниям сократить затраты на хранение данных без потери доступа к ним.

Tarantool Column Store хранит и обрабатывает данные в оперативной памяти и предназначен для задач, где критически важна скорость аналитики: отслеживание подозрительных паттернов движения средств (AML — anti-money laundering, противодействие отмыванию денег), динамическое ценообразование, персонализированные рекомендации для миллионов пользователей и централизованное управление данными в ERP-системах. Продукт входит в реестр российского ПО и совместим с отечественными операционными системами Astra Linux и RED OS.

В обновлении появилась функция охлаждения данных: автоматического переноса записей из оперативной памяти на диск в формате Apache Iceberg по истечении заданного срока хранения. Администратор задаёт период, после которого данные считаются устаревшими, и система переносит их на дисковое хранилище. Данные остаются доступными для чтения, но занимают более дешёвое хранилище вместо оперативной памяти.

Обновление также включает поддержку операции быстрого сброса данных в таблице, что упрощает работу с тестовыми и временными данными.

«По данным ЦСР, объём российского рынка СУБД достиг 89,5 млрд рублей в 2024 году и растёт на 34% ежегодно. Компании ищут способы управлять затратами на хранение данных. Охлаждение в Tarantool Column Store решает эту задачу: горячие данные остаются в оперативной памяти для мгновенных запросов, а устаревшие записи автоматически переносятся на диск. В дальнейшем мы добавим охлаждение по объёму данных и другие стратегии перемещения между слоями хранения», — комментирует директор по продуктам направления Дата-сервисов VK Tech Екатерина Каннуникова.