Европа родила нейросеть на триллион параметров

Французская компания Mistral представила Large 4 – крупнейшую в своей истории нейросеть с 1,05 триллиона параметров, из которых при работе активны 49 миллиардов. По утверждениям компании, модель обучали на 3800 ускорителях Nvidia в собственных европейских ЦОДах, а её веса обещают открыть до конца октября. Это очередная попытка Европы обзавестись собственным передовым ИИ, который в свою очередь нужен, чтобы не передавать данные американским или китайским облачным провайдерам.

По результатам тестов Artificial Analysis, Large 4 стала сильнейшей моделью, созданной за пределами США и Китая. Особенно хорошо она вроде как справляется с профессиональными задачами – программированием, анализом инженерной документации и кибербезопасностью. Правда, триллион параметров обходится недёшево, выполнение стандартной тестовой задачи стоит 1,13 доллара против 25 центов у сопоставимой по качеству китайской GLM-5.3 Flash.

Кто помогает французам строить технологическую независимость? Помимо схватившей штурвал голландской ASML среди инвесторов числятся американские Nvidia, Andreessen Horowitz и другие фонды. Nvidia поставляет ускорители и совместно с французами разрабатывает открытые модели. Не далее чем в июле Microsoft заключила с Mistral многомиллиардное соглашение на использование её европейских вычислительных мощностей и расширение сотрудничества в области ИИ. Своеобразное получается импортозамещение – Европа свои модели и инфраструктуру строит на американском оборудовании, при участии американского капитала и с Microsoft в числе крупнейших заказчиков.