MarTech и ИИ

Сбер выложил в открытый доступ нейросеть для видеоаватаров

Сбер открыл код Kandinsky Avatar 1.0 под лицензией MIT. Модель создаёт минутные видеоаватары по фото и голосу и по слепым тестам обходит HeyGen IV и Kling Avatar 2.

3 мин чтения

Разработчикам стала доступна Kandinsky Avatar 1.0 — нейросеть Сбера, которая создает видеоаватары по фото и голосу
Разработчикам стала доступна Kandinsky Avatar 1.0 — нейросеть Сбера, которая создает видеоаватары по фото и голосуGustavoWandalen / pixabay

Сбер открыл бесплатный доступ к Kandinsky Avatar 1.0 — первой полностью российской модели, которая создаёт реалистичных говорящих видеоаватаров по одному изображению и аудиозаписи голоса. Модель генерирует ролики длиной до минуты с частотой 24 кадра в секунду и доступна разработчикам под открытой лицензией MIT, в том числе для коммерческого использования.

Что умеет модель

Для создания аватара модели достаточно трёх входных данных: изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом — аватар выразит радость, грусть или злость. Аватар говорит на языке переданной аудиозаписи, поэтому видео можно создавать на любом языке.

Важное ограничение: модель не синтезирует и не клонирует голос. Она работает только с материалами, которые предоставляет пользователь. Оживлять можно не только людей, но и животных, и мультипликационных персонажей.

Код и веса опубликованы бесплатно на GitHub, GitVerse и Hugging Face. Моделью можно пользоваться в популярных инструментах интеграции нейросетей — ComfyUI и Diffusers (библиотека для запуска генеративных моделей от Hugging Face).

Зачем Сбер это сделал

Управляющий директор по исследованию данных Сбербанка Денис Димитров объяснил мотивацию прямым текстом: «Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля».

По его словам, обратная связь от сообщества покажет, как модель работает в разных сценариях. Этот опыт Сбер использует в следующих версиях Kandinsky и при внедрении видеоаватаров в собственные сервисы. Кейсы, которые называет сам банк:

  • сервисы для блогеров: сценарий, озвучка — и готовый ролик с говорящим ведущим;
  • образовательные платформы с виртуальным преподавателем;
  • виртуальные консультанты, отвечающие клиентам круглосуточно;
  • локализация видео на другие языки с точной артикуляцией;
  • игры и анимация с говорящими персонажами;
  • персональные видеооткрытки и личные аватары.

Две версии и чем они отличаются

Kandinsky Avatar построена на базе видеогенератора Kandinsky 5.0 Video и вышла в двух версиях. Флагманская Pro создаёт видео в HD-разрешении и показывает лучшее качество среди протестированных открытых моделей, работая на уровне HeyGen — одного из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте: она генерирует SD-видео и по качеству сопоставима с открытыми моделями, которые крупнее её в 7–10 раз.

Обучение потребовало масштабной базы: более 1 млн фрагментов видео — интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.

Насколько модель лучше конкурентов

Слепое сравнение (участники смотрели пары роликов и выбирали лучший, не зная автора) показало: ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого конкурента — в 63% случаев против Kling Avatar 2, в 60% против LongCat-Avatar-1.5 и в 54% против HeyGen IV. Оценка шла по семи критериям.

Самый большой отрыв — в синхронизации губ с речью: здесь модель предпочли в 77% сравнений с LongCat-Avatar-1.5, в 76% с Kling Avatar 2 и в 69% с HeyGen IV. По естественности мимики и движений Kandinsky Avatar 1.0 Pro выбирали в пять раз чаще, чем Kling Avatar 2. Выше конкурентов оценили и создание жестов. Модель опережает соперников и на русском языке, и на других. Практический вывод: у российских команд впервые появилась открытая основа для продуктов с видеоаватарами, не уступающая мировым аналогам.

На основе: https://www.cossa.ru/news/351972/

Поделиться статьёй:

Ещё от Сергей Мельник

Сергей Мельник

Показать полностью

Корреспондент «Eurasia Marketing», освещает регулирование и его влияние на сферу «маркетинг, реклама, маркетинговые технологии, медиаиндустрия».

187 статей

Связанные материалы

« Предыдущая статьяСледующая статья »