Сбер выложил в открытый доступ нейросеть для видеоаватаров
Сбер открыл код Kandinsky Avatar 1.0 под лицензией MIT. Модель создаёт минутные видеоаватары по фото и голосу и по слепым тестам обходит HeyGen IV и Kling Avatar 2.
Сбер открыл бесплатный доступ к Kandinsky Avatar 1.0 — первой полностью российской модели, которая создаёт реалистичных говорящих видеоаватаров по одному изображению и аудиозаписи голоса. Модель генерирует ролики длиной до минуты с частотой 24 кадра в секунду и доступна разработчикам под открытой лицензией MIT, в том числе для коммерческого использования.
Что умеет модель
Для создания аватара модели достаточно трёх входных данных: изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом — аватар выразит радость, грусть или злость. Аватар говорит на языке переданной аудиозаписи, поэтому видео можно создавать на любом языке.
Важное ограничение: модель не синтезирует и не клонирует голос. Она работает только с материалами, которые предоставляет пользователь. Оживлять можно не только людей, но и животных, и мультипликационных персонажей.
Код и веса опубликованы бесплатно на GitHub, GitVerse и Hugging Face. Моделью можно пользоваться в популярных инструментах интеграции нейросетей — ComfyUI и Diffusers (библиотека для запуска генеративных моделей от Hugging Face).
Зачем Сбер это сделал
Управляющий директор по исследованию данных Сбербанка Денис Димитров объяснил мотивацию прямым текстом: «Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля».
По его словам, обратная связь от сообщества покажет, как модель работает в разных сценариях. Этот опыт Сбер использует в следующих версиях Kandinsky и при внедрении видеоаватаров в собственные сервисы. Кейсы, которые называет сам банк:
- сервисы для блогеров: сценарий, озвучка — и готовый ролик с говорящим ведущим;
- образовательные платформы с виртуальным преподавателем;
- виртуальные консультанты, отвечающие клиентам круглосуточно;
- локализация видео на другие языки с точной артикуляцией;
- игры и анимация с говорящими персонажами;
- персональные видеооткрытки и личные аватары.
Две версии и чем они отличаются
Kandinsky Avatar построена на базе видеогенератора Kandinsky 5.0 Video и вышла в двух версиях. Флагманская Pro создаёт видео в HD-разрешении и показывает лучшее качество среди протестированных открытых моделей, работая на уровне HeyGen — одного из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте: она генерирует SD-видео и по качеству сопоставима с открытыми моделями, которые крупнее её в 7–10 раз.
Обучение потребовало масштабной базы: более 1 млн фрагментов видео — интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.
Насколько модель лучше конкурентов
Слепое сравнение (участники смотрели пары роликов и выбирали лучший, не зная автора) показало: ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого конкурента — в 63% случаев против Kling Avatar 2, в 60% против LongCat-Avatar-1.5 и в 54% против HeyGen IV. Оценка шла по семи критериям.
Самый большой отрыв — в синхронизации губ с речью: здесь модель предпочли в 77% сравнений с LongCat-Avatar-1.5, в 76% с Kling Avatar 2 и в 69% с HeyGen IV. По естественности мимики и движений Kandinsky Avatar 1.0 Pro выбирали в пять раз чаще, чем Kling Avatar 2. Выше конкурентов оценили и создание жестов. Модель опережает соперников и на русском языке, и на других. Практический вывод: у российских команд впервые появилась открытая основа для продуктов с видеоаватарами, не уступающая мировым аналогам.
Original: t.me
More from Сергей Мельник
189 articles
Related articles
- Pinduoduo and Anthropic paid Kazakhstan 8 billion tenge in taxes
- Disney Will Show Super Bowl 2027 Through the Eyes of Star Wars Characters
- Omnicom: Creative Falls for Third Quarter, Media Grows 10%
- 51% of teens call brand slang flirting
- Elvis Presley Song Rights Holders Demand $41.1 Million from Anthropic