Прорывы в технологии генерации видео с помощью ИИ и будущее её развития

Недавние достижения в области ИИ, безусловно, связаны с значительным прорывом в технологии многомодальной генерации видео. Эта технология эволюционировала от простого создания видео на основе текста к интеграции текста, изображений и аудио в полную цепочку генерации.

Несколько заметных примеров этого технологического прорыва включают в себя:

1. Открытая платформа EX-4D, разработанная одной из технологических компаний, может преобразовывать обычное однотонное видео в контент 4D с произвольным углом обзора, уровень одобрения пользователей достигает 70,7%. Эта технология позволяет ИИ автоматически генерировать эффект просмотра под любым углом, что раньше требовало команды профессиональных 3D-моделистов.

2. Платформа ИИ представила функцию "Хуэйсян", которая утверждает, что может создать 10-секундное видео "кинематографического" качества из одного изображения. Однако достоверность этого заявления требует дополнительной проверки.

3. Технология Veo, разработанная одной из исследовательских организаций в области ИИ, позволяет синхронно генерировать 4K видео и окружающие звуки. Ключевым моментом этой технологии является достижение соответствия звука и изображения на истинном семантическом уровне, что преодолевает проблемы синхронизации в сложных сценах.

4. Технология ContentV определенной платформы коротких видео имеет 8 миллиардов параметров и может генерировать 1080p видео за 2,3 секунды, стоимость составляет 3,67 юаня за 5 секунд. Хотя контроль затрат неплохой, качество генерации в сложных сценах все еще нуждается в улучшении.

Эти технологические прорывы имеют важное значение в таких аспектах, как качество видео, затраты на его создание и области применения. С технической точки зрения, сложность генерации мультимодального видео является экспоненциальной и включает в себя такие аспекты, как генерация изображений, временная согласованность, синхронизация аудио и пространственная согласованность в 3D. В настоящее время эти сложные задачи реализуются благодаря модульному разложению и совместной работе крупных моделей.

В плане затрат оптимизация архитектуры вывода, включая стратегию генерации с несколькими уровнями, механизм повторного использования кэша и динамическое распределение ресурсов, значительно снизила затраты на генерацию. Это делает генерацию AI-видео более экономически выгодной.

Влияние на области применения также весьма значительно. Традиционное видеопроизводство является капиталоемкой отраслью, в то время как технологии ИИ упрощают этот процесс до ввода подсказок и нескольких минут ожидания, одновременно позволяя достигать ракурсов и эффектов, которые трудно реализовать с помощью традиционной съемки. Это может привести к переосмыслению экономики создателей, смещая акцент с технических и финансовых барьеров на креативные и эстетические способности.

Эти изменения тесно связаны с Web3 AI:

1. Изменение структуры спроса на вычислительную мощность может увеличить потребность в распределенной неиспользуемой вычислительной мощности, а также в различных распределенных моделях тонкой настройки, алгоритмах и платформах для вывода.

2. Потребность в аннотировании данных также возрастет. Для создания профессионального видео требуется точное описание сцен, справочные изображения, звуковые стили, траектории движения камеры и условия освещения и т.д. Механизмы стимулирования в Web3 могут побудить специалистов предоставлять высококачественные данные.

3. Переход технологий ИИ от централизованного распределения крупных ресурсов к модульному сотрудничеству сам по себе представляет новую потребность в децентрализованных платформах. В будущем вычислительная мощность, данные, модели и механизмы стимулов могут сформировать самоусиливающийся положительный цикл, способствующий глубокой интеграции сцен Web3 ИИ и Web2 ИИ.