Прориви в технології генерації відео за допомогою штучного інтелекту та майбутній розвиток

Нещодавно одним із найзначніших досягнень у сфері ШІ стало прорив у технології генерації мультимедійних відео. Ця технологія вже перейшла від простого генерування відео з тексту до здатності інтегрувати текст, зображення та аудіо в комплексні можливості генерації.

Ось кілька випадків технічних проривів, на які варто звернути увагу:

1. Технічна компанія відкрила нову платформу з відкритим кодом, яка може перетворювати звичайні відео в контент вільного кута огляду 4D, при цьому рівень схвалення користувачів досягає 70,7%. Це означає, що штучний інтелект тепер може автоматично генерувати перегляд з будь-якого кута, що раніше вимагало команди професійних 3D-моделювальників.

2. Один AI-платформа стверджує, що може з одного зображення згенерувати 10-секундне відео "кінематографічної" якості. Хоча конкретний ефект ще потрібно перевірити, це демонструє потенціал AI в галузі генерації відео.

3. Відомий дослідницький інститут штучного інтелекту представив систему, яка може синхронно генерувати 4K відео та навколишній звук. Ключем цієї технології є досягнення справжнього семантичного відповідності, що долає виклики синхронізації звуку та зображення в складних сценах.

4. Інструмент генерації AI відео, запущений певною платформою коротких відео, має 80 мільярдів параметрів і може генерувати 1080p відео за 2,3 секунди, вартість становить 3,67 юанів/5 секунд. Хоча в складних сценах ще є простір для вдосконалення, контроль витрат вже на досить хорошому рівні.

Ці технологічні прориви мають велике значення з точки зору якості відео, витрат на генерацію та сценаріїв застосування. З технологічної точки зору, складність генерації мультимодальних відео є експоненційною. Вона повинна обробляти не лише генерацію одиночних кадрів, а й забезпечувати часову узгодженість, синхронізацію звуку та просторову узгодженість 3D. Сучасні рішення досягаються шляхом модульного розподілу та співпраці великих моделей, де кожен модуль зосереджується на конкретному завданні, а потім співпрацює через механізм координації.

У плані витрат значно знизилися витрати на генерацію завдяки оптимізації архітектури висновків, включаючи багатошарову генеративну стратегію, механізм повторного використання кешу та динамічне розподілення ресурсів.

Ці технологічні досягнення справлять величезний вплив на традиційну індустрію відеопродакшну. Технології ШІ знизять бар'єри для створення відео з високих витрат на обладнання та людську працю до креативних і естетичних навичок, що може спровокувати нову хвилю перетворень в економіці творців.

Ці зміни мають тісний зв'язок з Web3 AI:

1. Зміна структури попиту на обчислювальну потужність створила можливості для розподіленої простої обчислювальної потужності, а також збільшила потребу в різноманітних комбінаціях обчислювальної потужності.

2. Зростання потреби в аналітиці даних відкриває нові можливості для професіоналів (таких як фотографи, звукорежисери, 3D-художники тощо), які можуть надавати професійні дані через механізми стимулювання Web3.

3. Технології штучного інтелекту схиляються до модульної співпраці, що само по собі є новою потребою для децентралізованих платформ. У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть утворити самопідкріплювальний позитивний цикл, що сприятиме інтеграції сцен Web3 AI та Web2 AI.