Adobe заявила, що до кінця 2024 року користувачі зможуть випробувати ШІ-функції на основі моделі штучного інтелекту Firefly Video. Станом на вересень три функції — Generative Extend, Text to Video та Image to Video. У жовтні стала доступна публічна бета-версія програми. Докладніше про них розповіли в TechCrunch.

Що відомо про ШІ-функції від Adobe?

Як пише TechCrunch, Firefly — відповідь Adobe на Sora від OpenAI та Gen-3 Alpha від Runway, які створюють кліпи за лічені хвилини. Але Adobe вважає, що їх виділяє серед конкурентів саме контрольованість ШІ-інструментів.

Функція Generative Extend подовжує відео  на дві секунди у програмі Premiere Pro. Generative Extend підхоплює місце, де зупиняється оригінальне відео, додаючи до нього додаткові дві секунди матеріалу в безшовний спосіб. Для звуку цей інструмент відтворює фоновий шум, наприклад, рух транспорту або звуки природи, але не людські голоси чи музику.

Технічний директор Adobe з цифрових медіа Елі Грінфілд продемонстрував відеокліп з астронавтом, модифікований за допомогою функції Generative Extend. TechCrunch зміг визначити момент подовження відео від ШІ. У виданні відмітили, що ця функція корисна для того, щоб розширити за часом сцену у відео, якщо вона закінчується занадто рано.

Функції Text to Video й Image to Video створюють п’ятисекундні відео з підказок або вхідних зображень. Грінфілд каже, що відеомоделі мають блоки, які забороняють створювати відео з оголеними тілами, наркотиками й алкоголем. За його словами, ШІ-моделі створення відео Adobe не тренуються на публічних людях, наприклад, політиках чи знаменитостях.

Як протестувати нові функції? 

Через кілька місяців користувачі зможуть отримати доступ до Text to Video й Image to Video на сайті Firefly. Generative Extend вбудують у бета-версію програми Premiere Pro.

Запуск бета-версії

Adobe Firefly Video Model з 14 жовтня доступна в публічній бета-версії через вебпрограму Firefly. Модель ШІ Firefly пропонує різноманітні елементи керування камерою, включаючи кут, рух і масштабування. 

Перевагою Firefly компанія вважає комерційну безпеку — використання ліцензованого й загальнодоступного контенту. Крім того, контент від Adobe Firefly включає дані, які вказують, що він створений за допомогою штучного інтелекту.

З моменту першої бета-версії Firefly у березні 2023 року користувачі створили понад 13 млрд зображень, шість млрд з яких було створено за останні шість місяців. Firefly представлено в численних програмах Adobe, зокрема Photoshop, Express та Illustrator.

Firefly вже використовують корпоративні клієнти Adobe, зокрема компанії  PepsiCo/Gatorade, IBM, Mattel тощо.

Нові ШІ-інструменти від Adobe

Також функції на основі штучного інтелекту Adobe запускає в пакеті Creative Cloud, в Illustrator, Premiere Pro та InDesign. До інструменту в Photoshop додано нову функцію — під час видалення небажаних об’єктів, ШІ автоматично виявляє типові зайві об’єкти, наприклад, дроти чи кабелі, та стирає їх одним клацанням миші.

Інші інструменти Photoshop — Generative Fill, Generative Expand, Generate Similar і Generate Background — тепер загальнодоступні за допомогою останньої моделі Firefly Image 3. Adobe каже, що оновлення покращує різноманітність і фотореалістичну якість створеного контенту і краще розуміє підказки користувачів.

Adobe Illustrator оновили функцією «Об’єкти на контурі», яка дає змогу швидко додавати, розташовувати й переміщувати об’єкти вздовж будь-якої форми контуру.

Серед іншого став доступний інструмент Mockup для розміщення проєктів на 3D-моделі, а також розробники покращили функцію Image Trace, яка перетворює растрові зображення на масштабовані вектори.