VOID — нов AI инструмент от INSAIT и Netflix за естествено премахване на обекти във видео
Нов подход за редакция на видео
Екип на Института по компютърни науки, изкуствен интелект и технологии (INSAIT) към Софийския университет, в партньорство с Netflix, представи VOID — модел на изкуствен интелект, който не просто заличава обекти от кадъра, а симулира как сцената би се променила без тях.
Как това се различава от досегашните методи
Повечето инструменти за премахване на елементи във видео запълват празните места, без да вземат предвид физическите взаимодействия в сцената. VOID анализира връзките между обекти и фон: ако например човек държи предмет и бъде премахнат, моделът пресъздава естественото поведение на предмета — падане или плъзгане — така че резултатът да изглежда като заснет без присъствието на оригиналния обект.
Технологията отвътре
Моделът е базиран на CogVideoX и използва т.нар. quadmask техника, която разграничaва обекти, зони на взаимодействие и фон. Това позволява да се запази логиката и динамиката на кадъра, намалявайки видимите артефакти при замествания и анимации.
Обучение с симулирани сцени
Защото реални анотирани тренировъчни данни за подобни ситуации почти липсват, изследователите генерират синтетични сцени чрез Blender. По този начин VOID придобива разбиране за причинно-следствените ефекти в реалния свят, когато даден обект изчезне.
Предимства и достъпност
- Подобренa визуална последователност и по-реалистично поведение на обектите в сравнение със сегашните решения.
- Може да намали нуждата от скъпо презаснемане, да даде повече творческа свобода на продуцентите и да ускори постпродукционни процеси.
- Проектът е с отворен код, което улеснява изследователи и разработчици по света да надграждат и експериментират с технологията.
Значение за научната общност
Този съвместен проект подчертава ролята на INSAIT в създаването на технологии с глобално приложение и показва как академични институции и индустриални партньори могат да обединят сили за решения, променящи практиките при създаване на видео съдържание.
