- Отримати посилання
- X
- Електронна пошта
- Інші додатки
- Отримати посилання
- X
- Електронна пошта
- Інші додатки
Американські розробники представили алгоритм, який вміє озвучувати видива, що початково були без звуку. Так, наприклад, для видива з велосипедом нейромережа сама знайшла звук вулиці і дзвоника, а у видиві з літаком — гул двигунів. Для цього вона знаходить імовірні джерела звуку, визначає їх, а затим підбирає необхідний на її погляд звуковий супровід. Розправа про гудову нейромережу доступна у сховищі університету Карнегі-Меллон.
Що доручили нейромережі?
Розробники поспілкувалися з видивопрАвниками та з'ясували, що це надзвичайно трудомістка дія, коли потрібно підібрати звуковий супровід до видива. Так крім знаходження самих звуків, потрібно точно узгоджувати їх із тим, що відбувається на картинці. Тому ліпі видива з літаками в кадрі — це накладений згори звук, без якого інакше ви чули б тільки оглушливий шум двигуна, якби його записували одразу.
Тому інженери з Університету Карнегі – Меллона розробили устрій, яка зіставляє звукові дії з видива – Soundify. Використовуючи збІрні звукових дій студійної якості, Soundify сам знайде кадр, для якого вибере відповідний звук, визначившись із його джерелом у беззвучному видиві. Як підбирати звуки?
На основі понад 90 тисяч високоякісних звукових дій, нейромережу навчили визначати їхнє джерело — предмет (велосипед, наприклад) або місце. Використовуючи алгоритм визначення меж за допомогою RGB-гістограми, Soundify розбиває видиво на Яви та визначає кожну за джерелами, вибираючи для них по п'ять найімовірніших звуків тіл чи оточення. Сам Soundify вкінці зупиниться на одному, але як користувач ви зможете залишити додаткові звуки.
Визначення звуків середовища може бути більш схильна до помилок через те, що тло часто не зосереджене або затемнений. Тоді нейромережа звертає вгляд на попередній вибір користувача: якщо ви раніше вибирали шум водоспаду, то ймовірно Soundify озвучить ліс, а не кафе в кадрі.
Як поєднати звук із видивом?
Джерело звуку може з'являтися лише на частині Яви. Тому нейромережі необхідно поєднати вибрані нею ефекти з появою їхнього джерела у кадрі. Можливо кілька часових проміжків, наприклад, коли джерело зникає, а потім знову з'являється. Кожна ява розбивається на частини завдовжки за секунду, а Soundify, так само як і видивомонтажери, налагоджує звук: коли літак наближається, він посилюється, і навпаки. Наостачу Soundify поєднує всі звуки ефектів і тла для всіх яв в одну кінцеву звукову доріжку для видива.
У наступних роботах розробники заміряються навчити Soundify підставляти складніші дії, як звук ступнів, а також зробити звукові переходи більш плавними.
Що доручили нейромережі?
Розробники поспілкувалися з видивопрАвниками та з'ясували, що це надзвичайно трудомістка дія, коли потрібно підібрати звуковий супровід до видива. Так крім знаходження самих звуків, потрібно точно узгоджувати їх із тим, що відбувається на картинці. Тому ліпі видива з літаками в кадрі — це накладений згори звук, без якого інакше ви чули б тільки оглушливий шум двигуна, якби його записували одразу.
Тому інженери з Університету Карнегі – Меллона розробили устрій, яка зіставляє звукові дії з видива – Soundify. Використовуючи збІрні звукових дій студійної якості, Soundify сам знайде кадр, для якого вибере відповідний звук, визначившись із його джерелом у беззвучному видиві. Як підбирати звуки?
На основі понад 90 тисяч високоякісних звукових дій, нейромережу навчили визначати їхнє джерело — предмет (велосипед, наприклад) або місце. Використовуючи алгоритм визначення меж за допомогою RGB-гістограми, Soundify розбиває видиво на Яви та визначає кожну за джерелами, вибираючи для них по п'ять найімовірніших звуків тіл чи оточення. Сам Soundify вкінці зупиниться на одному, але як користувач ви зможете залишити додаткові звуки.
Визначення звуків середовища може бути більш схильна до помилок через те, що тло часто не зосереджене або затемнений. Тоді нейромережа звертає вгляд на попередній вибір користувача: якщо ви раніше вибирали шум водоспаду, то ймовірно Soundify озвучить ліс, а не кафе в кадрі.
Як поєднати звук із видивом?
Джерело звуку може з'являтися лише на частині Яви. Тому нейромережі необхідно поєднати вибрані нею ефекти з появою їхнього джерела у кадрі. Можливо кілька часових проміжків, наприклад, коли джерело зникає, а потім знову з'являється. Кожна ява розбивається на частини завдовжки за секунду, а Soundify, так само як і видивомонтажери, налагоджує звук: коли літак наближається, він посилюється, і навпаки. Наостачу Soundify поєднує всі звуки ефектів і тла для всіх яв в одну кінцеву звукову доріжку для видива.
У наступних роботах розробники заміряються навчити Soundify підставляти складніші дії, як звук ступнів, а також зробити звукові переходи більш плавними.