Технологии, медиа и общество

@brodetsky Нравится 5 15 000

Привет, я Андрей Бродецкий, журналист. Пишу о технологиях и о том, как они меняют мир.
Связь: @politehnik
Блог: @brodetsky_2
Реклама: http://bit.ly/ad-faq
(рассмотрите также канал @denissexy)
Гео и язык канала
Россия, Русский
Категория
Технологии


Написать автору
Гео канала
Россия
Язык канала
Русский
Категория
Технологии
Добавлен в индекс
09.05.2017 23:31
24 May 2018, 17:10 (1018 дней назад)
Услышав звук, мы можем представить себе картинку, и наоборот - мысленно подобрать звуки к фотографии или рисунку. Этому можно обучить и нейросеть, что и сделали японские разработчики. Смотрите, какая забавная штука получилась: вы загружаете картинку, а нейросеть распознаёт на ней образы и подбирает наиболее уместную озвучку, исходя из тех данных, на которых её обучили. Попробовал загрузить простые пейзажи - пляж, лес, большой город. С ними всё просто, правильный звук подбирается легко. Самое интересное - звуки, которые нейросеть подбирает к картинам (их можно выбрать из галереи на сайте). "Купальщики" Сезанна слушают пение сверчков на берегу, женщина с утюгом (Дега) сосредоточенно считает себе под нос, японская гравюра с цветами и птицами предсказуемо озвучена птичьим пением, а гуляющая в лесу парочка Моне шуршит опавшими листьями. Поэкспериментировать можно здесь.

Кстати, в основу этого эксперимента лёг классный проект от MIT - нейросеть, подбирающая звук к беззвучному видео.