Lex Fridman там поговорил на (!) 4 часа с парой человек из FFmpeg - open source библиотекой видео/аудио кодеков, на которых стоит 80% видео в инете и 50% Youtube и Netflix итп:
Истоки
- 100 тыс строк кода (на ассмеблере для всех типов железок) и 6 млрд скачек видеоплеера VLC, полностью open source
- Проект начался из VideoLAN в 90ые - стримить видео в универе во Франции, а в 2003 и FFmpeg появился. С тех пор остались бесплатными, отказываясь от рекламы или от spyware за десятки млн $ (и никакой телеметрии, ничего не знают про юзеров)
- Но проект получает грантовую финансовую поддержку от корпораций без обязательств и донаты от физлиц
Будущее
- FFmpeg и VLC будут адаптированы для новых форматов - 3D, VR, XR, (!) голограмм
- Работают над протоколом (Kyber) стриминга видео для роботов и дронов с задержкой в буквально 4 миллисекунды
- Пилят кодеки для (!) сжатия данных живых нейросетей для brain-computer interfaces
- Думают о (!) запахах
Биология
- Видео сжимается в десятки и сотни раз (и эт оч. computationally heavy) с потерей данных (тк глазу важнее яркость, а не цвета). I-кадры (ключевые) содержат полную инфо, P- и B-кадры - только изменения
- Их кодек AV1 экономит 60% трафика по сравнению с (коммерческим) H.264. И это важно, тк в мире в данный момент что-то делают с видео миллиард устройств
"Школа жизни" для будущих разработчиков
- Хакеры: ранние разрабы восстанавливали проприетарные закрытые кодеки по (!) бинарным файлам без доков (для этого надо исходное видео и уже сжатое видео). Цель - чтобы результат совпал с исходников (!) до каждого бита. Супер изощренная отладка в памяти / ассемблера / поиск паттернов итп
- Анонимные разрабы (любого возраста, хоть 16 лет) с удивительным качеством кода (10-15 лидеров строго (в стиле Линуса Торвальдса) решают что брать, а что нет)
- Хакеры постоянно делают фэйковые имитации VLC с троянами
Безопасность
- У их невероятной популярности и использования в том или ином виде чуть ли ни каждым жителем Земли есть и обратная сторона: их считают потенциальным средством проникновения на устройства юзеров
- Все дорогу разные плохие акторы делают фэйковые сборки VLC чтобы наивные юзеры скачивали их вместе с троянами или backdoors
- Даже ЦРУ такое делали, в Германии итд итп
- Они лучше закроют проект, чем дадут туда воткнуть backdoors для спецслужб
- AI: Google юзали свои AI для поиска уязвимостей в их FFmpeg и зачем-то публично объявляли о них до выпуска патчей итд итп (пусть и в старых версиях кодеков)
Цифровое наследие
- FFmpeg используется множеством проектов по архивации видео контента (и это дает шанс не потерять спустя годы, как сейчас невозможно же проиграть видео-кассеты итп)
- Тк бюджеты архивных организаций не бесконечны, сделали кодек FFV1 с особо сильной потерей качества. Философски опасаются, что это может исказить цифровую память человечества спустя 100 лет
Стандарты
- H.264 до сих пор стандарт для инета из-за x264. Их AV1 и его преемник AV2 пилят альянсом за открытые медиа (Google, Netflix, Amazon)
- Цель - быть бесплатными от патентных роялти, тк патенты на кодеки превратили отрасль в "минное поле" юридических исков
- Им сильно помогает, что во Франции запрещено патентование математических алгоритмов
Философия
- Юзают даже на марсоходе NASA 2020 для сжатия фото, в физике (CERN), авиа, космосе, военными итп
- Jean-Baptiste Kempf верит, что лучший способ изменить мир - создать полезный инструмент для всех. "Ни о чем не жалею" - главный принцип (regrets are a tax on your mind)
- Демократизирует доступ к сложным tech. Любой может научиться писать ассемблер с нуля
- Видео - самый мощный медиум передачи инфо и эмоций человечеству. И они кейс как волонтеры могут построить инфру для всей цивилизации и что энтузиазм и качество кода важнее $ и рекламы
**
(ийа давно юзаю VLC тк хуже слышу с рождения, и это был первый плеер, где можно было ставить громкость 200%, а не просто 100%. Не знал, что это такой масштаб, ваще..)
Истоки
- 100 тыс строк кода (на ассмеблере для всех типов железок) и 6 млрд скачек видеоплеера VLC, полностью open source
- Проект начался из VideoLAN в 90ые - стримить видео в универе во Франции, а в 2003 и FFmpeg появился. С тех пор остались бесплатными, отказываясь от рекламы или от spyware за десятки млн $ (и никакой телеметрии, ничего не знают про юзеров)
- Но проект получает грантовую финансовую поддержку от корпораций без обязательств и донаты от физлиц
Будущее
- FFmpeg и VLC будут адаптированы для новых форматов - 3D, VR, XR, (!) голограмм
- Работают над протоколом (Kyber) стриминга видео для роботов и дронов с задержкой в буквально 4 миллисекунды
- Пилят кодеки для (!) сжатия данных живых нейросетей для brain-computer interfaces
- Думают о (!) запахах
Биология
- Видео сжимается в десятки и сотни раз (и эт оч. computationally heavy) с потерей данных (тк глазу важнее яркость, а не цвета). I-кадры (ключевые) содержат полную инфо, P- и B-кадры - только изменения
- Их кодек AV1 экономит 60% трафика по сравнению с (коммерческим) H.264. И это важно, тк в мире в данный момент что-то делают с видео миллиард устройств
"Школа жизни" для будущих разработчиков
- Хакеры: ранние разрабы восстанавливали проприетарные закрытые кодеки по (!) бинарным файлам без доков (для этого надо исходное видео и уже сжатое видео). Цель - чтобы результат совпал с исходников (!) до каждого бита. Супер изощренная отладка в памяти / ассемблера / поиск паттернов итп
- Анонимные разрабы (любого возраста, хоть 16 лет) с удивительным качеством кода (10-15 лидеров строго (в стиле Линуса Торвальдса) решают что брать, а что нет)
- Хакеры постоянно делают фэйковые имитации VLC с троянами
Безопасность
- У их невероятной популярности и использования в том или ином виде чуть ли ни каждым жителем Земли есть и обратная сторона: их считают потенциальным средством проникновения на устройства юзеров
- Все дорогу разные плохие акторы делают фэйковые сборки VLC чтобы наивные юзеры скачивали их вместе с троянами или backdoors
- Даже ЦРУ такое делали, в Германии итд итп
- Они лучше закроют проект, чем дадут туда воткнуть backdoors для спецслужб
- AI: Google юзали свои AI для поиска уязвимостей в их FFmpeg и зачем-то публично объявляли о них до выпуска патчей итд итп (пусть и в старых версиях кодеков)
Цифровое наследие
- FFmpeg используется множеством проектов по архивации видео контента (и это дает шанс не потерять спустя годы, как сейчас невозможно же проиграть видео-кассеты итп)
- Тк бюджеты архивных организаций не бесконечны, сделали кодек FFV1 с особо сильной потерей качества. Философски опасаются, что это может исказить цифровую память человечества спустя 100 лет
Стандарты
- H.264 до сих пор стандарт для инета из-за x264. Их AV1 и его преемник AV2 пилят альянсом за открытые медиа (Google, Netflix, Amazon)
- Цель - быть бесплатными от патентных роялти, тк патенты на кодеки превратили отрасль в "минное поле" юридических исков
- Им сильно помогает, что во Франции запрещено патентование математических алгоритмов
Философия
- Юзают даже на марсоходе NASA 2020 для сжатия фото, в физике (CERN), авиа, космосе, военными итп
- Jean-Baptiste Kempf верит, что лучший способ изменить мир - создать полезный инструмент для всех. "Ни о чем не жалею" - главный принцип (regrets are a tax on your mind)
- Демократизирует доступ к сложным tech. Любой может научиться писать ассемблер с нуля
- Видео - самый мощный медиум передачи инфо и эмоций человечеству. И они кейс как волонтеры могут построить инфру для всей цивилизации и что энтузиазм и качество кода важнее $ и рекламы
**
(ийа давно юзаю VLC тк хуже слышу с рождения, и это был первый плеер, где можно было ставить громкость 200%, а не просто 100%. Не знал, что это такой масштаб, ваще..)