Теперь даже субтитры сам напишет — FFmpeg 8.0 получил встроенный Whisper
Релиз стал самым большим обновлением проекта за последние годы.
Вышла новая версия популярного мультимедийного инструмента FFmpeg — 8.0 «Huffman». Она принесла сразу несколько крупных нововведений: ускоренное видеокодирование с помощью Vulkan API и автоматическую генерацию субтитров на базе интегрированной системы распознавания речи Whisper.
Релиз вышел в начале недели. Его кодовое имя отсылает к алгоритму Хаффмана, предложенному ещё в 1952 году и ставшему одной из первых систем сжатия без потерь.
По данным changelog, в новой версии зафиксировано около 30 ключевых изменений. Главное из них — интеграция проекта whisper.cpp, разработанного Георги Гэргановым. Теперь FFmpeg может полностью офлайн распознавать речь в видео и автоматически создавать субтитры.
Ещё одно важное новшество — поддержка аппаратного ускорения с использованием Vulkan. Ранее он применялся в основном для 3D-графики, но теперь используется и для обработки видео. Благодаря этому FFmpeg умеет ускорять кодирование AV1, а также работать с форматами FFv1, VP9 и WebM. Поддерживается и Apple ProRes RAW, а также AV1 с CENC-шифрованием.
Важным шагом стало добавление поддержки VVC (H.266) через VAAPI — открытый стандарт Intel для GPU-ускорения. Этот код был внесён Intel в конце 2024 года. VVC является преемником H.265/HEVC и H.264/AVC, которые остаются базовыми стандартами в индустрии. Теперь FFmpeg способен обрабатывать VVC в контейнерах Matroska.
Не обошлось и без поддержки редких форматов. В FFmpeg 8.0 появилась возможность декодировать RealVideo 6.0, а также речевые кодеки G.728 и LD-ADPCM, использовавшийся в диктофонах Sanyo.
Отдельно стоит отметить, что FFmpeg теперь умеет анимировать JPEG-XL, несмотря на отказ Google от его поддержки в Chromium. Улучшена совместимость с APV и другими специализированными видеоформатами.
Проект FFmpeg имеет долгую и порой конфликтную историю. Он пережил форк LibAV, с которым даже Debian пытался работать, но в итоге вернулся к оригиналу. Конкурирующий проект был окончательно закрыт в 2020 году.
Сегодня FFmpeg остаётся ключевым инструментом для множества программ и сервисов. Полный список проектов, которые на нём завязаны, опубликован в Wikipedia. А разработчик и публицист Дрю Деволт посвятил ему статью «In praise of ffmpeg», называя его «универсальным швейцарским ножом для работы с мультимедиа».