Теперь даже субтитры сам напишет — FFmpeg 8.0 получил встроенный Whisper

Вышла новая версия популярного мультимедийного инструмента FFmpeg — 8.0 «Huffman». Она принесла сразу несколько крупных нововведений: ускоренное видеокодирование с помощью Vulkan API и автоматическую генерацию субтитров на базе интегрированной системы распознавания речи Whisper .

Релиз вышел в начале недели. Его кодовое имя отсылает к алгоритму Хаффмана , предложенному ещё в 1952 году и ставшему одной из первых систем сжатия без потерь.

По данным changelog , в новой версии зафиксировано около 30 ключевых изменений. Главное из них — интеграция проекта whisper.cpp , разработанного Георги Гэргановым . Теперь FFmpeg может полностью офлайн распознавать речь в видео и автоматически создавать субтитры.

Ещё одно важное новшество — поддержка аппаратного ускорения с использованием Vulkan. Ранее он применялся в основном для 3D-графики, но теперь используется и для обработки видео. Благодаря этому FFmpeg умеет ускорять кодирование AV1, а также работать с форматами FFv1, VP9 и WebM. Поддерживается и Apple ProRes RAW, а также AV1 с CENC-шифрованием.

Важным шагом стало добавление поддержки VVC (H.266) через VAAPI — открытый стандарт Intel для GPU-ускорения. Этот код был внесён Intel в конце 2024 года. VVC является преемником H.265/HEVC и H.264 /AVC, которые остаются базовыми стандартами в индустрии. Теперь FFmpeg способен обрабатывать VVC в контейнерах Matroska.

Не обошлось и без поддержки редких форматов. В FFmpeg 8.0 появилась возможность декодировать RealVideo 6.0, а также речевые кодеки G.728 и LD-ADPCM, использовавшийся в диктофонах Sanyo.

Отдельно стоит отметить, что FFmpeg теперь умеет анимировать JPEG-XL, несмотря на отказ Google от его поддержки в Chromium. Улучшена совместимость с APV и другими специализированными видеоформатами.

Проект FFmpeg имеет долгую и порой конфликтную историю. Он пережил форк LibAV , с которым даже Debian пытался работать, но в итоге вернулся к оригиналу. Конкурирующий проект был окончательно закрыт в 2020 году .

Сегодня FFmpeg остаётся ключевым инструментом для множества программ и сервисов. Полный список проектов, которые на нём завязаны, опубликован в Wikipedia . А разработчик и публицист Дрю Деволт посвятил ему статью « In praise of ffmpeg », называя его «универсальным швейцарским ножом для работы с мультимедиа».