ffprobeで音声ファイルを解析｜【改善版】フレーム単位のビットレート変動のCSV化とグラフ化

【改善版】Opusファイルのビットレート変動

前回の記事ではFFmpegの’ashowinfo’フィルターで音声ファイルのビットレートをCSV化しましたが、WAVやOpus等の一部の音声ファイルで正しくCSV化できず、期待通りに可視化（グラフ化）できないないケースがありました。

この点を改善するため、FFmpegコンポーネントの一部である’ffprobe’に変更することで、WAVおよびOpusファイルにおいても正確にフレーム単位のビットレートをCSV形式に変換できることが分かりました。　

そこで今回は、’ffprobe’に変更した内容を【改善版】として解説するとともに、低ビットレートでも高音質とされるOpusファイル と同じく低ビットレートに適用されるHE-AACファイルに焦点を当てて、フレーム単位の変動グラフの比較 もあわせて紹介します。

【改善版】でグラフ化した各種音声ファイルのビットレート変動グラフ

後述の「ドヴォルザークのスラヴ舞曲第1番」CD音源を元に、各種フォーマットに変換した音声ファイルを、今回のffprobeを用いた【改善版】でCSV化したビットレート変動データを、Pythonで作成したアプリでグラフ化しています。

WAV オリジナル音源（CBR）

AAC（VBR）

Opus（VBR）

MP3（VBR）

FLAC（frac-05）

オペレータ

ここから、ffprobeを用いた【改善版】の説明になります。

ffprobeとフレーム情報について

ffprobeはFFmpegのコンポーネントの一部であるため、FFmpegが既にインストールされていれば、ffprobeも利用可能です。

ffprobeの導入

FFmpegがインストールされていない場合は、下の手順を参考にしてください。

ffprobeは、例えばmacOSならターミナルを開いてffprobeのCLIコマンドを実行することで、画像ファイルや音声ファイルから様々な情報を取得できます。 以下のコマンドを実行すると、基本的な音声ファイル情報が表示されます。

 command bash
ffprobe -hide_banner -i "Sound file"

フレーム情報の基本

AACファイルのフレーム情報を確認するには、以下のffprobe・CLIコマンドを実行します。このコマンドを実行すると、[FRAME]〜[/FRAME]で囲まれた1フレーム分の情報が表示されます。　なお、パイプラインに `head -n 20` を付加することで、最初の20行のみを表示するようにしています。

 command bash
ffprobe imput.m4a -hide_banner -show_frames | head -n 20 
-------コマンドを実行すると、以下が表示されます。------
〜中略〜
[FRAME]
media_type=audio
stream_index=0
key_frame=1
pts=0
pts_time=0.000000
pkt_dts=0
pkt_dts_time=0.000000
best_effort_timestamp=0
best_effort_timestamp_time=0.000000
pkt_duration=1024
pkt_duration_time=0.023220
pkt_pos=972
pkt_size=465
sample_fmt=fltp
nb_samples=1024
channels=2
channel_layout=stereo
[/FRAME]
[FRAME]

上記のフレーム情報（フィールド名＝）において、赤文字で示すフィルド名 ’pkt_duration_time’および’pkt_size’が、次節で説明するフレーム単位のビットレートをCSV形式で出力するために必要なフィールド（列）データになります。
pkt_duration_time：パケット持続時間（sec）
pkt_size：パケットサイズ（byte）

【改善版】音声ファイルからフレーム単位のビットレートをCSV化からグラフ化まで

1. 下の「CSV化・bashコード」をテキストエディットアプリ等を開いてコピー＆ペーストした後、”Sound file”を対象の音声ファイル名をフルパスで書き換えます。　同じく、”output.csv” を保存先のフルパスに書き換えてコードを編集しておきます。
2. macOSのターミナル（bash）を開き、編集した「CSV化・bashコード」をコピー＆ペーストします。
3. bashコードを実行すると、音声ファイルのビットレート変動を記録した output.csv が、保存先に CSVファイルとして出力されます。

CSV化・bashコード

コードのffprobeオプション等要点

• -show_frames：フレームに関する情報を出力
• -select_streams a：音声（audio）ストリームだけを対象にする。（動画なら v 指定）
• -show_entries frame=pkt_duration_time,pkt_size： フレームの情報のうち、出力したいフィールドを限定する。
• -of csv=p=0：出力フォーマットをCSVにp=0 はヘッダ（カラム名）を表示しない設定
• ４行目のawk -F',' ：入力をカンマ区切りのフィールドとして、ビットレート計算含めた処理を実行する

CSV化・出力例

フルパスで指定した場所に"output.csv"が保存されています。　下の表がCSVファイルを開いた例になります。

3列目のelapsed_timeは、計算された経過時間で、 4列目のBit Rate(kbps)は (2列➗️1列) ✕ 8bit で計算されたビットレートになります。　この３列目と４列目を、例えばnumbersなどの計算ソフトにペーストしてグラフ化（次節で説明）します。

CSVからビットレート変動をグラフ化するには、２つの方法があります。

表計算ソフトを使ってグラフ化

今回はmacOSのNumbersを使った例で説明します。（EXCELでも同じ）

Pythonアプリでグラフ化

下に示す紹介記事で作成したアプリを起動して、CSVファイルを選択するとPythonグラフウィンドウが開きグラフ化されます。　Pythonグラフウィンドウは、グラフ下の７つのインターラクティブボタンがあり、このボタンを操作すれば、拡大・縮小・移動が簡単に行えます。

オペレータ

ここから、【改善版】を使ったOpusとHE-AACファイルのビットレート変動の比較を行ってみます。

OpusとHE-AACファイルのビットレート変動を比較する

オペレータ

では、オリジナルWAVファイルからOpusとHE-AACに変換したファイルを【改善版】CSVでフレーム単位でビットレート変動のグラフを描画してみますね。　オリジナル音源の再生波形も合わせて表示しています。

以上、ffprobeを使って音声ファイルをフレーム単位で解析し、CSV化してビットレート変動をグラフ化するまでの説明でした。　特筆すべきは、Opusファイルの音声レベルとビットレート変動の関係が、他の音声ファイルとは逆の特性を示したことです。