リズム感ゼロでもできるMMD音合わせのススメ

リズム感ゼロ。手拍子してるとだんだんズレていくタイプの人間です。

それでもお借りしたモーションの音合わせはしっかりしたいと思い、いろいろ試した結果最終的にたどりついた音合わせのやり方です。

事前準備

使うソフト①　AviUtl＋波形プレビュープラグイン

まずAviUtlに波形プレビューを導入します。

これを使うと、音を合わせるのがとても簡単になります。

使うソフト②　Vividlなどの音声・動画DLソフト

MMDerならwav、mp4のDLソフトは日頃から使うと思うので、
いつも使ってるやつでいいと思います。
自分はVividlを使っています（他ソフトに比べて音ズレが少ない気がする）

音合わせの手順

１．最初に配布動画をmp4でDL、音源は好きなものをwavでDL

今回はこちらの動画で音合わせをしてみます。

Model: hoge様 / 楽曲: Kanaria様 / 振付: くるとん様 / Motion: mobiusP様

▼ VividlでDLしているところ。今回音源は原曲からとってみました。

２．MMDでモーションを読み込み、DLしたwavを読み込む

※カメラが一緒に配布されているときはカメラも読み込む

この状態で【0-1000F】だけavi出力します。
音合わせのためだけのaviなので、コーデックはなんでもいいです。

３．AviUtl作業 MMD出力動画と、DLした配布動画を読み込む

横に並べて合わせていくので、配布動画の拡大率を【50%】にして位置をずらす。

出力動画の音ファイル（Layer2）を非表示にしてみると、
配布動画のほうの音声だけが波形で残るのですが、
波形プレビューの始まりの位置がずれていることがわかると思います。

両方の動画の音を非表示にせず再生してみると、
音が明らかにずれているのがわかります（数フレームずれると聞き取れないレベル）

４．波形プレビューを見ながら波形（音）が合うところを探す

今回は出力動画よりも配布動画のほうが約１F早いようです。

※基本的には【Layer2】は動かさない
理由は、MMDのwav読み込み位置はずらせないので、
MMDのwavにあたる【Layer2】は、同じ条件で動かさない方がわかりやすい。
（ただ今回は配布動画よりうしろの位置でないと合わなかった）

そうしたら、音（Layer2とLayer4）はもう動かしません。
音が動かないように、動画と音がグループ化しているのを解除します。

５．音を合わせたあと、モーション(Layer1)を合わせる

【Layer1】を動かして、出力動画と配布動画の動きを合わせる。

モーションの合わせ方のポイントとしては

①ひじを曲げるタイミング（ピンクの〇）

②足を下げ始めるタイミング（青の〇）

あたりを基準に合わせるとわかりやすいです。
着地の瞬間とかはわかりにくいので、上下・左右が切り替わるタイミングがいい。

あとは配布カメラがあるなら、カメラ切替のタイミングでもわかりやすい。
※ただし24fps、30fpsなどでは切替タイミングが変わるので注意。あくまで目安。

横に動画を並べているので、ズレは比較的わかりやすいです。

６．最後にレイヤーを見て、音ズレフレームを計算する

ここからはいくつかのパターンによって、
【モーションを何フレーム、前と後ろどっちに動かすのか】が変わります。

パターン①　配布動画の音のほうが遅く、モーションもずれている

過去合わせた動画の中では、このパターンが一番多い。大体、3～5Fのズレ。

音が合う位置が3Fずれていて、モーションは3Fうしろにずらすと合う
→　読み込んだモーションを【3F うしろ】にずらす
wavの読み込み位置はずらせないので、本来のモーションが合うのは3Fあとから

パターン②　配布動画の音のほうが遅く、モーションはそのままで合う

音が合う位置が3Fずれていて、モーションがそのままでぴったり合うので
→　読み込んだモーションはそのまま
単純に音が始まるタイミングが違うだけで、音とモーションはそれぞれ合っている

パターン③　配布動画の音のほうが早く、モーションもずれている

珍しいパターン。あまりない。

音が合う位置が、MMDに読み込んだwavの位置よりも前になっている
音が合う位置が3Fずれていて、モーションは3F前にずらすと合う
→　読み込んだモーションを【3F 前】にずらす
wavの読み込み位置はずらせないので、モーションを合わせるために前にずらす

ほかのパターンであっても、この要領で、
①波形（音）を合わせる
②モーションを合わせる
だけで、モーションをどっちに何フレーム動かすのかわかるようになっています。

大事なのは音を合わせたあと、
モーションの動画（Layer1）を前後にどれだけ動かしたか、です。

前に3Fずらしたなら、モーションを読み込んだあと、全部3F前へ。
うしろに3Fずらしたなら、モーションを読み込んだあと、全部3Fうしろへ。

全体を選択してすべてをずらしてもいいし
【空フレーム挿入×3回】でうしろに3Fずらしたり、
【列フレーム削除×3回】で前に3Fずらしてもわかりやすい。

７．まとめと補足

このやり方で、音ズレはほぼ回避できます。
センスはいりません。
音は波形で合わせつつ、同時に流して聴いて、音がほぼ重なったらOK。
モーションは横に映像を並べて流して、ほぼ同じ動きならOK。
1Fのズレは発生するかもしれませんが、1秒（30F）ずれることはまずありえません。

配布動画を見てタイミングをつかむやり方に比べれば手間は増えますが、
感覚に頼らなくていいので安心です。

※言い訳
いつもそのつど計算して、フレームずらしてみて確認しているので、
あらためて文章にすると、間違ってないかあまり自信がないです…。
前後ずらす方向を間違っていたらこっそり教えてください…。