2024年12月20日から翌年2025年1月13日までの期間に開催されていたぷちコン映像編6th，テーマ「光」に映像作品「magenta」で参加しました．
こちらのイベントは，夏と春に開催されているぷちコンのスピンオフイベントで，30秒から1分ほどの短めの動画作品が対象のコンテストです．毎年年末年始に開催されており，私は今回の参加で個人3回目になります．（第3回，第5回，今回）．
公式サイトはこちらです．
応募作品動画
光がテーマなのでスポットライトや混色，スペクトルと関連付けられないかなという感じで，光のスペクトルに入っていない色であるマゼンタに注目して謎のドキュメンタリーの前振りみたいな映像を目指して構成しました．
制作手順
事前調査
映像編での作品制作にあたり，下記の書籍を読んで映像制作のコツなどの情報収集を行いました．
この本で書かれていたことは様々あったのですが，今回は短い製作期間と工数を重視したため，
- 1カットはできるだけ短く(10秒以内)
- ヒトを映す
- ストーリーを作る
の3点を特に意識しました．
これを踏まえてMetaHumanの導入を検討し，利用できるようなシーンをいくつか考えていました．
また，締め切り直前の週末である1月11日にUE5Nightというイベントがありました．
そこでUE5.５からMetahumanで音声に合わせたLipSyncが作成できるという情報を入手しました．
なお，UE5.０からiphoneがあれば映像からリップシンクできたらしいのですが，当方AndroidユーザでiPadProも丁度Lidarセンサーがつく直前の機種のためこちらの方法は使えませんでした．残念．
というわけで，リップシンクを活用した動画にできないかと考えたところ，ドキュメンタリーの導入部分の構成を思いつき，そのような指針で動画を作ることにしました．
コンセプト
スポットライトを使いたいなと漠然と考えていて，Metahumanを使うことを決める前まではスポットライトで光の文字をうまい具合にかけないかなどを模索していました．
ドキュメンタリー風にしようと決めた後は割とすんなりで，もともと紫とかピンクの色が好きでこのマゼンタという色が可視光での長波長からセキトウオウリョクセイランシ（赤橙黄緑青藍紫）に含まれない色であるという話が面白いと思っていたので，それをそのまま題材にしようと思いました．（アニメ系のキャラの色だと白，紫，ピンク髪，赤どれなのか論も好き）
なので，このマゼンタという色が単色光ではなくて混色でできる色ですよ～という話をドキュメンタリー風に作ることをコンセプトにしました．
ですが，レギュレーションの都合上，尺に限りがあるので「中身」を作るのではなく，つかみの冒頭の部分のみに絞りました．
またこの時点で，マゼンタという色が特にマテリアルエラーにもよく使われる色であることから，オチにマテリアル欠落をイメージしたドキツメのマゼンタを使おうということも決めていました．
文章考案
原稿の作成にはAIを一部導入しました．お題として，「ドキュメンタリー風」「マゼンタ」「光のスペクトル」「光の三原色」をプロンプトに入れ，GrokやChatGPT，Bing，Notion，GeminiなどいくつかのAIに聞き，それらを組み合わせて原稿を作りました．
ちなみに一番使いやすそうな文章を作ったのはGrokでした．
AIに吐き出させた文章は，やや長く普通に読むと3分くらいになってしまうので，いくつかの共通のワード，例えば「脳が作り出す」「赤と青が重なる」あたりを抜粋して再構成しました．
また光のスペクトルの説明なども入れたかったのですが，図表を画面に映すのは今回の制作だと時間や工数の面から難しいと考えたので，それらの部分も可能な限り削って吟味していきました．
文章は動画のコンテやカットを考えつつ自分で読んでみて，読みにくい部分や冗長すぎると思った部分を削り推敲しました．その結果できたのが次の文章です．
マゼンタ．これは、単色の光としては存在しない特殊な色です。光の三原色である赤、緑、青のうち、赤と青が混ざり、私たちの脳がそれを新たな色として解釈します．マゼンタは光そのもの色ではなく、私たちの脳が作り出す色なのです．そんな神秘的な色であるマゼンタ，その魅力にせまります．
なお厳密なウラどりはしていないので，多少の間違いはあるかもしれません．（むしろあやしさてきにその方がいいくらいまである）
録音と音声加工
音声の録音にはStudioOne５ Professionalを利用しています．ですが，別にどのような音声ソフトでも，場合によってはOBS録音でも問題ないかと思います．今回は，音声加工にMelodiyneを使いたかったので採用しています．
録音は，前述のように動画のコンテやカットを意識しながら読み，実際のプレゼンのように読んでいます．
細かい調整等を入れる前提であれば何度も取り直していいところ取りの方がより良いものになりそうでしたが，今回は調整をノイズ除去とピッチシフトのみしか考えていなかったので，原稿を通し読みで収録しました．読んでみて原稿の読みにくい部分の修正などは並行して行っていましたが，原稿が決まった時点のおおむね一発取りのものを採用しています．滑舌や間の悪い部分は妥協．
音声加工はStudioOneに搭載されているFXーGateによるノイズ除去とMelodiyneによるピッチシフトを加えています．MelodiyneではボーカルのWAVをメロディー（音階）に変換できるソフトで，今回は自分の発話を1オクターブ下げています．これで程よくガビらせて自分の声感を消しています．Melodyneを使ったのは構想段階でうたものを考えていた時の名残です．
なお，深夜だったので録音には細心の注意を払っています．
ちなみに，VoiceVoxやCevioAI，VOICEROIDも候補にはあげていましたが，調声や微妙な間の取り方，程よく胡散臭い男声のストックを持ち合わせていないかったので今回は使用しませんでした．
また加工したのはさすがにゆるふわ曖昧な情報を自分の声で残すのに抵抗があったためです．
MetaHumanにLipSync作成
MetaHumanを導入し，リップシンク素材を作っていきます．
なお演者についてはほぼテンプレート通りの人を衣装をそれっぽく変更するのみで作成しました．MetaHuman導入にはかなり苦戦しているのですが，そこそこ長くなるので後述．
なんとかMetaHumanを導入できたら，下記リンクの手順に従ってMetaHuman Performanceアセットを作成し，これをもとにアニメーションシーケンスを作成しました．
これは拍子抜けするくらい簡単で，MetaHumanを使うなら口パク入れない理由がないくらい．
（ただ普段はVRM4Uのシェイプキーベースのフェイシャルを使いたいから・・・）
なお応募動画では加工後の音声を使いましたが，今冷静に考えると音声は別に流していてリップシンクはアニメーションシーケンス（緑）アセットとして作成されるだけなので，リップシンクに用いる音声素材は加工前の生データの方が適していました．公式のリファレンスにも素材音声は無加工のものが望ましいことが書かれています．これは不注意ですね．
１カット目
男に照明があたりシーンが始まります．
カット割りについては録音時に構想していており，どの部分で素材や動きが必要かなども吟味していました．そのため，カット割りの時点で余分な工数が極力発生しないよう意識しています．
1カット目は開始前の暗闇から照明がつくまで3秒ほどのはいりのカットとして設定しました．
2カット目
ここはスポットライトでマゼンタを投影し（単色光ではないとはいったい・・・？），話題提示を行うシーンです．
しゃべり始めると音声と口パクは同期させる必要があるので，その二つの開始時点はシーケンサでそろえ，基本的は音声の進行に従ってカットやシーンを進めていきます．
このシーンでは本来はMixamoのアニメーションを使う予定でしたが，体にMixamoアニメーションを適用しても頭がうまく動かなくて焦っていたので，コントロールリグで申し訳程度の手の動きが追加されています．ライティングでもう少し目立たなくもできたかも
3カット目
このシーンでは，赤，青，緑，の三原色をスポットライトで投影し，それを加法混色でマゼンタにする実演シーンで，本来4カット目とひとつづきの画角で人は映さない予定でした．
しかし，今回スポットライトの配置位置が悪かったため，最初から4カット目の正面構図だと，シーケンサでスポットライトを起動しても光が正しく描画されなくなってしました．（カメラをシーケンサの画角固定でなくすとすぐ機能する）．
このため1カット目と同じカメラを一度経由することでスポットライトをロードさせて成り立たせています．
音声のあか，みどり，あおのタイミングに同期させて点灯やその音をはめ込むのが地味に大変．
4カット目
前述のとおり，ここは一連のシーンの予定でしたが，ロード抜け回避のために分けています．ここは光の合成でマゼンタを作るシーンです．
5カット目
ここはがっつり顔をうつして話者にひきつけることを意識しました．ドキュメンタリーでよくある「いったい何だったのでしょうか？」を言わせる部分と，後半のマテリアル変化のオチのインパクトをつけるためのタメも兼ねています．
この後半部はほぼバストアップにすることは決めていており，これによってモーションがなくても十分機能するだろうということで工数削減にもつなげています．
5カット目後半
この動画のオチで，壁のマテリアルがマゼンタに切り替わります．なお時間経過で変化しますが，これはマテリアルにEmissiveが設定されているためです．これはこれで面白いのでそのままにしています．
当初はMetaHumanの服をマゼンタで抜くことを考えていましたが，MetahumanBP の服のマテリアルがエンジン組み込みのものを直接参照していて，シーケンサで途中で差し替えるのが難しそうだったため，容易に変更できる背景の壁を変えることにしました．結果的にはEmissiveを入れたのもありいい感じに逆光，かつ強烈なインパクトのある絵になったのでこれでよかったかなと思います．
反省点
MetaHumanプラグイン問題
この製作ではMetaHumanの導入に大変苦戦しました．これは自分のMetaHumanプラグインに関する誤解が原因だったのですが，備忘録もかねてまとめておきます．
結論から言うと，MetaHumanAnimatorカテゴリに属するMetaHumanPerformアセットを作成するにはMetaHuman Pluginが必要です．VersionはUE5本体と同じになるものが正解です．
当たり前のようですが，勘違いの原因となるプラグインが存在するのです．そうそれがこの下にあるMetaHuman SDKです．（ちなみにRuntimeの方も違うものです）
自分は途中までこのSDKの方をMetaHuman本体と誤認していて，そこに気づくのに時間がかかってしまいました．実はMetaHumanのプラグインは初めからUE5に入っているビルトインのPluginではなく，マケプレやFabから導入し，ランチャー経由などでエンジンにインストールする必要があるものです．（SDKの方は5.5だとビルトインで最初から有効になっているのも罠）
検証のためにMetaHumanのサンプルも試したのですがこれもダメ．自分はサンプルならば必要な機能は有効になった状態であると思っていたので，サンプルならばこのMetaHumanPluginも有効になっているだろうと誤認していたわけです．実際はこのサンプル単独ではMetaHumanAnimatorの機能は使えないようです．
マケプレ（Fab）には「Meta Humans」（サンプル）と「Meta Human Plugin」（MetaHumanAnimatorに必要な方）の2つがあって，必要なのはPluginの方でした．
これに気づかず，「Meta Humans」と「Meta Human SDK」に翻弄され，MetaHumanAnimatorアセットが作れないと2時間くらい費やしました．（深夜帯にやってるから判断力が鈍っているのでは？）
進行管理的なアレ
アドベントカレンダーでギリギリ勢の記事を上げてしまったので，ほぼ縛りプレイみたいな感じで今回もぎりぎり投稿になりました．
今回はMetaHumanの誤認もあって特に時間がギリギリになってしまいました．エディタだとうまくいってるけど書き起こすとダメそうみたいなこともあって試行・調整は正直あまり回せませんでした．
しかし，提出直後に気づいた細かいミスなどは気づいてしまえば，案外簡単に修正できたものもあったので，さすがに12時間縛りでは厳しいけど成人の日を含む3連休すべて使うなら，それだけでも十分作品として成立させることはできるのかもなとも思いました．
自分はぷちコンは映像．本編ともに発想勝負に偏った製作がつづいていて，短期間で作ることを前提においているので，物量や工数勝負な部分をできるだけ省いたり，置き換えたりでサクッと作ることに特化した作品を選んでいる気がします．これ自体は楽しくてイベント感があってよいのですが，やはり課題としては技術力アップにつながりにくい，どちらかというとアウトプット力のテストみたいになっているという点が生じています．
なので，余裕があったら次回はインプットも兼ねた長作を金曜締め切りで作り，残りの土日でいつもの作成みたいな2作作成を視野に入れて取り組んでいけたらと意気込むだけ意気込んでおきます．
利用素材
BGMとスポットライトの点灯音を利用しています
調整版においてモーションを一部利用しています．
コメント