今日の出来事 (Mar, 2023)

動画その後と LumaFusion 3.2.3 での動画編集...

　これまで何度か iOS 上のアプリである LumaFusion での動画編集を記事にしましたが， 2 年以上期間が空いてしまいましたので， 久々に現行バージョンでの編集について書くことにしました。 とは言うものの， 2019 年 12 月に書いた記事の時点から編集方法は基本的に変わっていませんので， 殆ど同じ内容になってしまいますけれども…。

それ以上に問題だったのが「OS とアプリの改版による事態の悪化」です。 悲しいことに， こと現在使っている環境である iPhone 13 Pro + iOS 16 に限って言えば， 前回記事の iPhone 11 Pro + iOS 14 な頃よりクオリティーの低い動画しか作成できなくなりました。 その大きな要因は， 毎度のことではありますが「iOS が 1 世代上がると SoC が能力不足に陥る」ことです。 iPhone 13 Pro + iOS 15 の頃は大丈夫だったのですが， 現行環境に移ってからは， 明らかにゲーム等をプレーしながらの動画キャプチャーには能力が不足するようになりました。

これは純正である動画キャプチャー機能自体が既に その状況に陥っていて， 解像度が上がりキャプチャーサイズである 1920x888 への縮小に伴う負荷が上がった分， コーディング処理が追いつかなくなったのが大きな原因になっています。 さらに， 圧縮のアルゴリズムが変わったのか， デレステの Live でのノーツ…特に同時を表す水平方向のバーとの相性が最悪になってしまっていて， 出来上がった動画は， それはもう悲惨なものになっています。

あと， ハード的な可変リフレッシュレートも地味に影響しています…主に悪い方向に。 というのも， 最近の Apple な SoC 自体そうですが， システムなりハードなりが「そんなに負荷は高くない」と判断すると， 適当に手を抜いて処理を行うことで電力消費を抑えるようになっています。 これはリフレッシュレートも然りで， 要は極端なことを言えば， 短時間だったとしても 30 Hz とかに下げてしまうわけですね。 その影響は甚大で， その部分の動画は実際に見る画面以上にカクカクになってしまうのでした。

…と， 記事を書く前から実はヤル気を失うような状況となってしまったわけですが (笑)， 過去環境との比較などは次回以降書くことにして， 今回は現在の編集手順と， 現行環境で作成した動画を上げておくことにしました。

　今回使用する LumaFusion の版ですが， タイトルどおり 3.2.3 となります。 ちょこちょこと版の上がっている LumaFusion ですが， 操作方法などが一部改良されていたりしているものの， 作成される動画自体は 2.1.1 や 2.2.0 の頃と変わっていない印象を受けます。 あ， H.265 な動画を上手く PC へ転送できない辺りは同じなので， 引き続き H.264 な動画での話となります。

　さて， まずはプロジェクトの作成と取り込みです：

LumaFusion を立ち上げると左上画像のような画面が現れます。 元々 iPad での使用を想定したアプリなので， iPhone 13 Pro の 6.06 インチな画面では小さすぎて かなり操作しづらいのが実情です。 iPhone 11 Pro よりは僅かながら大きくなっていますし， 解像度的には全く問題ないのですけれどね…。 (^^;) 　それはともかく， 左下 2 番目の "＋" マークなアイコンをタップしてプロジェクトの新規作成を行います。

すると左上画像ポップアップ部分のように， フレームレートとアスペクト比を聞いてきますので， それぞれ「60 フレーム」「19.5:9 New iPhone Landscape」を選択します。 色空間は標準を使いますので何も指定しません。 ここは お好みで指定すれば良いでしょう。

プロジェクトを作成したら， 右上画像のように今度は編集したい動画を選択して， ここで大まかなトリミングを行っておきます。 ただ， 開始部分だけは ここで目的の位置を指定しておいたほうが手間が少なくて良いかもしれません。

動画を選択すると仮読み込みが行われ右上部分に表示されます。 まずは ここで必要なら再生して確かめるなどしつつ， 正式にプロジェクトへ読み込む部分のトリミングを行います。 ここではデレステの MV をキャプチャーした動画なので， 冒頭と最後の余計な部分を除いてトリミングしています。 範囲が決定したら， アンドゥーアイコン左にある「取り込み」アイコンをタップして， プロジェクトへ正式に取り込みます。

ここで， LumaFusion における重要な注意点。 取り込みを行うと「タグや情報の追加・書き換え」という形でオリジナルファイルが不可逆的に改竄されます。 動画の内容自体は変わりませんが， 二度と元へ戻せませんので， 必要なら「予めコピーを行い そちらを使用する」などの防止策を講じてください。 もう一度言います。 オリジナルが改竄されます。 もっとも， 写真アプリで編集等を行った後で「オリジナルに戻す」等を行っても， 同じように そのオリジナルは「改竄された微妙に異なるもの」となりますから， それと似たようなものですけれどね。 (^^;)

　取り込んだらトリミングの調整とフェードイン・アウトの挿入を行います：

左上画像がフェードインで右上画像がフェードアウトの処理を行っている画面です。 注意が必要なのは「フェード部分には (音声的) フレーム外が一部含まれる」点です。 例えば， この画像のプロジェクトでは開始音の部分を切り取った範囲で取り込んでいるわけですが， 長さが短いなど安易なフェードインの挿入を行うと， 開始音が含まれてしまうことになります。

それを避けるために， 基本的には画像の冒頭と最後に短いブランクを追加し， その上でブランク部分と本体部分とをクロス処理で繋げるのが吉です。 ブランクを追加する必要がなかったり， 追加しないほうが都合の良いケースもあったりしますので， 必ず追加するわけではありません。 右上画像のケースでもブランクは追加していません。

　画像と音声を分離し， 音声の範囲決めを行います：

両画面のとおり， 画像と音声を分離した上で， フェードイン・アウト部分まで音声が入るよう拡げます。 どのような音声が入っているかにもよりますので， 必要なら位置を微調整することになるでしょう。 昔と違って， 今では「ブランクとフェードイン部分の境」など， 特徴的な位置へ枠が吸い込まれるように動いてくれますので， こと境部分への位置合わせは とっても楽になりました。

　ゲインを調整し音声のフェードインを行います：

まずは左上画像…。 ゲイン画面を都度呼び出し， ポイントを追加しつつゲインを調整して音声のフェードインを行います。 この画像で言えば， 動画のフェードイン開始位置を -90.0 dB…つまり無音にして， フェードイン終了位置を既定の 0.0 dB とすることで， 音声のフェードインを行っています。

ゲイン画面だと動画全体を範囲として表示されるため判り辛いですが， 元の画面へ戻れば， 右上画像のようにフェードイン部分のゲインが右上がりの坂になっていて， 音声がフェードインされていることが解るでしょう。

　同様に音声のフェードアウトを行います：

まずは左上画像ですが， 一つ上と同様にして音声のフェードアウトを行います。 この例では MV ということもあって， 画像の切り替わる直前までセンターアイドルの台詞が被っていますので， 台詞の終わった直後からフェードアウトを行っています。

続いて右上画像…。 一通り編集を行ったら， 編集を行った部分を中心として実際に再生して編集結果の確認を行います。

　調整・加工が終了したら右下の "↑" アイコンをタップして書き出しを行います：

動画の形式を聴いてきますので， 60 FPS の H.264 を選択します。 解像度は「1920x886 - iPhone preview」， 画質は 12 Mbps を選択します。 音質は特に指定せず 44.1 kHz のまま。 先に書いたように， ここで H.265 を選択すると PC が異常認識して以降当該デバイスを扱えなくなるファイルが出来上がります。 (^^;)

あ， 書き忘れていましたが， その異常ファイルを写真アプリを使って早期に完全削除すれば， また PC からデバイスを読めるようになりますので， 念のため。 放置して同じフォルダー上にファイルが複数作成されると どうなるかは判りません。 恐ろしくて試す気にもなれません。 (笑)

出力が終了したら， 必ず出来上がった動画の全体を再生して最終確認を行いましょう。 iPhone 上での再生は勿論ですが， 例えば Web へ上げる動画であれば， PC 上での再生も確認しておく必要があります。 なお， この確認は「PC へ転送した PC 上の動画ファイル」で行わないと意味がありませんので， 念のため。 (^^;)

　…といった感じに iPhone 13 Pro 上で作成した 60FPS 動画を並べてみると こんな感じです。 次回以降の記事用に， これまでネタにしたデレステ曲を全て挙げてあります。 まずは全色曲組：

Live のほうは現在使っているリフレイン編成， 一方の MV はオリジナルメンバーのものになっています。 MV はオリジナルの衣装を選択したいところですが， それは無理なので適当に選んでいます。 昨年秋以降の記事で登場したものについては「現行相当」ということで改めて動画は撮っていませんので， それらでは少々古い編成になっています。

MV ですが， ステージで踊るタイプではない『バベル』や『Fascinate』では， 半分景色を観るだけのようなシーンも多くて少々寂しいですね。 やっぱりステージで踊って欲しいです。 アニメよりはマシかもしれませんけれど…。 (^^;)

上のほうでも書いたように， 『Stage Bye Stage』の Live 辺りを観ると， デレステにおけるランダム配置されたアイドルの扱いが救いようのないクソ仕様であると良く解ります。 これ， ランダム配置組の 4 人とも SSR を持っているのです…中には 3 枚以上揃っている娘まで。 それが全員初期衣装なのですから， SSR を持つ意味が全くありません。

あと， こちらも冒頭のほうで書きましたが， 今の iOS 16 の動画キャプチャー機能とデレステの Live は本当に相性が悪いです。 現行のエンコード処理アルゴリズムが影響しているのだと思いますが， 動く線…特に縦方向に動く水平方向の線が存在すると， 周りの画像が それに引き摺られて悲惨な状況に陥ります。

特に酷いのが「その動く線の後ろにある動くもの」で， Live であればアイドル達がピッタリそれに該当します。 要はアイドルの動きがノーツの水平バーに引き摺られるわけです。 結果， アイドルが部分的にノーツと合わせてガタガタ縦方向へブレるのでした。 いや， もう酷すぎて， はっきり言って iPhone 8 で撮った動画のほうがマシなくらいです。 (^^;)

ノーツの存在しない MV でも， バックグラウンドの負荷に弱い iOS 16 のダメさが表面化していて， iPhone Xs 辺りで撮ったほうが滑らかな動画を得られます…情けないことに。 こと， 動画キャプチャー機能を使う限りにおいては， iPhone 13 Pro + iOS 16 よりも iPhone 11 Pro + iOS 13/14 辺りを使ったほうが， 遙かに良い動画を得られると思います。

　続いては各色曲組です：

ゲームとしての意地悪要素で， ノーツと背景は似た色になっているのが良く判ると思います。 (笑) 　それは良いとして， サービス開始時からいる初期メンバーのユニットにすら， 全員分の衣装が用意されていない体たらくに唖然とします。 ランダム配置で SSR 衣装が選択されない辺りと良い， 故意にやっているとしか思えません。 まあ， ガシャを引く意味が無くなるわけで， 運営・開発側が自身の首を絞めているだけですけれどね。

あと， 一部のアイドルにネタ的な衣装や表情しか用意されていない辺りも何とかして欲しいところです。 上の動画なら鈴帆や りあむが該当します。 それとも， 持っていないだけで普通の SSR 衣装が存在するのかしら？ (笑)

　最後はグランドライブ曲を いくつか：

iPhone 11 Pro の頃より汚くなりました。 A13 から A15 へ SoC が進化しているのに この結果。 いや， こうして見ると Apple もアホです…と言いたいところですが， iPhone と Mac などの複数デバイスを毎年買い換える信者も多いわけで， 辻褄は合っていることになるのかしら…。 (笑)

　…というわけで， iPhone 13 Pro + iOS 16 では以前よりも汚い動画しか作成できなくなってしまいました。 今年は iPhone 15 Pro への買い換え年ですが， 果たして状況は改善するのでしょうか？