DEKA
Vol.018, AIによる動画アップスケールアプリ「Video Enhance AI」と「DVDFab Enlarger AI」を比較
以前から興味があった「AIを駆使した動画のアップスケールソフトウェア」
これは低解像度の動画を4Kにアップスケールしつつ、AIにより画質を向上させると謳っているアプリです。
私の場合はほとんど必要無い(ほとんどの映像は4K以上で撮影している)が、仮に4Kで撮影していたとしても少しフォーカスが甘かったり、iPhoneで撮影した映像が一部FHDだったりと、それらを改善する事が出来るのかテストしてみました。
試用したのは Topaz Labs社製の「Video Enhance AI」と、dvdfab社製の「DVDFab Enlarger AI」の2つです。
ざっとウェブサイトを見てみると、VideoEnhanceAIはこれまで述べたアップスケールの機能の他、ノイズ除去、インターレース解除、くっきり処理などが出来るようです。また、試用版の機能に制限は無いようですが、出力した動画にウォーターマークが入るようです。
DVDFabは色々と書かれてはいるのですが、アップスケール以外の機能がイマイチ伝わりませんでした。 試用版での機能制限はありませんが、5つの動画ファイルの出力までとのことです。
さて、比較テストに用意した動画はiphone12 ProMaxで撮影した30秒ほどのタイムラプス映像で、解像度はFHD(1920x1080p)です。
このファイルを2社の製品に取り込み変換していきます。 変換にかかる時間は両製品とも、当初「残り時間10分」などと表示されましたが、時間の経過と共に残り時間が延び、結局2時間弱かかりました。
動画のデュレーションは30秒ですので、変換にかかる時間は動画長のおよそ240倍程度かかるようです。※私のマシンの場合
※私が使っているのはRyzen9-3900x, 128GB, GTX-1080Ti, RAID M2SSD ですので、動画編集に於いてもそこそこのパフォーマンスがあるマシンでです。変換にかかる時間はマシンのパフォーマンス次第で短くも長くもなると思います。
例えば3分の動画全てを変換すると12時間程度かかる計算となります。
ですので、もしこれらのソフトウェアを使うのであれば、あらかじめ必要なシーンをカットして、少しでも短くしてから変換に臨む事をおすすめします。
変換結果は、言葉では伝わならないので、こちらをご覧ください。

出力された4K映像を、それぞれ10倍にズームしたもので中央縦黒線から左がVideoEnhanceAIで右がDVDFabです。
あきらかに左のVideoEnhanceAIの解像感のほうが上である事がわかりますが、VideoEnhanceAIは少し色味を変えてしまう傾向があるようです。
まぁ、動画を視聴するプラットフォームの8割がスマートフォンですから、ここまでやって解像度を上げる意味があるかどうかは疑問ですが、もし拘るならやってみる価値はあるかもしれません。
以下、一連の比較を動画にまとめましたのでよろしかったらご覧ください。