UAP14475 のブログⅢ

Yahoo!ブログから引っ越してきました。パソコンとトイガンが大好物です。  暇になると艦これを始めてしまいます。とにかく秘書艦は阿武隈ちゃんで。

モザイク除去実験中:DeepMosaics

モザイク除去は実在する!!!(ドドン)

最近、「 モザイク破壊版 」 なるものが出回っていると耳にしました。
” いやーどうせ眉唾物でしょう? ” と全く信じていませんでしたが、実際見てみるとどうにも出来が良い。
これはきっとダークウェブの悪い人々が裏でやっているに違いない・・・と思いきや。

  ・ GitHub - HypoX64/DeepMosaics: Automatically remove the mosaics in images and videos, or add mosaics to them.

普通にGitHubでやってました。サーフェスウェブ丸出しですね。
日本ではモザイク除去とかモザイク破壊と呼んでいますが、英語では 「 decensor 」 と言うようです。
censorが検閲という意味らしいので、decensorで・・・ 逆検閲?抗検閲?解検閲?
まあ実際のところ検閲ではない何かを加工するような気もしますが・・・(お察し)

Windows向けにはGUI付のものがGoogleDrive経由で配信されています。
  ・ DeepMosaics - Google ドライブ ( ※2021,01,25時点 )
AviUtlのx264guiExと同じくCLIにガワを被せたような恰好になっていて、
一部のコマンド(--traditional など)は直接記述します。

GUI版のマニュアル(英語)も同じくGitHubから参照できます。
  ・ DeepMosaics/exe_help.md at master · HypoX64/DeepMosaics · GitHub
あとは検索で調べてみましょう。ググりましょう。


モザイク除去の原理はズバリ、モザイク検出+超解像技術 です。
低解像度の動画を高解像化する、というのはAviUtlで割と行われていたりしたものです。

しかし、超解像技術は実際のところ動画変換ではあまり広くは使われていなかったと思います。
理由は簡単で、この処理は信じられないほど負荷が重いのです。バイキュービックの比ではありません。
DeepMosaicsもまた非常に重く、SD解像度の映像であっても2時間もあれば数日はかかります。


DeepMosaicsの具体的な処理はコマンドプロンプトを見ている限りこんな感じ↓

① 音声ストリームを分離
② 映像ストリームをMotionJPEGに変換
③ MotionJPEGをJPEGに変換
④ モザイク検出(マスク生成)
⑤ 検出されたモザイク部分に指定された処理(超解像技術)を適用
⑥ 音声ストリームとともに再圧縮(H.264AAC?)

一旦JPEGにバラして処理するようです。
中間生成ファイルはmain.exeのあるフォルダのcore\tmp以下の各フォルダに保存されます。
2時間のSD動画なら300GBくらい空けておくと良さそうです。余裕をもって1,000GBくらい用意するとGOOD?


いくつかコマンドラインオプションも用意されているので完成度なども実験中ですが、
だいたい30秒のSD動画で数時間かかるので、かなり短い動画か時間指定が必要と思います。

f:id:UAP14475:20210125062209p:plain:w600
  ↑ main.exeを起動して 「 More Options 」 をクリックしたところ

このGUIには 「 Start Time 」 と 「 Last Time 」 があり、Startの方はそのままで良いんですが・・・
実はLastの方はタイマー仕様となっているようです。(V0.4.0)

つまり、例えば00:01:20から00:01:30までを指定する場合は、
  ・ Start Time ・・・ 00:01:20
  ・ Last Time ・・・ 00:00:10
と入力します。
Last Time に 00:01:30 と入力してしまうと、00:01:20~00:02:50が指定されてしまいます。



ところで、この実験はFX-8350プロセッサー搭載の自作PCⅠでやってるんですが・・・
ノートPCのCore i7-4810MQに比べてかなり遅いような気がします。特にモザイク検出から。
もしかするとこの処理にはFPUをよく使うのかもしれません。FXユーザーは気をつけましょう。
あるいはRyzenCore i9買いましょう。

GPGPUの対応も検討されているようですが、こちらはコア部分以上に開発途上であるようで、
GUIからは実行できないと説明されていたり、NVIDIA専用だったり、確認済みGPUが1種類だったり・・・
詳しい人呼んでこないとよく分からないですね。

・・・開発止まってるとはいえJavPlayerの方が良くね?(次回予告)