【前編】オープンソースのディープフェイクツール「Avatarify」にアイコがチャレンジ！～ディープフェイクってそもそも何？～

ディープフェイクとは？

ディープフェイク（deepfake）は「深層学習（deep learning）」と「偽物（fake）」を組み合わせた混成語（かばん語）で、人工知能にもとづく人物画像合成の技術を指す。
「敵対的生成ネットワーク（GANs）」と呼ばれる機械学習技術を使用して、既存の画像と映像を、元となる画像または映像に重ね合わせて（スーパーインポーズ）、結合することで生成される。 既存と元の映像を結合することにより、実際には起こっていない出来事で行動している1人あるいは複数人の偽の映像が生み出されることとなる。（Wikipedia参照）

Avatarifyを使ってみたい！

公式サイト：https://github.com/alievk/avatarify

公式のインストール手順や動画を見たけれど……よくわからない……。
そもそも英語がわからないです‼だからいつものGoogle翻訳で……と思いましたが、そういえばDeepL翻訳がかなり良いと先輩に聞いたので試してみることに。

こちらのDeepL翻訳は、Google翻訳では難しかった方言などもきれいに翻訳ができました。細かいニュアンスでも読み取ってくれるんです。とっても高精度で驚きました。

Avatarifyの必要条件

Avatarifyをスムーズに実行するには、CUDA対応（NVIDIA）のビデオカードが必要です。
そうしないと、中央のプロセッサにフォールバックして非常に遅くなります。以下は、いくつかのハードウェアのパフォーマンス指標です。
GeForce GTX 1080 Ti: 33 fps
GeForce GTX 1070：15fps
Mac OSX（MacBook Pro 2018; GPUなし）：非常に遅い〜1 fps
もちろん、ウェブカメラも必要です（公式サイト引用、DeepL翻訳）

Avatarifyの利用準備

Miniconda Python 3.7のインストール

始めにMiniconda Python 3.7のインストールをします！

Miniconda Python 3.7とは
Miniconda は conda 用のフリーのミニマムインストーラです。これは小さな Anaconda のブートストラップ版で、conda、Python、それらに依存するパッケージ、そして pip、zlib、その他いくつかの便利なパッケージのみを含んでいます。conda install コマンドを使って、Anaconda リポジトリから 720 以上の追加の conda パッケージをインストールしてください。（公式サイト引用、DeepL翻訳）

↓こちらからインストールできます！
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Gitのインストール

次にGitのインストールをします。

Gitとは
フリーでオープンソースの分散型バージョン管理システムで、小規模なプロジェクトから大規模なプロジェクトまで、あらゆるものを迅速かつ効率的に処理できるように設計されています。
Git は習得が簡単で、フットプリントが小さく、高速なパフォーマンスを発揮します。安価なローカルブランチ、便利なステージングエリア、複数のワークフローなどの機能で、Subversion、CVS、Perforce、ClearCaseなどのSCMツールを凌駕しています。（公式サイト引用、DeepL翻訳）

↓こちらからインストールできます！
64-bit Git for Windows Setup.

インストール時に何も変更せずそのまま完了してください。

Anaconda prompt(miniconda3)を起動

パソコンの画面左下のWindowsをクリックし、検索欄へ「miniconda」と入力します。
①が正しくインストールができていれば「Anaconda prompt(miniconda3)」が出てきます。

クリックをすると黒いコードを打つところが出てきます。
※ちゃんと出てきた方は開いたまま、次の工程へ進んでください。

※ちなみに「Anaconda prompt(miniconda3)」と「Anaconnda Powershell prompt(miniconda3)」の2つが出てきます。「Anaconda prompt(miniconda3)」を選んでください。

～出てこない場合～

調べたところ、どうやらAnacondaのインストールの際、チェックが一つ外れていて、minicondaが認識をされていなかったようです。

初期状態では、下のチェックリストにしかチェックが入っていませんので、上にもチェックしてインストールをやり直して下さい。

Avatarifyのインストール

下記のコマンドを「Anaconnda prompt(miniconda3)」へ変更せずコピーペーストしてください。

git clone https://github.com/alievk/avatarify.git
cd avatarify
scripts\install_windows.bat

※一行ずつコピーペーストして下さいね

ネットワークウェイトのダウンロード

次にネットワークウェイトをダウンロードします！

Download model’s weights from Dropbox, Mega, Yandex.Disk or Google Drive [716 MB, md5sum 46b26eabacbcf1533ac66dc5cf234c5e]

アイコがGoogleドライブを経由してダウンロードを済ませました。
この時、ファイルの大きさからかGoogleドライブでのファイルのプレビューができませんでした。
少し不安ながらもプレビューを諦め、ダウンロードを開始しました。

「vox-adv-cpk.pth.tar」というファイルがパソコンのフォルダ内に入ったらディレクトリします！（※この時、解凍はしないでくださいね）

※デスクトップに、avatarifyフォルダを作っておくと、見やすくなり整理の時に楽です。
アイコはフォルダを探すため、かなりの時間をロスしました。
パソコン整理をこまめにしていなかったせいもありますが……。

run_windows.batを入力

処理が終わったminicondaへ「run_windows.bat」の入力をしましょう。

処理が終わると、”cam “と “avatarify “の2つのウィンドウが表示されます。これらのウィンドウは、次のインストール手順のために開いたままにしておきます！

※1つは自分を映すカメラ画面、もう1つは白黒の絵が出てきます。

～アイコの悲劇～

応答なし表示が出て落ちました。

OBS Studioのインストール

Avatarifyの出力をキャプチャするためのOBS Studioをインストールします。

OBSstudioとは
ビデオ録画とライブストリーミングのためのフリーでオープンソースのソフトウェア。
ダウンロードして、Windows、Mac、Linuxで素早く簡単にストリーミングを開始できます。（公式サイト引用、DeepL翻訳）
https://obsproject.com/

↓こちらをクリックすると、ダウンロードが始まります！
https://cdn-fastly.obsproject.com/downloads/OBS-Studio-25.0.8-Full-Installer-x64.exe

VirtualCamプラグインのインストール

VirtualCamプラグインをインストールします。Installを選択し、仮想カメラを1台だけ登録しましょう。

↓こちらをインストールしましょう。
OBS-VirtualCam2.0.4-Installer.exe
インストールの際、「Install and register only 1 virtual camera」が出てくるので、忘れずにチェックしてくださいね！

OBS Studioを起動

準備が整ったのでWindowsのスタートボタンから検索バーをクリックし、「OBS」と入力しましょう。

ちゃんと今までのインストールが済んでいれば、OBSstudioが出てきます！
クリックして起動してください。

下の段の左から2つ目に、「ソース」という欄があります。
そちらの「ソース」をクリックしていただき、バーの一番上のウィンドウキャプチャをクリックしてください！

ソースの欄にウィンドウキャプチャが表示されたらダブルクリックし、ウィンドウをクリックし、「[python.exe]: avatarify」を選択してください。

先ほど⑥で出しっぱなしにしてある2画面が、OBSstudioへ映し出されます。

次に上のバーにある「ツール」をクリックし、「VirtualCam」を選択してください！
チェックリストが3つ出てきたら、一番上の「AutoStart」にチェックを入れ、Buffered Framesを0へ設定してスタートボタンを押してください。

Avatarifyを使ってみた！