ホーム 記事タイプ 技術発信 【前編】オープンソースのディープフェイクツール「Avatarify」にアイコがチャレンジ!~ディープフェイクってそもそも何?~
【前編】オープンソースのディープフェイクツール「Avatarify」にアイコがチャレンジ!~ディープフェイクってそもそも何?~
 

【前編】オープンソースのディープフェイクツール「Avatarify」にアイコがチャレンジ!~ディープフェイクってそもそも何?~

山田アイコ、発信します!
今回から、非エンジニアのアイコもアピリッツ社員として、様々なツールやソフトなど新技術について研究して、その成果を発信してみます!
今回は「Avatarify」というツールについて勉強しました。

お疲れ様です。リモートワーク中のアイコです♪
最近は先輩たちとZoomでのオンライン飲み会にハマっています。
Zoomって背景を簡単に変える機能があるので、好きな写真を背景にしたりして盛り上がって楽しいです~!

でも……少し悩みがあるんです……。
お化粧せずにビデオはちょっと恥ずかしいので、オンライン飲み会のためだけに少しお化粧をして着替えたりしなくちゃで。ちょっとめんどくさいな……。

アイコちゃん、最近Avatarifyっていう面白いオープンソースのディープフェイクツールが流行ってるみたいだよ。
好きな顔写真を設定したら、自分の顔の動きにシンクロして設定した写真のパーツが動いてくれるらしい。
試しに入れてみたらどうかな?

ええ~!そんなツールがあるんですか!?
でも、ディープフェイクってなんだろう……さっそく調べてきま~す!

ディープフェイクとは?

ディープフェイク(deepfake)は「深層学習(deep learning)」と「偽物(fake)」を組み合わせた混成語(かばん語)で、人工知能にもとづく人物画像合成の技術を指す。
「敵対的生成ネットワーク(GANs)」と呼ばれる機械学習技術を使用して、既存の画像と映像を、元となる画像または映像に重ね合わせて(スーパーインポーズ)、結合することで生成される。 既存と元の映像を結合することにより、実際には起こっていない出来事で行動している1人あるいは複数人の偽の映像が生み出されることとなる。(Wikipedia参照)

つまり、これから調べるAvatarifyは、とっても高度な画像生成技術ツールということですね!
アイコにできるかな~??

Avatarifyを使ってみたい!

Avatarifyについて調べたところ、開発したAli Aliev氏が実際に使用している動画をYouTubeにアップしていました!29秒目から必見です!

す、すご~い‼
写真はともかく、絵でもパーツを動かしてなりきれちゃうなんて……。
アイコが好きなゴエクロのキャラたちの顔にもなれちゃったりするのかなぁ?

公式サイト:https://github.com/alievk/avatarify

公式のインストール手順や動画を見たけれど……よくわからない……。
そもそも英語がわからないです‼だからいつものGoogle翻訳で……と思いましたが、そういえばDeepL翻訳がかなり良いと先輩に聞いたので試してみることに。

こちらのDeepL翻訳は、Google翻訳では難しかった方言などもきれいに翻訳ができました。細かいニュアンスでも読み取ってくれるんです。とっても高精度で驚きました。

無料版でも十分使い勝手が良かったのでオススメです♪

Avatarifyの必要条件

まずAvatarifyの必要条件の確認をしましょう!

Avatarifyをスムーズに実行するには、CUDA対応(NVIDIA)のビデオカードが必要です。
そうしないと、中央のプロセッサにフォールバックして非常に遅くなります。以下は、いくつかのハードウェアのパフォーマンス指標です。
GeForce GTX 1080 Ti: 33 fps
GeForce GTX 1070:15fps
Mac OSX(MacBook Pro 2018; GPUなし):非常に遅い〜1 fps
もちろん、ウェブカメラも必要です(公式サイト引用、DeepL翻訳)

Avatarifyの利用準備

公式サイトに「このガイドはWindows10で動作確認済みです。」と書いてありましたが、アイコのおうちのパソコンはWindows8!うう、ダメ元で、挑戦してみます!

Miniconda Python 3.7のインストール

始めにMiniconda Python 3.7のインストールをします!

Miniconda Python 3.7とは
Miniconda は conda 用のフリーのミニマムインストーラです。これは小さな Anaconda のブートストラップ版で、conda、Python、それらに依存するパッケージ、そして pip、zlib、その他いくつかの便利なパッケージのみを含んでいます。conda install コマンドを使って、Anaconda リポジトリから 720 以上の追加の conda パッケージをインストールしてください。(公式サイト引用、DeepL翻訳)

アイコは一番上のをダウンロードしました!
Python 3.7 Miniconda Linux 64-bit 81.1 MiB
957d2f0f0701c3d1335e3b39f235d197837ad69a944fa6f5d8ad2c686b69df3b

↓こちらからインストールできます!
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Gitのインストール

次にGitのインストールをします。

随時更新]個人的に開発作業でよく使うgitコマンドの組み合わせ ...

Gitとは
フリーでオープンソースの分散型バージョン管理システムで、小規模なプロジェクトから大規模なプロジェクトまで、あらゆるものを迅速かつ効率的に処理できるように設計されています。
Git は習得が簡単で、フットプリントが小さく、高速なパフォーマンスを発揮します。安価なローカルブランチ、便利なステージングエリア、複数のワークフローなどの機能で、Subversion、CVS、Perforce、ClearCaseなどのSCMツールを凌駕しています。(公式サイト引用、DeepL翻訳)

こちらも64bitのをインストールしました。

↓こちらからインストールできます!
64-bit Git for Windows Setup.

インストール時に何も変更せずそのまま完了してください。

Anaconda prompt(miniconda3)を起動

パソコンの画面左下のWindowsをクリックし、検索欄へ「miniconda」と入力します。
①が正しくインストールができていれば「Anaconda prompt(miniconda3)」が出てきます。

クリックをすると黒いコードを打つところが出てきます。
※ちゃんと出てきた方は開いたまま、次の工程へ進んでください。

※ちなみに「Anaconda prompt(miniconda3)」と「Anaconnda Powershell prompt(miniconda3)」の2つが出てきます。「Anaconda prompt(miniconda3)」を選んでください。

アイコはどちらかわからず戸惑いましたが、「Anaconnda Powershell prompt(miniconda3)」では進まないので注意です!

~出てこない場合~

出てこない!?手順通りにしたはずなのに!?
ここまでインストールとダウンロードはできていたはず……
いったい何がいけなかったのでしょうか。

調べたところ、どうやらAnacondaのインストールの際、チェックが一つ外れていて、minicondaが認識をされていなかったようです。

初期状態では、下のチェックリストにしかチェックが入っていませんので、上にもチェックしてインストールをやり直して下さい。

Avatarifyのインストール

下記のコマンドを「Anaconnda prompt(miniconda3)」へ変更せずコピーペーストしてください。

git clone https://github.com/alievk/avatarify.git
cd avatarify
scripts\install_windows.bat

※一行ずつコピーペーストして下さいね

アイコのパソコンが処理を頑張っています。
なかなかのスペックがいりそうです……アイコのパソコン頑張って……‼
(処理には時間がかなりかかります)

ネットワークウェイトのダウンロード

次にネットワークウェイトをダウンロードします!

Download model’s weights from DropboxMegaYandex.Disk or Google Drive [716 MB, md5sum 46b26eabacbcf1533ac66dc5cf234c5e]

アイコがGoogleドライブを経由してダウンロードを済ませました。
この時、ファイルの大きさからかGoogleドライブでのファイルのプレビューができませんでした。
少し不安ながらもプレビューを諦め、ダウンロードを開始しました。

「vox-adv-cpk.pth.tar」というファイルがパソコンのフォルダ内に入ったらディレクトリします!(※この時、解凍はしないでくださいね)

アイコ、ディレクトリの意味がわからなかったので調べましたが、作ってあるavatarifyフォルダの中へドラッグして入れるだけでした!

※デスクトップに、avatarifyフォルダを作っておくと、見やすくなり整理の時に楽です。
アイコはフォルダを探すため、かなりの時間をロスしました。
パソコン整理をこまめにしていなかったせいもありますが……。

run_windows.batを入力

処理が終わったminicondaへ「run_windows.bat」の入力をしましょう。

処理が終わると、”cam “と “avatarify “の2つのウィンドウが表示されます。これらのウィンドウは、次のインストール手順のために開いたままにしておきます!

※1つは自分を映すカメラ画面、もう1つは白黒の絵が出てきます。

~アイコの悲劇~

お、重たい……‼
画面が全部カクカクとラグが激しくってなかなか進みません……。
でも、この後の手順で見やすくなるのかな?
(と思い、次の作業へ進もうとしたその時……)

応答なし表示が出て落ちました。

開いたままで次の手順に行くと書いてあるのに閉じちゃった!?
っていうアイコと同じことになってしまった方!
アイコも慌てちゃいましたが、落ち着いて、もう一回minicondaから「run_windows.bat」を入力すれば大丈夫!ちゃんとまた2画面復活できるので安心してください!

でもやはり重たいのは変わらず、アイコのパソコンスペックでは厳しそうです……。
ひとまずできるところまで頑張って説明しますね!

OBS Studioのインストール

Avatarifyの出力をキャプチャするためのOBS Studioをインストールします。

OBSstudioとは
ビデオ録画とライブストリーミングのためのフリーでオープンソースのソフトウェア。
ダウンロードして、Windows、Mac、Linuxで素早く簡単にストリーミングを開始できます。(公式サイト引用、DeepL翻訳)
https://obsproject.com/

↓こちらをクリックすると、ダウンロードが始まります!
https://cdn-fastly.obsproject.com/downloads/OBS-Studio-25.0.8-Full-Installer-x64.exe

VirtualCamプラグインのインストール

VirtualCamプラグインをインストールします。Installを選択し、仮想カメラを1台だけ登録しましょう。

↓こちらをインストールしましょう。
OBS-VirtualCam2.0.4-Installer.exe
インストールの際、「Install and register only 1 virtual camera」が出てくるので、忘れずにチェックしてくださいね!

OBS Studioを起動

準備が整ったのでWindowsのスタートボタンから検索バーをクリックし、「OBS」と入力しましょう。

ちゃんと今までのインストールが済んでいれば、OBSstudioが出てきます!
クリックして起動してください。

やっとカメラのところまでいけました~。
いよいよ設定です‼

下の段の左から2つ目に、「ソース」という欄があります。
そちらの「ソース」をクリックしていただき、バーの一番上のウィンドウキャプチャをクリックしてください!

ソースの欄にウィンドウキャプチャが表示されたらダブルクリックし、ウィンドウをクリックし、「[python.exe]: avatarify」を選択してください。

先ほど⑥で出しっぱなしにしてある2画面が、OBSstudioへ映し出されます。

次に上のバーにある「ツール」をクリックし、「VirtualCam」を選択してください!
チェックリストが3つ出てきたら、一番上の「AutoStart」にチェックを入れ、Buffered Framesを0へ設定してスタートボタンを押してください。

Avatarifyを使ってみた!

無事インストールと設定が終わりました!
公式通りアバター設定をしたり動作を確認してみました!

アイコのパソコンでAvatarify(ほぼ動いてない……

でも、残念ながらアイコのパソコンではとても安定せずガタガタ……。
レビューすらできそうにありません……。

このままでは悔しいので、次回アピリッツにあるスペックが高いパソコンでインストールをし直して、使ってみた動画なども皆さんにお届けします‼‼
後編をお楽しみに!

記事を共有

最近人気な記事