実践編では、機械学習の手法によるアイコン画像の生成について書いていきます。

前回の下調べ編では CycleGAN でのスタイル変換によるアイコン画像生成の先例を見ていきました。今回はその再現を実践していきます。

実践にあたっては以下を順に見ていきます。

1. 実装
2. データセット
3. 実行環境

1.実装

実装は前述のとおり junyanz/pytorch-CycleGAN-and-pix2pix を利用したとのことなのでこれを利用します。データセットを所定のディレクトリに配置し学習します。

おそらく以下のような実行方法になります。

# 32x32 のデータセットを配置し、そのデータセットでの学習 (4つの GPU があるものとする)
python train.py --dataroot ./datasets/iconify32x32 --name iconify_cyclegan --model cycle_gan --gpu_ids 0,1,2,3 --batch_size 16
# 64x64 のデータセットでのファインチューニング
python train.py --dataroot ./datasets/iconify64x64 --name iconify_cyclegan --model cycle_gan --gpu_ids 0,1,2,3 --batch_size 16 --continue_train
# 128x128
python train.py --dataroot ./datasets/iconify128x128 --name iconify_cyclegan --model cycle_gan --gpu_ids 0,1,2,3 --batch_size 16 --continue_train
# 256x256
python train.py --dataroot ./datasets/iconify256x256 --name iconify_cyclegan --model cycle_gan --gpu_ids 0,1,2,3 --batch_size 16 --continue_train

まず最初に解像度の低い画像のデータセットで学習し、だんだん解像度を上げていきます。この実装では --continue_train フラグを指定することで、モデルをファインチューニングできるので、2回目以降の解像度ではファインチューニングとして実行していきます。

2.データセット

ロゴ画像については、400×400 のサイズの画像をリサイズしていけばよさそうです。一方で実写の物体の画像を用意するのはひと手間かかる予感がします。

pycocotools を使って COCO のアノテーション情報をもとに加工していきます。ひとまずどんなライブラリかコンソールで確認していきます。

>>> from pycocotools.coco import COCO
>>>
>>> annotation_path = 'datasets/coco/annotations/instances_train2017.json'
>>> coco = COCO(annotation_path)
loading annotations into memory...
Done (t=23.60s)
creating index...
index created!

画像のリソースや、そのアノテーション情報にアクセスできます。

>>> img_id = coco.getImgIds()[0]
>>> img_id
391895
>>> img = coco.loadImgs(img_id)
>>> img
[{'license': 3, 'file_name': '000000391895.jpg', 'coco_url': 'http://images.cocodataset.org/train2017/000000391895.jpg', 'height': 360, 'width': 640, 'date_captured': '2013-11-14 11:18:45', 'flickr_url': 'http://farm9.staticflickr.com/8186/8119368305_4e622c8349_z.jpg', 'id': 391895}]

画像のリソースの情報にアクセスできます。

なお、ここでの license の項目は画像のライセンスをあらわす定数のようです。完全に脱線してしまいますが、アノテーションファイルの JSON から jq .licenses instances_train2017.json などとしてライセンスの情報をみてみます。

[
  {
    "url": "http://creativecommons.org/licenses/by-nc-sa/2.0/",
    "id": 1,
    "name": "Attribution-NonCommercial-ShareAlike License"
  },
  {
    "url": "http://creativecommons.org/licenses/by-nc/2.0/",
    "id": 2,
    "name": "Attribution-NonCommercial License"
  },
  {
    "url": "http://creativecommons.org/licenses/by-nc-nd/2.0/",
    "id": 3,
    "name": "Attribution-NonCommercial-NoDerivs License"
  },
  {
    "url": "http://creativecommons.org/licenses/by/2.0/",
    "id": 4,
    "name": "Attribution License"
  },
  {
    "url": "http://creativecommons.org/licenses/by-sa/2.0/",
    "id": 5,
    "name": "Attribution-ShareAlike License"
  },
  {
    "url": "http://creativecommons.org/licenses/by-nd/2.0/",
    "id": 6,
    "name": "Attribution-NoDerivs License"
  },
  {
    "url": "http://flickr.com/commons/usage/",
    "id": 7,
    "name": "No known copyright restrictions"
  },
  {
    "url": "http://www.usa.gov/copyright.shtml",
    "id": 8,
    "name": "United States Government Work"
  }
]

上記の画像のリソースの情報は CC BY-NC-ND なので、会社のブログで画像を切ったり貼ったりするのには適さなそうです。CC BY 2.0 の 4 からランダムに選んでみます。

>>> ids = coco.getImgIds()
>>> imgs = coco.loadImgs(ids)
>>> import random
>>> img = random.choice([i for i in imgs if i['license'] == 4])
>>> img
{'license': 4, 'file_name': '000000226571.jpg', 'coco_url': 'http://images.cocodataset.org/train2017/000000226571.jpg', 'height': 426, 'width': 640, 'date_captured': '2013-11-18 21:53:31', 'flickr_url': 'http://farm4.staticflickr.com/3037/3054252115_dca3690eb8_z.jpg', 'id': 226571}

4 of 4 Two Equestrian Horse Riders on Morro Strand State B… | Flickr

馬にのった人物の画像でした。

つづいてアノテーションも見てみます。

>>> ann_ids = coco.getAnnIds(imgIds=[img['id']])
>>> ann_ids
[54013, 54104, 185138, 209986, 1376036]
>>> anns = coco.loadAnns(ann_ids)
>>> ann = anns[2]
>>> ann
{'segmentation': [[345.95, 149.26, 345.95, 152.32, 345.95, 155.0, 340.98, 156.91, 330.65, 163.03, 332.18, 164.57, 339.06, 165.33, 334.47, 176.43, 326.82, 187.52, 325.29, 193.64, 326.44, 208.18, 325.29, 223.86, 325.29, 237.64, 342.12, 263.27, 352.07, 272.02, 352.84, 294.97, 359.72, 322.52, 359.72, 332.08, 364.69, 329.79, 365.08, 326.34, 368.14, 314.1, 371.58, 314.48, 372.73, 321.75, 373.88, 327.87, 375.02, 330.93, 382.29, 329.79, 383.06, 329.4, 383.44, 329.4, 384.97, 325.2, 381.91, 324.81, 375.79, 319.07, 373.11, 312.95, 370.43, 303.39, 370.05, 299.18, 370.43, 289.62, 370.43, 267.04, 364.31, 253.27, 358.96, 238.02, 364.31, 233.43, 363.93, 222.72, 371.58, 221.19, 384.59, 220.8, 390.71, 220.04, 389.18, 216.21, 387.65, 212.39, 386.5, 210.09, 376.94, 211.62, 363.93, 212.39, 362.4, 192.88, 366.99, 182.21, 364.31, 182.21, 360.49, 181.83, 356.66, 179.92, 356.66, 178.77, 361.25, 178.77, 362.78, 175.33, 363.55, 173.03, 366.23, 172.65, 367.37, 171.5, 366.61, 166.91, 367.37, 163.47, 368.14, 161.94, 375.02, 163.09, 381.15, 163.09, 380.38, 160.41, 367.76, 155.05, 365.08, 146.25, 352.84, 145.11, 344.42, 147.4]], 'area': 5287.617649999996, 'iscrowd': 0, 'image_id': 226571, 'bbox': [325.29, 145.11, 65.42, 186.97], 'category_id': 1, 'id': 185138}

これだけだとよくわからないのでマスクに変換して形状を見てみます。

>>> mask = coco.annToMask(ann)
>>> mask
array([[0, 0, 0, ..., 0, 0, 0],
       [0, 0, 0, ..., 0, 0, 0],
       [0, 0, 0, ..., 0, 0, 0],
       ...,
       [0, 0, 0, ..., 0, 0, 0],
       [0, 0, 0, ..., 0, 0, 0],
       [0, 0, 0, ..., 0, 0, 0]], dtype=uint8)
>>> import numpy as np
>>> from PIL import Image
>>> masking = Image.fromarray(mask * 255) # mask は 0, 1 の numpy.ndarray になっているので 1 の部分を白くするために 255 をブロードキャストします
>>> masking.save('masking.jpg')

このアノテーションは上の画像の人間の部分のようです。

これをつかって切り抜いてみます。

>>> from skimage import io
>>> image = io.imread(img['coco_url'])
>>> image[np.where(mask == 0)] = 255 # マスクで 0 になっている部分 (背景部分) を白くしてしまう
>>> Image.fromarray(image).save('masked-image.jpg')

対象領域だけにしぼってみます。すこし煩雑になってきたのでメソッドを定義します。

>>> def object_rect_indices(mask):
...     '''アノテーションのマスクからオブジェクトの矩形領域の両端 (top, bottom, left, right) を返す
...     '''
...     ys, xs, *_ = np.where(mask == 1) # mask は2次元配列の想定
...     top = ys.min()
...     bottom = ys.max()
...     left = xs.min()
...     right = xs.max()
...     return (top, bottom, left, right)
...
>>> def clip_image_margin(image, mask):
...     '''画像の余白を削って返す
...     '''
...     top, bottom, left, right = object_rect_indices(mask)
...     return image[top:bottom, left:right]
...
>>> clipped = clip_image_margin(image, mask)
>>> Image.fromarray(clipped).save('clipped.jpg')

よさそうです。正方形にしてしまいます。

>>> def to_square(image):
...     '''画像の ndarray を、長辺にあわせて正方形に余白を追加した ndarray を返す
...     '''
...     h, w, *_ = image.shape
...     pad_width = [(0, 0)] * image.ndim # 2値画像なら二次元分、RGB 画像なら三次元分
...     if h > w:
...         # 縦長なので横方向にパディングする
...         size = h
...         padding = size - w
...         before = padding // 2
...         after = padding - before
...         pad_width[1] = (before, after)
...     else:
...         # 横長なので縦方向にパディングする
...         size = w
...         padding = size - h
...         before = padding // 2
...         after = padding - before
...         pad_width[0] = (before, after)
...     padded = np.pad(image, pad_width, constant_values=255) # 余白は白で埋める
...     return padded
...
>>> square_image = to_square(clipped)
>>> Image.fromarray(square_image).save('square-image.jpg')

こういう画像が用意できたらあとはリサイズしていけばよさそうです。

今回は以下のようなスクリプトにまとめて小さい画像を排除しつつ切り出しとリサイズを行いました。

import numpy as np
from PIL import Image
from pathlib import Path
from pycocotools.coco import COCO

# instances_train2017.json でのアノテーションでは、セグメントのピクセルサイズの
# 中央値が 1696 くらいなので、ひとまず 1500px あれば小さいとはみなさないことにする。
SMALL_IMAGE_PIXEL_THRESHOLD = 1500

# データセット用にリサイズするサイズ
SIZE_32x32 = (32, 32)
SIZE_64x64 = (64, 64)
SIZE_128x128 = (128, 128)
SIZE_256x256 = (256, 256)

def is_satisfied_object_size(mask, min_threshold=SMALL_IMAGE_PIXEL_THRESHOLD):
    '''アノテーションのマスクの ndarray から対象セグメントのサイズが訓練に使えるサイズかどうかを判断して返す
    '''
    return np.size(mask[mask == 1]) >= min_threshold

def extract_object(image, mask):
    '''マスク対象の画像 image の ndarray と、mask の ndarray で、対象のセグメント部分以外を白く塗り潰した ndarray を返す
    '''
    extracted = image.copy()
    extracted[np.where(mask == 0)] = 255 # セグメントのオブジェクト以外の部分を白くする
    return extracted

def object_rect_indices(mask):
    '''アノテーションのマスクからオブジェクトの矩形領域の両端 (top, bottom, left, right) を返す
    '''
    ys, xs, *_ = np.where(mask == 1) # mask は2次元配列の想定
    top = ys.min()
    bottom = ys.max()
    left = xs.min()
    right = xs.max()
    return (top, bottom, left, right)

def clip_image_margin(image, mask):
    '''画像の余白を削って返す
    '''
    top, bottom, left, right = object_rect_indices(mask)
    return image[top:bottom, left:right]

def to_square(image):
    '''画像の ndarray を、長辺にあわせて正方形に余白を追加した ndarray を返す
    '''
    h, w, *_ = image.shape
    pad_width = [(0, 0)] * image.ndim # 2値画像なら二次元分、RGB 画像なら三次元分
    if h > w:
        # 縦長なので横方向にパディングする
        size = h
        padding = size - w
        before = padding // 2
        after = padding - before
        pad_width[1] = (before, after)
    else:
        # 横長なので縦方向にパディングする
        size = w
        padding = size - h
        before = padding // 2
        after = padding - before
        pad_width[0] = (before, after)
    padded = np.pad(image, pad_width, constant_values=255) # 余白は白で埋める
    return padded

def extract_square_object_image(image, mask):
    '''正方形にセグメント対象を切り抜いた ndarray を返す
    '''
    extracted = extract_object(image, mask)
    clipped = clip_image_margin(extracted, mask)
    square_image = to_square(clipped)
    return square_image

def image_file_name_from_annotation(ann):
    '''アノテーションから画像ファイル名を返す
    '''
    return '%012d.jpg' % ann['image_id']

def load_image(ann, image_src_dir_path):
    '''アノテーションからアノテーション対象のオリジナル画像を返す
    '''
    # image は image_src_dir_path にアノテーション対象の画像があるのものとして読み込む (なければそのまま例外スロー)
    file_name = image_file_name_from_annotation(ann)
    src = Path(image_src_dir_path) / file_name
    image = np.array(Image.open(str(src)))
    return image

def make_datasets():
    '''写真画像のデータセットをつくる

    対象のみを切り出し白背景にして、32x32, 64x64, 128x128, 256x256 のサイズにリサイズした画像を作る。

    datasets/coco/annotations/instances_train2017.json のアノテーション情報と画像をもとに、以下のサイズごとのディレクリにリサイズして画像を置く

    - datasets/images/photo/32x32
    - datasets/images/photo/64x64
    - datasets/images/photo/128x128
    - datasets/images/photo/256x256

    各サイズごとに 447921 とか画像が作られるので時間がかかる (適当なところで break したほうがいいかも)
    '''

    # photo_image.py
    current_file_path = Path(__file__).resolve()

    # coco の情報
    coco_base_path = current_file_path.parent.joinpath('datasets/coco')
    coco_annotation_path = coco_base_path / 'annotations/instances_train2017.json'
    coco_image_path = coco_base_path / 'train2017'

    # 出力先
    image_datasets_path = current_file_path.parent.joinpath('datasets/images')
    image_datasets_path.mkdir(parents=True, exist_ok=True)

    # 写真画像の出力先
    photo_image_dataset_base_path = image_datasets_path / 'photo'
    photo_image_dataset_base_path.mkdir(parents=True, exist_ok=True)

    # 4サイズつくる
    sizes = [SIZE_32x32, SIZE_64x64, SIZE_128x128, SIZE_256x256]
    dests = ['32x32', '64x64', '128x128', '256x256']
    # ディレクトリ掘っておく
    for directory in dests:
        path = photo_image_dataset_base_path / directory
        path.mkdir(parents=True, exist_ok=True)

    size_with_dst_pairs = list(zip(sizes, dests))

    # coco のアノテーションと画像ファイルからリサイズしたデータセット画像作成
    coco = COCO(str(coco_annotation_path))
    ann_ids = coco.getAnnIds()
    for ann in coco.loadAnns(ann_ids):
        ann_id = ann['id']
        print(f'process {ann_id}')
        mask = coco.annToMask(ann)
        if not is_satisfied_object_size(mask):
            # サイズが小さければスキップ
            print('skipped.')
            continue
        image = load_image(ann, coco_image_path)
        square_image = extract_square_object_image(image, mask)
        object_image_file_name = f'{ann_id}.jpg'
        for size, dirname in size_with_dst_pairs:
            dest = photo_image_dataset_base_path.joinpath(dirname, object_image_file_name)
            resized = Image.fromarray(square_image).resize(size)
            resized.save(dest)
            print(f'save {dest}')

        print('done.')

if __name__ == '__main__':
    make_datasets()

3.実行環境

AWS で実行します。
前出の実装のリポジトリに colab (colaboratory) での実行例が用意されています (CycleGAN.ipynb)。馬とシマウマのデータセットで学習を試してみたところ半日で終わらず、200 epoch のうち数 epoch しか進んでいません。与えられたデータを全部使った学習を200回まわすようになっていますが、そのうちの数回しかまわせていませんでした。おそらく colab では事前に学習済みのデータ (pretrained model) を使って生成を試すのを想定していそうです。これよりデータ量の多い今回の再現も colab では手にあまります。なので AWS を利用します。

機械学習の用途なので NVIDIA Deep Learning AMI の AMI を利用してみます。Docker で実行することも考えましたが、本題以外の部分でハマりたくないため、EC2 でそのまま実行していきました。事前に作成して S3 にアップしておいたデータセットを持ってくるために awscli や、必要なライブラリ (libffi-dev などが必要になるかもしれません) を導入します。

以下のサイズで動作を見ていきます。

• t2.micro
  • S3 のリソースにアクセスできるかなど雑多な準備・確認用
• g4dn.xlarge (T4 x 1GPU)
  • GPU を使って実行できるかどうかの確認用 (colab でも同程度の GPU なので期待はしない)
• g4dn.12xlarge (T4 x 4GPU)
  • 複数 GPU を使えるかどうかの確認用 (あわよくば現実的な実行時間で済むかかもくらいに期待)
• p3.16xlarge (V100 x 8GPU)
  • 強い GPU で実行した場合にどれくらいの実行時間になりそうか確認する用

p3.16xlarge (8GPU を利用し、バッチサイズが 36 になるよう指定して実行、イテレーションは 5000) で動作確認して 1 epoch どれくらいかかるか見てみたところ、およそ120秒となりました。すなわち 200 epoch 完了するのに数時間かかります。ここに3回ファインチューニングを重ねるためさらに時間がかかります。今回の再現がこのコストに見合うかというと微妙なところです。ひとさまがすでに論文として仕上げているものを再現するためだけにこれほどのコストをかけてよいものか、また再現する価値があったとしてその先はどうするのか、少し考える必要があるように思います。

実際のところ、この数時間ぶん程度の実行コストは機械学習のタスクとしては現実的な範囲に見えます。しかし、ここからさらに実用的なものを目指したり発展させていくなら検証をかさねることになります。この先進むには当初の動機が軽すぎるためコストをかける説得力がありません。そういうわけで、ここで一旦再現を中断することにしました。低コストで効率的に実行する方法を探ったり、計画を立てるなどして説得力を増す必要があります。

実践編 まとめと感想

中途半端な状態で終わってしまいましたが、論文に書かれた内容を追って、そこに込められた工夫を知れたのはよかったです。理論を整理して実際に動かし検証をやりきるのにたくさんのリソース (人的にも計算資源的にも) がかかることを考えると、論文をまとめることのすごさを感じました。今度はもうすこし具体的な道筋を考えるか、小さくはじめられるこころみでリベンジしていきたいです。

今回こころみたこと

ここでは先行事例（くわしくは後述します）にならい、CycleGAN でのアイコン画像生成をこころみます。この下調べ編では仕組みについて見ていき、続く 実践編で具体的に動かしていきます。

すすめていくと、気軽な生成のためには気軽ではない準備が必要でした。またコストの面でも “機械学習で発生するものとしては現実的な範囲、ただし気軽に試すにはためらう程度” のリソースが必要になりました。今回のこころみでは気軽な範囲にとどめ、最後の一歩手前までを実践していきます。

動機

今回アイコン画像の生成をこころみた動機は主に以下の2点でした。

1. 機械学習での生成をためしたい
2. オリジナリティのあるアイコン画像を気軽に手に入れたい

1.機械学習での生成をためしたい

過去の案件で何かを予測したり識別したりするような課題を扱ったことはありますが、何かを生成するような課題については経験が少ないため、生成に関する知見を増やしたいです。

2.オリジナリティのあるアイコン画像を気軽に手に入れたい

システム開発では何かとアイコン画像の出番があります。しかも、対象のシステムに特化した “こういうアイコン画像が欲しいです” となることがたびたびあります。また、いろいろなアイコン画像を試してみたいという要望もしばしばあります。

特化したアイコンについては、様々なテイストのアイコンセットやニッチな領域に特化したアイコンが販売されているのでそれを利用する手もあります。とはいえピンポイントなものを探す手間はかかりそうです。

いろいろなアイコンを試してみたいという要望については、なるべくデザイナーの手を煩わすことなくアイコン画像の候補を用意したいところです。デザイナーの手にかかる前のプロトタイピングの段階で仮のそれらしいアイコン画像を用意できれば手戻りも減らせそうです。

上記では、一般的な用途のアイコン画像に加え、用途の偏ったアイコン画像を気軽にためしたいという要望があります。アイコン画像の生成については、あらかじめ用意されたアイコン画像の色調を変更したりアウトライン・塗り潰しを切り替えたりするなど、組み合わせで実現する方法もあります。ただしこの場合、バリエーションを用意するのに手がかかってしまうし、用意されたものから逸脱するアイコン画像を手に入れることはできません。

ここでは、任意の対象がアイコンとして表現されている画像が欲しい、と言えそうです。あらかじめ用意した選択肢をこえたものが欲しいというような問題の解決に機械学習の手法が使えないか、というのを理由に今回の課題を考えてみます。

課題設定

上述したとおり、機械学習の生成で “任意の対象がアイコンとして表現されている画像” が得られること、という課題に設定します。ぼんやりしたところを以下で詳しくしていきます。

そもそもアイコンとは何なのかを考える必要がありそうです。通常、アイコンは何かの対象を記号的に表現したものが多い印象です。簡潔な表現からそれが指す物体や概念を判別できるようなものです。今回は課題をわかりやすくするため、何かの “物体” を記号的に表現したものとしてアイコンを考えます。”概念” については、記号的に表現するのは難易度が高いため今回の課題の範囲外としました。

物体をアイコンとして表現するのに使えそうな手法として、今回は機械学習のスタイル変換 (style transfer) を候補としてみました。突然出てきたスタイル変換ですが、これについては “AI で画像をゴッホの画風に変換する技術” などと呼ばれているもので目にしたことがあるかと思います。A Neural Algorithm of Artistic Style の論文で jcjohnson/neural-style などの実装があります。このスタイル変換をアイコン画像の生成に利用できないかと考えました。

スタイル変換での画像生成について、以下の2つのパターンを検討してみました。

• もともとアイコンではない何かの物体の画像をアイコンスタイルに変換する
• もともとアイコン画像になっているものを異なるスタイルのアイコン画像に変換する

あわよくば、両者をあわせて 実写画像 → アイコン画像 → いろいろな表現のアイコン画像 という変換ができれば都合がよいです。

ひとまずここでは前者をみていきます。(ちなみに後者はまた別なメンバーがトライしました)

“機械学習のスタイル変換を使い、アイコンではない何かの物体画像をアイコン画像に変換することでアイコン画像を生成する” という課題としてみます。

事例をさがす

素人が考えつくようなアイディアなのでおそらく先例がありそうです。具体的な手法としてはスタイル変換関連のものを探せばよさそうですが、もうすこし詳しいキーワードが欲しいところです。ひとまずとっかかりとして『生成 Deep Learning (David Foster 著 オライリー・ジャパン発行)』を見てみます。画像についての生成の項目を見たところ “CycleGAN” と “ニューラルスタイル変換” というキーワードが出てきました。当初の方向性としても間違ってはいなそうなので、このあたりで調べてみます。

それらしいキーワードで検索していくと、やろうとしていることに近い先例 (というかソノモノな先例) に達したのでそれを見ていきます。

Iconify: Converting Photographs into Icons (arXiv.org)

IN THIS PAPER, WE TACKLE A CHALLENGING DOMAIN CONVERSION TASK BETWEEN PHOTO AND ICON IMAGES. ALTHOUGH ICONS OFTEN ORIGINATE FROM REAL OBJECT IMAGES (I.E., PHOTOGRAPHS), SEVERE ABSTRACTIONS AND SIMPLIFICATIONS ARE APPLIED TO GENERATE ICON IMAGES BY PROFESSIONAL GRAPHIC DESIGNERS. MOREOVER, THERE IS NO ONE-TO-ONE CORRESPONDENCE BETWEEN THE TWO DOMAINS, FOR THIS REASON WE CANNOT USE IT AS THE GROUND-TRUTH FOR LEARNING A DIRECT CONVERSION FUNCTION. SINCE GENERATIVE ADVERSARIAL NETWORKS (GAN) CAN UNDERTAKE THE PROBLEM OF DOMAIN CONVERSION WITHOUT ANY CORRESPONDENCE, WE TEST CYCLEGAN AND UNIT TO GENERATE ICONS FROM OBJECTS SEGMENTED FROM PHOTO IMAGES. OUR EXPERIMENTS WITH SEVERAL IMAGE DATASETS PROVE THAT CYCLEGAN LEARNS SUFFICIENT ABSTRACTION AND SIMPLIFICATION ABILITY TO GENERATE ICON-LIKE IMAGES.

ICONIFY : CONVERTING PHOTOGRAPHS INTO ICONS. / KARAMATSU, TAKURO; BENITEZ-GARCIA, GIBRAN; YANAI, KEIJI; UCHIDA, SEIICHI.

MMART-ACM 2020 – PROCEEDINGS OF THE 2020 JOINT WORKSHOP ON MULTIMEDIA ARTWORKS ANALYSIS AND ATTRACTIVENESS COMPUTING IN MULTIMEDIA. ASSOCIATION FOR COMPUTING MACHINERY, INC, 2020. P. 7-12 (MMART-ACM 2020 – PROCEEDINGS OF THE 2020 JOINT WORKSHOP ON MULTIMEDIA ARTWORKS ANALYSIS AND ATTRACTIVENESS COMPUTING IN MULTIMEDIA).

研究成果: CHAPTER IN BOOK/REPORT/CONFERENCE PROCEEDING › CONFERENCE CONTRIBUTION

CycleGAN で写真画像とアイコン画像のスタイル変換を試してみたところ「いい感じにアイコン風画像生成の抽象化ができた」ということなので、まさに求めているものという印象です。なお、見つけたときはこれを再現できれば目的が達成できそうだと大船に乗った気持ちでしたが、後々考えの甘さに気付きます (実証の完遂に敬意です)。

詳細は論文の本文を参照してもらうとして、ひととおり読んでみたところ以下がキモだと解釈しました。

• CycleGAN を使う
• 段階的に学習する
• 目的にあうデータセットを使う

それぞれについて見ていきます。

なお、論文では以下の3つ、

• “実写の人間の画像” と “単色白黒アイコンの人間の画像” で学習しての変換
  • 限定的な物体についての実写画像とアイコン画像との変換
• “実写の物体の画像” と “単色白黒アイコンの画像” で学習しての変換
  • 物体全般についての実写画像とアイコン画像との変換
• “実写の物体の画像” と “ロゴ画像” で学習しての変換
  • 物体全般についての実写画像とロゴ画像との変換
  • アイコン画像の話をしているところで突然ロゴ画像が出てきますがそれについては後述

が検証されていますが、より汎用的で良好な結果が得られたと思われる3つめの再現をこころみます。

CycleGAN を使う

CycleGAN とは何者なのか、というところから見ていきたいです。その前に GAN について軽く触れておきます。

GANとは何なのか？

GAN (敵対的生成ネットワーク, Generative adversarial networks) を Wikipedia で見てみると以下のように説明されています。

敵対的生成ネットワーク （てきたいてきせいせいネットワーク、英: GENERATIVE ADVERSARIAL NETWORKS、略称: GANS）は、2014年にイアン・グッドフェローらによって発表された教師なし学習で使用される人工知能アルゴリズムの一種であり、ゼロサムゲームフレームワークで互いに競合する2つのニューラルネットワークのシステムによって実装される[1]。

GANSは生成ネットワーク（GENERATOR）と識別ネットワーク（DISCRIMINATOR）の2つのネットワークから構成される。例として画像生成を目的とするなら生成側がイメージを出力し、識別側がその正否を判定する。生成側は識別側を欺こうと学習し、識別側はより正確に識別しようと学習する。このように2つのネットワークが相反した目的のもとに学習する様が敵対的と呼称される所以である。

HTTPS://JA.WIKIPEDIA.ORG/WIKI/%E6%95%B5%E5%AF%BE%E7%9A%84%E7%94%9F%E6%88%90%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF (2020年10月20日 (火) 19:27 時点の版)

ざっくり言えば、

• 生成する役と識別する役が互いに高めあうように学習して、上手に生成ができるようになる仕組み
• ニューラルネットワークで作られている (ここでのニューラルネットワークはディープラーニングの一種と言ってよさそうです)

というものです。

CycleGANとは何なのか？

戻って CycleGAN についてです。これは論文の本文をざっと要約してみます。

CycleGAN はドメイン変換手法で、一対一で対応する画像の情報なしで2つのドメイン間のマッピングを決めることができます。今回のケースで言えば、実写の物体の画像とアイコン画像という2つのドメインについて、実写の物体とアイコンの一対一の対応関係の情報なしでそのマッピングを決めることができます。今回のような課題の場合、実写の車の画像と車を表わすアイコン画像といった組み合わせを用意することは非現実的です。pix2pix で使うようなデータを用意することは難しいでしょう。

CycleGAN では双方向に一対一のマッピングを実現するために “cycle-consistency loss” を使っています。前出の『生成 Deep Learning』の用語で言うなら “復元性損失” と訳されるものでしょうか。今回で言えば実写の物体の画像とアイコン画像の変換を双方向に行います。双方向の変換が上手にできるならば、実写の物体をアイコン画像に変換し、さらにそのアイコン画像を実写の物体の画像に変換すると元の実写の物体の画像とよく似たものを作れるはずです。

ざっくり言えば、

• 2つのドメイン間の対応情報なしにマッピングを決めることができる
• 双方向に変換する仕組みを使っている

というものです。より詳細は論文の本文や CycleGAN の原論文を参照してください。なお CycleGAN も、馬とシマウマの変換 (Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks) で有名です。

実装は junyanz/pytorch-CycleGAN-and-pix2pix を利用したとのことなので、これにならいます。

補足: CycleGAN では “identity mapping loss” (同一性損失) という色の不変性に関連する仕組みが使われています。実写画像と白黒アイコン画像の変換を検証する際に、色は重要な要素ではないためこの損失を弱めたとあります。今回は実写の物体の画像とロゴ画像とを利用するパターンの再現を目標としているので、とくに手心を加えずやっていきます。

段階的に学習する

学習につかうデータセットのバリエーションに対してうまく対処するため、段階的な学習という手段を使ったとあります。

実写の物体の画像とアイコン画像との間の変換は、馬とシマウマのときのように特定の対象同士を扱うものではありません。論文中の検証のうちの1つめ、”実写の人間の画像と単色白黒アイコンの人間の画像で学習しての変換” は、馬とシマウマのケースに近いと考えられます。しかし “実写の物体” の画像は人間だけでなく、車やボールなどいろいろなバリエーションがあります。またアイコン画像についても、それぞれが全く異なる抽象化の施された表現になっています。このバリエーションへ対応するために PGGAN という手法にならい、段階的な学習で対処しています。今回は前出の CycleGAN の実装で --continue_train フラグをつけてモデルをファインチューニングしていくことになります。

PGGAN (tkarras/progressive_growing_of_gans) という新しいワードが出てきました。これはざっくり言えば “低解像度の画像から学習をはじめて層を増やしていくと訓練の速度があがり、安定性が向上する” というものです。32×32 ピクセルのサイズから 64×64 → 128×128 → 256×256 と段階的にファインチューニングして学習をしたとあります。

目的にあうデータセットを使う

今回は “実写の物体の画像とロゴ画像で学習しての変換” を再現するため、以下のデータセットを用意します。

• 実写の物体の画像として COCO – Common Objects in Context
  • 物体認識やセグメンテーション、キャプションのアノテーションデータと画像を提供するデータセットです
  • 今回はアノテーションとして “2017 Train/Val annotations” を、画像データとしてそれに対応する “2017 Train images” をもとにデータを作成します
  • アノテーションの情報をもとに、画像から物体だけを切り抜き白背景にして正方形にし、リサイズして使います
• ロゴ画像として LLD – Large Logo Dataset
  • favicon や Twitter のプロフィール画像を集めたデータセットです
  • 今回は LLD-logo (Twitter のプロフィール画像をロゴととらえ集めたもので、400×400 ピクセルの画像) からランダムに選んだ 20000 画像をリサイズして使います

実写の物体の画像

実写の物体の画像をアイコン画像に変換するにあたり、その元となる実写の物体を切り出す必要があります。アイコン画像は通常、背景持っていません。ただ、そのような画像のデータセットは存在しないので、COCO のデータセットをアノテーションの情報で切り抜きデータを作成しています。ここで使うアノテーション情報は、ピクセル単位で画像のどこに何の物体があるかという情報を使います。

また、対象の物体が小さすぎる場合も除外します。COCO のアノテーション情報は、ある画像内に存在する物体の領域の情報なので、対象が小さく写っていたり部分的に写っているものも多いです。本来ならば対象がわかりやすく写っている画像が好ましいのですが、そのようなデータセットは存在しないため COCO をよしなに加工して利用しています。結局のところ、今問題としているのは識別ではなく生成なので、アイコンとして生成したい見栄えのよい画像が用意できるとうれしいです。

ロゴ画像

論文内では、実写の物体の画像と白黒のアイコン画像とを使った検証も行なっていますが、今回は以下の理由から白黒アイコン画像での再現を見送りました。

• Microsoft PowerPoint で提供されている白黒アイコン画像を使ったとあるものの、そもそもそのアイコン画像たちを特定できていない
• 数が少なく、別途データ拡張が必要 (オリジナルの画像を回転・拡縮・ノイズ追加をしてデータを水増しする工夫が必要)
• 白黒アイコン画像の場合には同一性損失を弱めたとあるものの (前述)、どの程度弱めたのかは詳しく言及されていないため試行錯誤の必要がある

ロゴはテキストを含んでいたり色があったりと、その用途と形状に差異はあるものの、抽象的なデザインという点でアイコンに似ているためアイコン画像とともに試されています。検証でも悪くない結果を得られたようなので、ロゴ画像で再現をこころみます。ロゴ画像については LLD のデータセットで十分な数が提供されているためデータ拡張が不要な点もありがたいです。

下調べ編 まとめ

ざっくりまとめます。

• アイコン画像の生成に CycleGAN が使えそう
• ただし段階的な学習などひと工夫が必要
• データセットもぴったり要件にあうものはないのでひと工夫必要

スタイル変換でアイコン画像を生成できないか？というあいまいな状態からすこし具体的になってきました。以上に見てきた内容をもとに画像生成を実践してみます。実践編に続きます。

AI技術を学ぶ上で理解必須の強化学習の基礎的な内容を数式を使わずに簡潔に説明します。

• AIに興味がある人
• 強化学習の基礎的な仕組みを知りたい

という人向けの記事です。

【そもそも強化学習とは?】

ある環境でエージェントが行動を選択し環境を変化させ、その状態を確認し 最終的に報酬が最も多く得られるような方策を学習します。
まずは単語の意味から説明していきます。

そして今回はイメージがつきやすいように自社ゲームのゴエティアクロスを例に説明します。
その前にゴエティアクロスの説明を簡単にするとプレイヤー(魔導師)と魔神と呼ばれるキャラクター達が協力して敵を倒すゲームです。
魔神にはスキルやレベルがあり、戦闘時は前衛、後衛などの編成を考えながら戦っていきます。
この記事はゲーム紹介の記事ではないので詳しい説明は省きます。

【環境】

今回はこのゴエティアクロスそのものが環境です。

【エージェント】

今回はプレイヤー(魔導士)がエージェントになります。

【状態】

魔神達のHP,レベル,コスト,などです。

【行動】

ゴエティアクロスでは基本的に敵との戦闘はオートで進行するので出撃させる魔神を変える、レベルをあげる、セットしてるスキルを変更するなどが行動になります。
今回は魔神の編成を変えるだけにします。

【報酬】

敵を倒す、レアアイテムを取る、短時間でクリアするなどが報酬にあたります。
環境によってはマイナスの報酬もあります。
例えば敵から受けたダメージが大きければマイナスの報酬を与えるなどです。
今回は分かりやすく敵に与えたダメージが前回より多ければ報酬を 少なければマイナスの報酬を与えます。

【方策(ポリシー)】

方策とは貰える報酬を最大化するために行動ルールです。
今回は敵に与えるダメージを増やすにはどのように編成を変えるべきか?というのが方策になります。

【基本的な流れ】

単語の意味が一通り分かったところで実際に学習の流れを説明していきます。
強化学習で学習をする際にはゴールが設定されます。
今回はこの深淵の森の受注できる全てのクエストクリアをゴールとします。

【エピソード1】

【環境 水霊、火霊討伐】

#01 行動

水霊、火霊討伐から開始します。
エージェントが方策を元に行動。
1回目は敵と戦闘をしていないので編成もランダムで組まれます。

#02 環境の変化

戦闘が終了しました。
これにより現在の環境が
水霊、火霊討伐 → 火霊、氷翼竜討伐に変わりました。

#03 状態の確認

与えたダメージ5828

戦闘したことによってHPなどが減っています。
エージェントはこの時点の与えたダメージと残りHPを確認し前回の戦闘より与えたダメージが多ければ報酬が与えられます。
しかし、逆に前回より与えたダメージが前回より少なければマイナスの報酬が与えられます。

#04 方策の更新

この与えられた報酬を使って方策を更新します。
1回目は前回与えたダメージとの比較ができないので報酬はなしです。
なので方策の更新も行いません。
このまま残りのクエストも進めていきます。

【環境 火霊、氷翼竜討伐】

与えたダメージ7377
環境 火霊、氷翼竜討伐 → 氷翼竜、白蛇討伐
報酬 なし
方策の更新 なし

【環境 氷翼竜、白蛇討伐】

与えたダメージ6744
環境 火霊、氷翼竜討伐 → クリア
報酬 なし
方策の更新 なし

ゴール設定は深淵の森の全てのクエストクリアなのでここで1回目の学習は終了です。
この行動開始からゴールまで1ステップをエピソードと言います。
まずはエピソード1終了です。

【エピソード2】

【環境 水霊、火霊討伐】

#01 行動

エピソード1と同様に編成はランダムで組まれます。

#02 環境の変化

ここもエピソード1と同じです。

#03 状態の確認

与えたダメージ6096

エピソード1の5828ダメージより多いので報酬を与えます。
エージェントが与えたダメージと残りHPと報酬を確認しているのはエピソード1と同じです。

#04 方策の更新

エピソード2では報酬が貰えたので方策を更新します。
環境 水霊、火霊討伐では今回の編成の方がより多くダメージを与えたので次回の戦闘時ではこの編成が選ばれるように方策を更新します。
このまま残りのクエストも進めていきます。

以降から#02 環境の変化は同じ流れなので省略します。

【環境 火霊、氷翼竜討伐】

#01 行動

#03 状態の確認

与えたダメージ6998

エピソード1では7377ダメージだったので与えたダメージが少なくなってしまいました。
この場合はペナルティとしてマイナスの報酬を与えます。

#04 方策の更新

この編成では与えたダメージが少なくなってしまったので選ばれないように方策を更新します。

【環境 氷翼竜、白蛇討伐】

#01 行動

#03 状態の確認

与えたダメージ8195

エピソード1の6744より多いので報酬を与えます。

#04 方策の更新

この編成が選ばれるように方策を更新します。
ここでクエストは全てクリアしたのでエピソード2は終了です。
次からはエピソード3です。

【エピソード3】

【環境 水霊、火霊討伐】

#01 行動

今まではどの編成を組めばより多くのダメージを与えるか分からなかったので
編成はランダムで選ばれていましたが今回からは方策を参考に編成を組めそうです。
水霊、火霊討伐ではエピソード2の編成の方がより多くのダメージを与えることが分かっているのでエピソード2の編成が選ばれました。

#03 状態の確認

与えたダメージ量はエピソード2と同じなので報酬はありません。

#04　方策の更新

報酬がなかったので方策の更新もなしです。

【環境 火霊、氷翼竜討伐】

#01 行動

エピソード2の編成では与えたダメージが少なくなってしまったのでエピソード1の編成が選ばれました。

#03 状態の確認

与えたダメージ量はエピソード2より多いので報酬を与えます。

#04 方策の更新

この編成が選ばれるように方策を更新します。

【環境 氷翼竜、白蛇討伐】

#01 行動

エピソード2の編成の方が選ばれました。
#02~#04は環境 水霊、火霊討伐と同じ流れです。
これでエピソード3は終了です。

エピソード4以降でもこれを繰り返し最終的にはどの編成が最もダメージを与える事が出来るか学習していきます。
実際の強化学習では、何もしないと特定の編成ばかり選ばれて他の編成がどのくらいダメージを与えるか試さなくなるので、一定の確率で方策を無視してランダムで行動するというテクニックが使われます。

関連：ゴエティアクロス