post Image
教師無しimage to image ”Discover Cross-Domain Relations with Generative Adversarial Networks.” のざっくりした紹介


Discover Cross-Domain “Relations with Generative Adversarial Networks

最近機械学習の勉強をしていたら面白い論文がつい最近発表されていたので紹介させていただきます。

今日はunsupervised image to image の一種である

“Discover Cross-Domain “Relations with Generative Adversarial Networks”

https://arxiv.org/abs/1703.05192

のざっくりした紹介だけさせていただきます。

※ここではGANの説明は省かせていただきます。*1

今までは教師ありなimage to imageとして

“Image-to-Image Translation with Conditional Adversarial Networks”

https://phillipi.github.io/pix2pix/

などが世間を賑わせていました。

しかしこいつは面倒なことに対応する画像をラベリングすることでしか学習できないためデータセットを用意するのが大変という問題点があります。

今回の紹介するGANは unsupervised(教師無し)でもかなりの精度が出せるため是非紹介させていただきたいです。

ネットワーク全体は以下のようになっています。

b834f63d0dfe5e68fbe240ac18321691.png

このGANのみそはGabとGbaをクロスさせ学習していくことで二種類の画像間から認識したいドメインを学習できるというところにあります。

新しい難しい理論は特に出ていません。

注意すべきところはGeneratorのloss関数に元の画像と復元画像との距離を考慮しているところです。

今まで出ていたunsupervised系よりも汎用性が高そうです*2。

発表されてから三日後にtorchpyでの実装が発表されていたので私も動かしてみました。

(21000 iteration)

https://github.com/carpedm20/DiscoGAN-pytorch

21100_x_BA.png

21100_x_BAB.png

教師無しでここまでの精度が出せるのは感動です!


まとめ

これ使えばラフ画to線画とかのデータセットも簡単に用意できそう。

今後もunsupevisedなimage to imageに注目していきたい。


*1 GANは以下の論文が数学的背景も書かれていてわかりやすいと思います。

https://arxiv.org/pdf/1406.2661.pdf

*2 unsupervised image to image 系で有名どころと言えば以下の論文があげられると思います

1,”Learning from Simulated and Unsupervised Images through Adversarial Training”

https://arxiv.org/abs/1612.07828

2,”Unsupervised Image-to-Image Translation with Generative Adversarial Networks”

https://arxiv.org/abs/1701.02676

1は元画像とrefine画像との距離を取っているので似たような画像間でしか難しいと思います。

2も汎用性は高いと思いますが、限られた範囲でのみだと思われます。


『 Python 』Article List