post Image
乃木坂46・欅坂46と学ぶ機械学習 その1 導入編

まずは自己紹介で、自分は都内の理系大学に通う4年生です、大学院に進学するので後2年はモラトリアムです><

機械学習などの会社でのインターン・バイトを探しています笑、人事部の方がいらっしゃいましたらぜひ連絡ください笑

世の中でよく聞く機械学習・AIという単語、自分の研究室でもよく耳にしますが「CNN?RNN?畳み込み?ボルツマンマシン?正規化?」と理論は少しは理解しているつもりですが実際に動かしたことがないので、今回自分が大好きな「乃木坂46・欅坂46」を題材としたAIを作ってみようかなと思います。

自分の経験値はほぼ0ですので初心者の落書きと思ってご覧いただければ幸いです。

アイドルについては最後に深く書きたいと思います笑


1.何を作るか

何を作るのか目標を決めないと始まらないので目標を設定します。

自分の解釈では機械学習とは「データの集合」から「何か確率的なラベリング」を返す関数という勝手な理解をしています。

ということで乃木坂・欅坂を題材にしたAIを作ろうと考えた時に頭で思いついたのは「メンバーの写メから写ってるメンバーを自動的に分類して保存してくれるAI」です笑

「曲を入れると誰がどのパートで歌っているのかを判別してくれるAI」もいいかなと思ったのですがこっちは音声認識に対する自分の理解がまだなのでまずは画像識別が終わってから挑戦してみたいと思います。


2.AIを作るために

「メンバーの写メから写ってるメンバーを自動的に分類して保存してくれるAI」を作るという目標を設定したので次はどのようにしてその目標を達成するのか手段を選びたいと思います。

機械学習の分野でよく聞くTensorFlow,Chainer,Caffeと多くのフレームワークがあるのですが、今回自分はtensorflowとChainerの2つで同じようなAIを作り比較をしたいと思います。

Caffeはインストールが鬼門と聞いたのでCaffeは避けました笑


3.環境構築

ということで自分のPCにPython,tensorflow,Chainerをインストールしていきたいと思います。

これに関しては多くの方が記事を上げていただいているので今回は割愛させていただきます。

参考にこれらを読まれれば自分のPCに上記の3つはインストールできるのではないでしょうか

Pythonの環境構築からTensorFlowインストール

MacでPythonを使って『機械学習』を学ぶための環境構築

TensorFlow(1.0.0)の開発環境構築方法(Mac)

自分のPCではMacにHomebrewを用いてPythonをpyenvを用いて導入しそこにtensorflowとChainerとanaconda(numpyなどの様々なモジュールを一括で入れてくれる)をインストールしてあります。

もし最初のまっさらな状態からこれかを導入したい場合は上の単語をgoogleに投げればもっと詳しい記事が存在していると思うのでそちらを是非参考にして導入してください。

スクリーンショット 2017-09-10 6.26.41.png

こんな感じで無事インストールできました。


4.実際に数字認識をしてみる

TensorFlow,Chainerを導入してみたので実際にMNISTの数字データでしっかり動作しているのかの確認を含めて実証してみます。

MNISTとは機械学習の分野では必ずと言っていいほど最初に出てくるもので、手書き数字のデータセットです。これらをTensorFlowやChainerなどのフレームワークに投げしっかりと学習し識別できるのかどうかを試します。

他の言語で学ぶ際のHelloWorldみたいなもんでほとんど難しい作業はありませんのでやっていきたいと思います(理論を理解しようとすると難しい)

実際のコードは以下のようになりました。

tf_mnist.py

import argparse

import sys

from tensorflow.examples.tutorials.mnist import input_data

import tensorflow as tf

FLAGS = None

def main(_):
#データの読み込み
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

#入力、重み、バイアス、出力を宣言する。784=28*28で画素1ビットが1入力
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.matmul(x, W) + b

#交差エントロピーを計算する際に答えを入力するための変数y_を宣言する
y_ = tf.placeholder(tf.float32, [None, 10])
#交差エントロピーを計算する
cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
#学習
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

#実際の答えと学習モデルとの正答率を計算
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images,
y_: mnist.test.labels}))

if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data',
help='Directory for storing input data')
FLAGS, unparsed = parser.parse_known_args()
tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

ch_mnist.py

from __future__ import print_function

import argparse

import chainer
import chainer.functions as F
import chainer.links as L
from chainer import training
from chainer.training import extensions

#ニューラルネットワークを定義
class MLP(chainer.Chain):

def __init__(self, n_units, n_out):
super(MLP, self).__init__()
with self.init_scope():
# the size of the inputs to each layer will be inferred
self.l1 = L.Linear(None, n_units) # n_in -> n_units
self.l2 = L.Linear(None, n_units) # n_units -> n_units
self.l3 = L.Linear(None, n_out) # n_units -> n_out

def __call__(self, x):
h1 = F.relu(self.l1(x))
h2 = F.relu(self.l2(h1))
return self.l3(h2)

def main():
#コマンドライン上での設定を事前に記述する
parser = argparse.ArgumentParser(description='Chainer example: MNIST')
parser.add_argument('--batchsize', '-b', type=int, default=100,
help='Number of images in each mini-batch')
parser.add_argument('--epoch', '-e', type=int, default=20,
help='Number of sweeps over the dataset to train')
parser.add_argument('--frequency', '-f', type=int, default=-1,
help='Frequency of taking a snapshot')
parser.add_argument('--gpu', '-g', type=int, default=-1,
help='GPU ID (negative value indicates CPU)')
parser.add_argument('--out', '-o', default='result',
help='Directory to output the result')
parser.add_argument('--resume', '-r', default='',
help='Resume the training from snapshot')
parser.add_argument('--unit', '-u', type=int, default=1000,
help='Number of units')
args = parser.parse_args()

print('GPU: {}'.format(args.gpu))
print('# unit: {}'.format(args.unit))
print('# Minibatch-size: {}'.format(args.batchsize))
print('# epoch: {}'.format(args.epoch))
print('')

# Set up a neural network to train
# Classifier reports softmax cross entropy loss and accuracy at every
# iteration, which will be used by the PrintReport extension below.
model = L.Classifier(MLP(args.unit, 10))
if args.gpu >= 0:
# Make a specified GPU current
chainer.cuda.get_device_from_id(args.gpu).use()
model.to_gpu() # Copy the model to the GPU

# Setup an optimizer
optimizer = chainer.optimizers.Adam()
optimizer.setup(model)

#データの初期化trainとtestデータを用意
train, test = chainer.datasets.get_mnist()

#イテレータでここにデータを入れれば学習を進めてくれる
train_iter = chainer.iterators.SerialIterator(train, args.batchsize)
test_iter = chainer.iterators.SerialIterator(test, args.batchsize,
repeat=False, shuffle=False)

# Set up a trainer
updater = training.StandardUpdater(train_iter, optimizer, device=args.gpu)
trainer = training.Trainer(updater, (args.epoch, 'epoch'), out=args.out)

# Evaluate the model with the test dataset for each epoch
trainer.extend(extensions.Evaluator(test_iter, model, device=args.gpu))

# Dump a computational graph from 'loss' variable at the first iteration
# The "main" refers to the target link of the "main" optimizer.
trainer.extend(extensions.dump_graph('main/loss'))

# Take a snapshot for each specified epoch
frequency = args.epoch if args.frequency == -1 else max(1, args.frequency)
trainer.extend(extensions.snapshot(), trigger=(frequency, 'epoch'))

# Write a log of evaluation statistics for each epoch
trainer.extend(extensions.LogReport())

# Save two plot images to the result dir
if extensions.PlotReport.available():
trainer.extend(
extensions.PlotReport(['main/loss', 'validation/main/loss'],
'epoch', file_name='loss.png'))
trainer.extend(
extensions.PlotReport(
['main/accuracy', 'validation/main/accuracy'],
'epoch', file_name='accuracy.png'))

# Print selected entries of the log to stdout
# Here "main" refers to the target link of the "main" optimizer again, and
# "validation" refers to the default name of the Evaluator extension.
# Entries other than 'epoch' are reported by the Classifier link, called by
# either the updater or the evaluator.
trainer.extend(extensions.PrintReport(
['epoch', 'main/loss', 'validation/main/loss',
'main/accuracy', 'validation/main/accuracy', 'elapsed_time']))

# Print a progress bar to stdout
trainer.extend(extensions.ProgressBar())

if args.resume:
# Resume from a snapshot
chainer.serializers.load_npz(args.resume, trainer)

# Run the training
trainer.run()

if __name__ == '__main__':
main()

これはTensorFlow,Chainerのチュートリアルにある物でGoogle先生に聞けばすぐ落ちてます笑

結果は以下のように出力されました、TensorFlow,Chainerともに手書き数字をしっかり学習できてることが確認できました。


次回

次回は実際に画像認識をするためにデータセットの収集についてを投稿したいと思います。

読んでいただけると嬉しいです。


最後に

これが書きたくて今回投稿したと言っても過言ではありません笑

自分は乃木坂46欅坂46を追いかけるドルオタなのですが、推しメンは秋元真夏と渡辺みり愛と加藤史帆(1推し)です。みなさんライブ個握全握でお会いする機会があれば連絡ください笑←

ライブに関しては結構多く参戦しています笑、これについては次回に深く書こうと思っていますので今回は割愛します。あと握手は全く行ってませんw

坂に関する自己紹介はこれくらいでしょうか。。。

これから参戦予定のイベントは全ツ新潟と東京ドーム(予定)です。

最近は3期生の勢いが凄まじすぎて全くチケットが取れません><。3期単独のAiiAも見殺し姫も外しているので運営さんマジで色々お願いします。(そういう自分もしっかり3期の個握は取っている笑)

欅の5thで加藤史帆の握手券積もうと画策してます、としちゃん推しの方よろしくお願いしますね

検閲の厳しいというQiitaの運営ですが、もしこの記事が削除されてしまったらまた投稿します笑


『 Python 』Article List