post Image
nginx+circus+gojiによるgolang webアプリケーションの動作環境構築

golangを使ったwebアプリケーションの動作環境構築をansible playbookに落としました。Debian 8(jessie)向けです。

参考環境(Mac想定)

vagrant上に構築するplaybookをgithubに上げています。※HTTPS(TLS)の設定は入っていません。

必要なもの

  • virtualbox(公式からdmg)
  • vagrant(公式からdmg)
  • ansible(homebrewにてbrew install ansible
構築
# cloneしてきて中に移動
git clone https://github.com/reiki4040/playbooks
cd playbooks

# 仮想マシン立ち上げ。(192.168.20.11で起動するので、かぶるとかの場合はVagrantfileいじってください)
# jessieのイメージを指定していて、大きめサイズが落ちてくるのでモバイル環境では注意
vagrant up

# 仮想マシンへのsshの設定追加
vagrant ssh-config >> ~/.ssh/config

# ansibleで自動構築
ansible-playbook -i local/inventory goweb.yml
  # apt-get/pip/nginx-buildあたりがしばらくかかります。
動作確認
# 仮想マシンに入る
vagrant ssh

# ローカルからcurlで確認
curl http://localhost/api/hello
  # hello I'm goji! が返ってきます

ポイントをいくつか

  • nginx側でhttpsを受け取って、goji側へはhttpで接続(playbook構築分にはhttpsは入っていません)
  • nginx – goji間はunix domain socketを使ってオーバーヘッドを低減
  • goji+circusを使って、graceful restartを実現
  • nginx, circusはsystemdで管理(debian jessie向け)
  • これらをansibleを用いて自動構築

簡単なリクエストフローとプロセス管理イメージ

リクエストフロー
プロセス管理

ポイント詳細

nginxの設定

upstreamにunix domain socketのファイルパスを指定して、それをlocationディレクティブで、proxy_passを使って、gojiに投げています。unix domain socketの作成は、後述のcircusにて。

nginx.conf抜粋
upstream goweb_upst {
    server unix:/var/run/goweb.sock;
}

# 中略

location ~^/api/.*$ {
    proxy_pass http://goweb_upst;
    proxy_set_header X-Forwarded-Host $host;
}

unix domain socketを使ってオーバーヘッドを低減

nginxとgojiを繋ぐ時に、unix domain socketを使用することで、通信のオーバーヘッドを減らします。ただし、nginxとgojiは同じサーバに同居する必要があります。

場合によっては、ややパフォーマンスを犠牲にし、nginxとgojiのサーバを分け、nginx N台+goji M台といった別比率の構成にするのもアリです。

nginxを挟む理由

goji(golang)を世界と直接話させない理由は、フロントの処理をnginxに任せ、golangでわざわざ作らないためです。httpsを受ける程度であればいいんですが、簡易的なアクセス制御、静的配信、リバースプロキシ等、豊富な機能がnginxにはあり、一旦nginxでできることは、nginxに任せましょう。細かいことやりたくなった時にgolangで実装なり。

goji + circus

gojiは、graceful shutdownを実装していて、これにcirucsのsocketを組み合わせることでgraceful restartが実現できます。

この辺りは参考に入れているリンクが詳しいのでそちらを参照していただければと思いますが、簡単に説明すると

  • golangでsocketを作ると、どうしてもプロセスを再起動する際には閉じてしまう。
  • circusがsocketを作り、渡すことで、golangプロセスの再起動時にもsocketが維持できる。
  • なおかつcircusが新しいgolangプロセスを起動してから、古いプロセスを殺すので、途切れない(らしい)

gojiのserveの仕方に注意

graceful shutdownについての注意点は、gojiのServe(),ServeTLS()またはServeListener()を使わないといけません。

gojiを使っていても、golang標準のhttp.ListenAndServe()等で起動すると、サーバ自体は起動して使えますが、graceful shutdownにならず、処理途中で切断されます。

Circusでgolangアプリケーションを動かす設定(circus.ini)

[circus]
statsd = 1

[watcher:goweb]
cmd = /opt/goweb/goweb -fd $(circus.sockets.web)
stop_signal = SIGINT
numprocesses = 1
use_sockets = True

stdout_stream.class = FileStream
stdout_stream.filename = /var/log/goweb/stdout.log
stdout_stream.refresh_time = 0.3
stdout_stream.max_bytes = 1073741824
stdout_stream.backup_count = 2

stderr_stream.class = FileStream
stderr_stream.filename = /var/log/goweb/stderr.log
stderr_stream.refresh_time = 0.3
stderr_stream.max_bytes = 1073741824
stderr_stream.backup_count = 2

[socket:web]
path = /var/run/goweb.sock
family = AF_UNIX
  • [watcher:goweb]のgowebは、circus上で動かすプログラムの名称です。circusctl reload gowebなどで使います。
  • gojiのgraceful shutdownはSIGINTなので、stop_signal = SIGINTを指定しています。(circusデフォルトは、SIGTERM)
  • 通信用のsocketは[socket:web]で宣言して、cmdの-fd $(circus.sockets.web)で渡しています。
  • stdoutとstderrをファイルに出力しています。今回のサンプルだと、gojiのデフォルトの動作ログがstderrに出力されます。stdoutには私が適当に出したリクエスト時のmiddlewareのログが出ます。

nginx, circusはsystemdで管理

debianは8(jessie)から、systemdに移行しました。init.d以下にスクリプトをおいても、start/stop/restartなどは動きますが、systemdのservice unitとして定義しています。内容は公式の案内通りなので、他のオプション等調べておきたいところです。

これらを、/etc/systemd/system/以下に置くと、systemctl start circusといった感じで使えます。debian 7(wheezy)だと、/etc/init.d/serviceコマンドの関係みたいなものです。

unitファイルを更新した時はsystemctl daemon-reload

systemd用のunitファイルを更新した場合は、systemctl daemon-reloadを呼ばないと失敗します。最初単にsystemctl reload circus呼んだらfailしました。

エラーメッセージ
Warning: Unit file of circus.service changed on disk, 'systemctl daemon-reload' recommended.
Job for circus.service failed. See 'systemctl status circus.service' and 'journalctl -xn' for details.

ansible

taskにtagをつけて、全部流す時(構築時)と設定ファイルの更新など、実行するタスクをわけることができます。

初回構築時(タグなし)
ansible-playbook -i local/inventory goweb.yml

必要に応じて、個別にタグをつけて、reload/restartが必要な場合は、notifyをつけてhandlerを呼び出しています。

nginx.confのみ更新(update-nginx-confを指定)
ansible-playbook -i local/inventory goweb.yml -t update-nginx-conf
task抜粋
- name: nginx | put nginx.conf
  tags:
    - nginx
    - update-nginx-conf
  template: src=nginx.conf.j2 dest=/etc/nginx/nginx.conf owner=root group=root mode=644
  notify:
    - reload nginx
handler抜粋
- name: reload nginx
  service: name=nginx state=reloaded

単独で流す場合のタグ

タグ 内容
goweb goweb構築のみ
update-goweb-bin gowebのバイナリをアップデート
update-circus-ini circus.iniをアップデート
update-circus-systemd-unit circusのsystemd unitファイルをアップデート
nginx nginx構築のみ
update-nginx-conf nginx.confのアップデート
update-nginx-systemd-unit nginxのsystemd unitファイルをアップデート

開発中に何回も流す場合は、aliasやラッパースクリプトで省略することをお勧めします。

まとめ

nginx + circus + gojiを使って、golangのWebアプリケーションを動作させることができます。基本的な動作環境が出来上がるので、あとはアプリケーションの開発を進めていくことができます。

ちなみに、graceful restart気にしなければ、nginxとgolangを直接systemdで動かすのもシンプルです。

ansibleを使って構築すると、毎回デプロイしたり変更したりする時にも使えるので、効率が良いです。playbook作るコストはありますが、何してたか忘れても大丈夫ですし、他の人に引き継ぐのも比較的容易かなと思います。

参考


『 Go 』Article List
Category List

Eye Catch Image
Read More

Androidに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

AWSに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Bitcoinに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

CentOSに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

dockerに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

GitHubに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Goに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Javaに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

JavaScriptに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Laravelに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Pythonに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Rubyに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Scalaに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Swiftに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Unityに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Vue.jsに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Wordpressに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

機械学習に関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。