post Image
JSON返すAPIをスクレイピングするPrometheusのexporterをGoで作ってみた

TL;DR

  • golangのお勉強がてらprometheusのcustom exporter作った
  • お天気APIをスクレイピングして結果をmetricsとして返すやつ
  • 初golangで動くものつくった(のでコードはとてもとても雑

はじめに

プチ開発合宿にお呼ばれしたので、やってみた。
最近prometheusさわってて、pythonだとぼちぼちcustom exporter作ってたけど、まぁgolangで書けるようにもなりたいなと。

何を作ったか

Weather Hacks – livedoor 天気情報から東京の天気がとれるので、明日の天気の最高/最低気温を摂氏華/氏それぞれ教えてくれる。

curl_example
$ curl http://weather.livedoor.com/forecast/webservice/json/v1?city=130010 |jq ".forecasts[1].temperature"
{
  "min": {
    "celsius": "14",
    "fahrenheit": "57.2"
  },
  "max": {
    "celsius": "21",
    "fahrenheit": "69.8"
  }
}

.forecasts[0]が今日の天気で.forecasts[1]が明日の天気な感じ。

そしてそれをそのままスクレイピングして以下なメトリクスを返すexporterを作った。

項目 中身
メトリクス名 temprature_tokyo_tomorrow
ラベルその1 category : 最高 or 最低
ラベルその2 degree: 摂氏 or 華氏
気温それぞれ

書いたコード

必要なパッケージはいれておいた。

install_some_go_packages
$ go get github.com/koron/go-dproxy
$ go get github.com/prometheus/client_golang/prometheus/promhttp

weather_exporter.go
package main

import (
        "flag"
        "log"
        "net/http"
        "github.com/prometheus/client_golang/prometheus"
        "github.com/prometheus/client_golang/prometheus/promhttp"
        "io/ioutil"
        "encoding/json"
        "github.com/koron/go-dproxy"
        "strconv"
        "time"
)

var (
        addr = flag.String("listen-address", ":8080", "The address to listen on for HTTP requests.")
)

var (
        // Gauge metrics define
        tempTokyoTomorrow = prometheus.NewGaugeVec(
                prometheus.GaugeOpts{
                        Name:       "temperature_tokyo_tomorrow",
                        Help:       "Tomorrow weather forecast for Tokyo.",
                },
                []string{"category", "degree"},
        )
)

func init() {
        prometheus.MustRegister(tempTokyoTomorrow)
}

// scrape wearch api & parse result json
func getWeatherForecast() (float64, float64, float64, float64) {
        url := "http://weather.livedoor.com/forecast/webservice/json/v1?city=130010"

        res, err_http := http.Get(url)
        if err_http != nil {
                panic(err_http.Error())
        }

        body, _ := ioutil.ReadAll(res.Body)

        var tempData interface{}
        err_json := json.Unmarshal(body, &tempData)
        if err_json != nil {
                panic(err_json.Error())
        }

        minCelsius, _ := dproxy.New(tempData).M("forecasts").A(1).M("temperature").M("min").M("celsius").String()
        maxCelsius, _ := dproxy.New(tempData).M("forecasts").A(1).M("temperature").M("max").M("celsius").String()
        minFahrenheit, _ := dproxy.New(tempData).M("forecasts").A(1).M("temperature").M("min").M("fahrenheit").String()
        maxFahrenheit, _ := dproxy.New(tempData).M("forecasts").A(1).M("temperature").M("max").M("fahrenheit").String()
        var _fmic, _ = strconv.ParseFloat(minCelsius, 64)
        var _fmac, _ = strconv.ParseFloat(maxCelsius, 64)
        var _fmif, _ = strconv.ParseFloat(minFahrenheit, 64)
        var _fmaf, _ = strconv.ParseFloat(maxFahrenheit, 64)

        return _fmic, _fmac, _fmif, _fmaf
}

func main() {
        flag.Parse()

        // repeat scraping for each 60s
        go func() {
                for {
                        fmic, fmac, fmif, fmaf := getWeatherForecast()
                        tempTokyoTomorrow.WithLabelValues("min", "celsius").Set(fmic)
                        tempTokyoTomorrow.WithLabelValues("max", "celsius").Set(fmac)
                        tempTokyoTomorrow.WithLabelValues("min", "fahrenheit").Set(fmif)
                        tempTokyoTomorrow.WithLabelValues("max", "fahrenheit").Set(fmaf)
                        time.Sleep(60 * time.Second)
                }
        }()

        // Expose the registered metrics via HTTP.
        http.Handle("/metrics", promhttp.Handler())
        log.Fatal(http.ListenAndServe(*addr, nil))
}

動いたもの

curlで値とれた。

run_weather_exporter
$ go build weather_exporter.go
$ ./weather_exporter &

$ curl localhost:8080/metrics
...
# HELP temperature_tokyo_tomorrow Tomorrow weather forecast for Tokyo.
# TYPE temperature_tokyo_tomorrow gauge
temperature_tokyo_tomorrow{category="max",degree="celsius"} 21
temperature_tokyo_tomorrow{category="max",degree="fahrenheit"} 69.8
temperature_tokyo_tomorrow{category="min",degree="celsius"} 14
temperature_tokyo_tomorrow{category="min",degree="fahrenheit"} 57.2
...

prometheus.ymlに適当にjob登録したらブラウザからも見れた。

targetsとれてる。
target.png

Consoleでも出てる。
console2.png

開発で困ったこと

  • getしたJSONをパースする際にそのstructをどう定義したものか?
  • GOPATHというか、golangの開発時ファイルツリーどうするといいかとかお勉強しないとなと
  • 繰り返しっぽい処理をどう構造化するといいのかのありがちな書き方みたいなのがわからないのでつらい
    • 温度それぞれmetricsにいれたり、文字列からfloat64にキャストしたりするとこが特に

所感

  • 動くものできたの大事。とても大事
    • やっぱ開発合宿は詰まった時に逃げられないのはいい
    • 時間配分は、全体(3時間) = お題&仕様確定(30分)+JSONのパースできない(120分)+残りのコード(30分)という時間配分
    • つまり、JSONパースのとこどうするか問題、どう構造体定義するかに悩んだ。とても悩んだ
    • とりま多少はgolangのコードが書けたので今度はtour of goを完走できるはず!
    • 動くようになって多少refactorして、関数外に出したりしたらちょっと理解が進んだ
  • prometheusのgolang clientはREADME説明すくない…
    • sampleコードx2あるからわかるやろ?感
    • てか説明ないからgithub上のコード検索してGaugeの定義どうするの?とか探したし
    • prometheusがらみ、全体的に準備された変数あるけど解説ないのでコードを読む、が多い気がする
    • python clientのREADMEはとても充実してるのに(それでも足りないくらいだけど)
    • ま、もう慣れたので特に困りはしなかったけど
  • single binaryで動くのやっぱいいなぁ
    • というかPrometheus環境に変なexporterのためだけに、じゃらじゃら言語環境増やすのやだなと思ってた
    • Prometheusはまんま動くのにjavaだpythonだと3rd partyなexporter増えると…
    • なので今回の一番のモチベーションはここ
  • pythonで同じことやれと言われたら5分くらいでできる気がするけど気にしない

(おまけ) 開発方針

  • APIはどれでもよかった
    • 認証ない方が簡単かな位
  • prometheusのexporterは何度か作ってるし、公式のサンプルコードいじる程度でいい
  • golangは初心者なのでまず動くのが大事
    • tour of goを何度か途中挫折した程度しか分かってないし、かっこよくは書けない
    • コピペ動かしていじっていく、を繰り返す
    • やってから体系的にお勉強しよう
  • 以下、やった開発段階
    1. hello world、コピペして動かす
    2. net/httpでgetしてresponse textを標準出力、コピペして天気APIにURLだけ変えて動かす
    3. そのget responseのjsonをdproxyでパースして温度だけとる
    4. prometheus/client_golangのsampleのsimpleコピペして動かす
    5. prometheus/client_golangのsampleのrandomコピペして動かす
    6. randomのmetricsを1つに減らして動かす
    7. ↑のmetricsがSummaryなので、Gaugeで固定値返すようにして動かす
    8. 天気用のmetrics名やlabelを返すように名前変えて動かす
    9. 3.の気温スクレイピング処理を足して、固定値をその値に置きかえて動かす
    10. mainに全部突っ込んでたのでfuncで処理をちょっと外へ
    11. 軽く発表

以上。


『 Go 』Article List
Category List

Eye Catch Image
Read More

Androidに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

AWSに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Bitcoinに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

CentOSに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

dockerに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

GitHubに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Goに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Javaに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

JavaScriptに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Laravelに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Pythonに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Rubyに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Scalaに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Swiftに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Unityに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Vue.jsに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

Wordpressに関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。

Eye Catch Image
Read More

機械学習に関する現役のエンジニアのノウハウ・トレンドのトピックなど技術的な情報を提供しています。コード・プログラムの丁寧な解説をはじめ、初心者にもわかりやすいように写真や動画を多く使用しています。