intramart Accel platformのログをkibanaで概観したい。

パフォーマンスが時系列的にどう変化しているのかを知りたくて、リクエストログ（レスポンスタイムが載ってる）を概観したい。

elasticsearch + kibana でやれそうだが、ログの収集をどうするか。

サーバがWindowsなのでfluentdでやるとするとLinuxの分追加リソースが必要になりそう。とりあえず一括で取り込んでみることを考えてEmbulkでもいいか、と思ってやってみた。同等の目的でLogstashを使う場合もあるらしい。とりあえず設定するだけでなんだかうまくいかないな～という感じで時間使ってしまったので最終的にできた手順をGistに書いた。

Embulk

iAPのリクエストログをembulkでelasticsearchに読み込んでみる

gemの扱いが若干微妙・・・というのは、インターネットから断絶された環境で使う必要があったので。 まあつながってる環境で構築してからそのまま持っていけばいいんだろうけど。

これ自身は単にコマンドなのでデータを転送し終わるとプロセスが終了する。

Logstash

Logstash で IMのログをelasticsearchに転送してみた

こっちはこっちで基本バルクロードというよりはfluentdのtd-agentのようにログを監視して変化があれば転送するという感じのようだ。 だから単に起動するとプロセスは終了しない。