Kafka

Kafkaは大規模なストリームデータを扱うことができるオープンソースの分散メッセージングシステムです。もともと米国LinkedIn社で開発されたものがApache Software Foundationに寄贈されたもので、現在でも初期開発者らが設立した米国Confluent社を中心に活発に開発が行われ、機能追加なども行われています。

Kafkaはシステムにおいてストリームデータの中継役を担います。ストリームデータとは継続的/連続的に生成されるデータの集合のことです。機器の動作情報/APサーバのログ/ECサイトの購入情報/SNSの投稿など様々なデータをストリームデータとして扱うことができます。

Kafkaは下図のようにデータが生成される機器やサーバとデータの処理サーバなどの間に配置され、 生成されたストリームデータを受け取り、一時的にデータを保存しつつ、都度または必要なタイミングで処理サーバにデータを受け渡します。