Dapper, a Large-Scale Distributed Systems Tracing Infrastructureを読んだ時のメモ。 どんなもの？ 分散トレーシングシステム 分散システムのtraceをする 先行研究とくらべて何がすごい？ 設計上の目標 オーバーヘッドが少ない サービスのパフォーマンス…

[In Search of an Understandable Consensus Algorithm(Extended Version)(https://raft.github.io/raft.pdf)を読んだ時のメモ。 どんなもの？ わかりやすさを重視して開発された合意アルゴリズム Paxosよりもわかりやすいが、Paxosよりも効率的 先行研究と…

Paxos Made Live - An Engineering Perspectiveを読んだ時のメモ。 どんなもの？ Paxosを実際のプロダクト(Chubby)で使用するために行った挑戦とその際に選択したアルゴリズムについて Paxosは論文には1ページの擬似コードで説明されているが、実プロダクト…

Paxos Made Simpleを読んだ時のメモ。 どんなもの？ Paxos 分散合意アルゴリズム 複数のプロセスが値を提案した時に、どのように1つの値を選ぶかについて 技術や手法の肝は？ The Problem safety requirements 提案された値のみが選ばれる 1つの値のみが選ば…

Kafka: a Distributed Messaging System for Log Processingを読んだ時のメモ。 どんなもの？ LinkedInによって開発された分散メッセージングシステム 大容量のログを高スループットで配信、低レイテンシで収集することを目的としている 先行研究とくらべて…

CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Dataを読んだ時のメモ。 どんなもの？ 擬似ランダムデータ分散アルゴリズム データの名前に対して偏りが無いようにデータノードを割り当てる central allocatorがいなくても新しいデー…

Session Guarantees for Weakly Consistent Replicated Data を読んだ時のメモ。 どんなもの？ weak consistencyのread-any, write-anyの特性を活かしつつも、ある1つのクライアントからは一貫性があるように見えるようにしたもの モバイル端末のユーザはrea…

Time, Clocks, and the Ordering of Events in a Distributed System を読んでいたが、ぼんやりとしか分からなかったので、まず下記の同期の章を読んだ。 分散システム―原理とパラダイム作者: アンドリュー・S.タネンバウム,マールテン・ファンスティーン,An…

Cassandra - A Decentralized Structured Storage Systemを読んだ時のメモ。 どんなもの？ 分散ストレージシステム 大規模データを多数の一般的なサーバに分散させることで可用性を高めて、SPOFを無くす ソフトウェア側で可用性とスケーラビリティをコントロ…

MapReduce: Simplified Data Processing on Large Clustersを読んだ時のメモ。 どんなもの？ 巨大なデータセットを処理するプログラミングモデル Map key/valueのinputを中間的なkey/valueペアにする Reduce 全ての中間的なvalueを中間的なkeyでまとめる 多…

The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processingを読んだ どんなもの？ unbounded で順不同なデータを処理する上で、正確性、latency、costをいい感じに…