LINE オブザーバビリティ活用事例：数兆規模のKafkaプラットフォームを支えるオブザーバビリティ基盤 LINE Observability Use Case: Observability infrastructure behind the trillion-scale Kafka platform

兆規模の Kafka プラットフォームを運用するには、堅牢なデータストリーミング基盤だけでなく、信頼性・性能・迅速な問題解決を支える強力なオブザーバビリティも必要でした。本講演では、LINE が世界最大級の Kafka デプロイメントを支えるために、ClickHouse を基盤としたオブザーバビリティインフラをどのように構築・運用してきたのかをご紹介しました。アーキテクチャ設計、主要技術、そして大規模な監視を可能にした実践的な取り組みに加え、実運用から得られた知見についても解説しました。参加者は、拡大し続けるデータプラットフォームに対応可能なスケーラブルなオブザーバビリティシステムを構築するための洞察を得ることができました。

Operating a trillion-scale Kafka platform required not only robust data streaming infrastructure but also equally powerful observability to ensure reliability, performance, and rapid issue resolution. In this talk, we shared how LINE built and operated its observability infrastructure, powered by ClickHouse, to support one of the world’s largest Kafka deployments. We covered the architectural design, key technologies, and practices that enabled monitoring at massive scale, as well as lessons learned from real-world operations. Attendees gained insights into building scalable observability systems capable of keeping pace with ever-growing data platforms.