基础

• 在其官网Logo上有一句话“A distributed streaming platform”，即定位为一个分布式流式处理平台。

• kafka起初是由LinkIn公司开发的一个多分区、多副本且基于Zookeeper协调的分布式消息系统，于2010年贡献给Apache基金会。

• 它以高吞吐、可持久化、可水平扩展、支持流数据处理等多特性而被广泛使用，并且已经运行在数千家公司的生产环境。

• 超容易理解的视频

优点

• 可靠性： kafka是分布式，分区，复制和容错的。
• 可扩展性：kafka消息传递系统轻松缩放，无需停机。
• 耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。
• 性能：kafka对于发布和定于消息都具有高吞吐量。即使存储了许多TB的消息，他也爆出稳定的性能。
• kafka非常快：保证零停机和零数据丢失。

架构图

应用场景

• 消息队列：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。
• 数据处理：构建实时的流数据处理程序来转换或处理数据流。

版本信息

• kafkav2.8.0移除ZooKeeper的依赖，采用Rafit协议