带你零基础入门kafka！

媒体平台有三个关键功能：

•  「发布和订阅记录流」，类似于消息队列或企业消息传递系统。
•  「以容错的持久方式存储」 记录流。
•  记录发生时处理流。

2）Kafka通常用于两大类应用：

•  构建可在 「系统或应用程序之间」 可靠获取数据的实时流数据管道
•  构建转换或响应数据流的实时流应用程序

3）首先是几个概念：

•  Kafka作为一个集群运行在一个或多个可跨多个**「数据中心的服务器」**上。
•  Kafka集群以称为** topics主题**的类别存储记录流。
•  每条记录都包含**「一个键，一个值和一个时间戳」**。

4）Kafka有四个核心API：

•  「Producer API（生产者API」）允许应用程序发布记录流至一个或多个kafka的topics（主题）。
•  「Consumer API（消费者API」）允许应用程序订阅一个或多个topics（主题），并处理所产生的对他们记录的数据流。
•  Streams API（流API） 允许应用程序充当流处理器，从一个或多个topics（主题）消耗的输入流，并产生一个输出流至一个或多个输出的topics（主题），有效地变换所述输入流，以输出流。
•  「Connector API（连接器API」）允许构建和运行kafka topics（主题）连接到现有的应用程序或数据系统中重用生产者或消费者。例如，关系数据库的连接器可能捕获对表的每个更改。fka中，客户端和服务器之间的通信是通过简单，高性能，语言无关的TCP协议完成的。此协议已版本化并保持与旧版本的向后兼容性。Kafka提供Java客户端，但客户端有多种语言版本。

  1.2 Topics主题 和 partitions分区

  我们首先深入了解 Kafka 为记录流提供的核心抽象 - 主题topics

  一个Topic可以认为是一类消息，每个topic将被分成多个partition(区),每个partition在存储层面是append log文件

  主题是发布记录的类别或订阅源名称。Kafka的主题总是多用户; 也就是说，一个主题可以有零个，一个或多个消费者订阅写入它的数据。

  对于每个主题，Kafka群集都维护一个如下所示的分区日志：
  
  

（编辑：阜新站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!