Chương 2. Deep into Kafka 📚

Trong chương này, chúng ta sẽ cùng khám phá chi tiết các thành phần cơ bản của Kafka, từ khái niệm producing và consuming messages cho đến cấu trúc nội bộ như brokers, ZooKeeper và các gói mã nguồn quan trọng như Kafka Streams hay Kafka Connect. Đây là nền tảng giúp bạn hiểu rõ Kafka hoạt động như thế nào và vì sao nó lại trở thành công cụ phổ biến trong kiến trúc xử lý dữ liệu thời gian thực.

2.1 Producing and Consuming a Message 🔄

Producer là gì?

• Producer là thành phần trong Kafka gửi dữ liệu (tin nhắn) đến các topic.
• Producer quyết định partition nào sẽ nhận tin nhắn thông qua key hoặc theo cách ngẫu nhiên.

Consumer là gì?

• Consumer là thành phần đọc dữ liệu từ các topic của Kafka.
• Consumers sử dụng offset để xác định vị trí hiện tại của tin nhắn.

Cách producer và consumer tương tác với Kafka

1. Producer gửi dữ liệu vào topic trong Kafka.
2. Kafka lưu trữ tin nhắn trong các partition.
3. Consumer đọc dữ liệu từ partition với offset cụ thể.

Ví dụ:
Một hệ thống theo dõi đơn hàng sẽ có producers ghi dữ liệu vào topic orders, và consumers sẽ đọc dữ liệu này để cập nhật trạng thái.

2.2 What are Brokers? 🖥️

Brokers là gì?

• Broker là các máy chủ trong Kafka, nơi dữ liệu được lưu trữ và quản lý.
• Một cluster Kafka có thể bao gồm nhiều brokers để tăng khả năng mở rộng và chịu lỗi.

Vai trò của broker trong Kafka

• Quản lý và lưu trữ messages trong partitions.
• Thực hiện cơ chế replication (sao chép dữ liệu) để đảm bảo độ tin cậy.
• Chia sẻ tải giữa các broker để xử lý dữ liệu lớn.

Ví dụ:
Nếu bạn có 3 brokers trong cluster, Kafka có thể chia các partition trên các broker này để xử lý song song.

2.3 Tour of Kafka 🚀

Producers and Consumers

• Producers: Gửi tin nhắn đến Kafka topics.
• Consumers: Đọc tin nhắn từ Kafka topics.
• Producers và consumers hoạt động độc lập và không cần biết đến nhau, nhờ đó hệ thống được tách rời và dễ mở rộng.

Topics overview

• Topic là trung tâm lưu trữ các tin nhắn.
• Topic được chia thành partition để dữ liệu có thể được xử lý song song.

ZooKeeper usage

• ZooKeeper là dịch vụ điều phối, chịu trách nhiệm quản lý Kafka cluster.
• Nó giám sát trạng thái của các broker và phân bổ partition leader.

Kafka’s high-level architecture

• Kafka sử dụng kiến trúc phân tán, bao gồm các thành phần chính:
  • Producers
  • Brokers
  • Consumers
  • ZooKeeper
• Dữ liệu được lưu trữ trong partition để đảm bảo khả năng mở rộng và xử lý song song.

The commit log

• Kafka lưu trữ các tin nhắn dưới dạng commit log, một cấu trúc dữ liệu ghi tuần tự.
• Mỗi tin nhắn được gắn một offset và được lưu trữ cho đến khi hết thời gian quy định hoặc dung lượng lưu trữ.

2.4 Various Source Code Packages and What They Do 💻

Kafka Streams

• Kafka Streams là thư viện để xử lý dữ liệu thời gian thực được lưu trữ trong Kafka.
• Nó giúp bạn xây dựng các ứng dụng stream processing mà không cần thêm hệ thống khác như Spark hoặc Flink.

Kafka Connect

• Kafka Connect là công cụ để kết nối Kafka với các hệ thống khác như databases, Hadoop, hoặc Elasticsearch.
• Nó hỗ trợ các source connectors (đọc dữ liệu vào Kafka) và sink connectors (ghi dữ liệu từ Kafka ra ngoài).

AdminClient package

• Gói này cung cấp các API quản trị Kafka như:
  • Tạo và xóa topic.
  • Quản lý cấu hình topic và broker.

ksqlDB

• ksqlDB là công cụ giúp thực thi các truy vấn SQL trên dữ liệu Kafka.
• Người dùng có thể viết câu lệnh SQL để lọc, chuyển đổi và tổng hợp dữ liệu theo thời gian thực.

2.5 Confluent Clients 🤝

Confluent Clients là các thư viện khách hàng được phát triển bởi Confluent để mở rộng khả năng sử dụng Kafka.
Các client này hỗ trợ nhiều ngôn ngữ lập trình như Java, Python, và Go, giúp developer dễ dàng tích hợp Kafka vào ứng dụng của họ.

2.6 Stream Processing and Terminology 🌊

Stream processing là gì?

• Stream processing là quá trình xử lý dữ liệu liên tục khi nó được tạo ra trong thời gian thực.

Kafka Streams và các khái niệm liên quan

• Exactly-once: Đảm bảo mỗi tin nhắn chỉ được xử lý một lần duy nhất. Đây là một thách thức lớn trong hệ thống phân tán, nhưng Kafka đã giải quyết được.

Ví dụ:
Một hệ thống thanh toán có thể sử dụng Kafka Streams để đảm bảo mọi giao dịch chỉ được xử lý một lần, tránh tình trạng xử lý trùng lặp.

References 🔗

Để mở rộng kiến thức, bạn có thể tham khảo:

• Apache Kafka Documentation
• Confluent Platform
• Các khóa học Kafka trên Udemy hoặc Coursera.

Lời kết 🎯

Chương 2 đã giúp bạn làm quen với các khái niệm cốt lõi trong Kafka như producer, consumer, broker, và kiến trúc cơ bản của Kafka. Ngoài ra, các công cụ mạnh mẽ như Kafka Streams, Kafka Connect, và ksqlDB sẽ giúp bạn tận dụng tối đa Kafka trong các dự án thực tế.

Trong các chương tiếp theo, chúng ta sẽ tiếp tục đi sâu vào cách triển khai và tối ưu hóa Kafka trong hệ thống của bạn. 🚀