Serialization là gì?

Serialization là quá trình chuyển đổi một object hoặc cấu trúc dữ liệu trong bộ nhớ thành một định dạng có thể lưu trữ hoặc truyền tải (ví dụ: byte stream, JSON, XML).

Deserialization là quá trình ngược lại, chuyển đổi dữ liệu đã được serialized trở lại thành object ban đầu.

Trong Kafka, dữ liệu (message) được truyền đi dưới dạng byte arrays (byte[]), do đó, Serialization/Deserialization (SerDe) là một phần quan trọng để đảm bảo dữ liệu được xử lý chính xác giữa Producer và Consumer.

Tại sao cần Serialization trong Kafka?

• Kafka lưu trữ và truyền tải dữ liệu dưới dạng bytes.

• Các ứng dụng thường làm việc với các object (String, JSON, Avro, Protobuf, ...), nên cần chuyển đổi qua lại giữa object và byte stream.

• Serialization không chỉ ảnh hưởng đến hiệu suất truyền tải dữ liệu mà còn tác động trực tiếp đến hiệu quả lưu trữ trong Kafka.

• Producer cần serialize dữ liệu trước khi gửi vào Kafka.

• Consumer cần deserialize dữ liệu nhận được từ Kafka để sử dụng.

Serialization và Compression

Dưới đây là bảng so sánh chi tiết giữa hai khái niệm này trong bối cảnh Kafka:

Format Serialization

Configuration

• Cấu hình key.serializer và value.serializer ở Producer

• Cấu hình key.deserializer và value.deserializerở Producer

• Deserializer phải tương thích với Serializier.

Trường hợp 1: Tương thích

// Producer (Serializer)
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

// Consumer (Deserializer)
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

✅ Hoạt động tốt vì cùng sử dụng UTF-8 để chuyển đổi String ↔ byte[]

Trường hợp 2: Không tương thích

// Producer: Dùng JSON
props.put("value.serializer", "org.springframework.kafka.support.serializer.JsonSerializer");

// Consumer: Lại dùng String
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

❌ Lỗi runtime vì:

• Producer gửi JSON bytes (ví dụ: {"id":1})

• Consumer cố đọc như UTF-8 String → Kết quả bị sai

Tiêu Chí Chọn Format

• Hiệu Suất (Performance)

• Kích Thước Dữ Liệu (Data Size)

• Khả Năng Mở Rộng (Schema Evolution)

• Khả Năng Debug (Human Readability)

• Hệ Sinh Thái (Ecosystem Support)

• Bảo Mật (Security)

Tiêu Chí Lựa Chọn Theo Use Case