Kafka

Оглавление Введение Надежная обработка событий – ключевой вызов в архитектуре распределенных систем. В реальных условиях часть сообщений неминуемо сталкивается с проблемами: потребитель недоступен, данные сообщения повреждены или не соответствуют схеме, возникают сетевые сбои и т.п. Без специальных механизмов такие ситуации могут привести к блокировке очередей, потере событий или дублированию обработки. Необходимо спроектировать систему так, чтобы … —Читать далее—

Оглавление Введение Apache Kafka изначально полагалась на ZooKeeper для хранения метаданных и координации работы брокеров. Однако начиная с версии 3.5 Kafka предлагает новый режим KRaft (Kafka Raft) – собственный встроенный консенсус на базе Raft, позволяющий полностью избавиться от ZooKeeper. В этой статье мы подробно сравним классическую архитектуру Kafka с ZooKeeper и новую архитектуру Kafka без … —Читать далее—

Оглавление Введение Apache Kafka давно стал стандартом для построения масштабируемых событийных платформ и систем потоковой обработки данных. О Kafka написано множество статей и руководств, в которых пошагово разбираются базовые сценарии: как поднять брокер, создать топик, написать “Hello, World” на продюсере и консюмере. Но за пределами этих простых примеров скрывается настоящая сила Kafka – её архитектура … —Читать далее—

Оглавление Введение Очень часто, изучая ту или иную технологию мы можем видеть, что есть масса материалов по базовому функционалу. При этом, “продвинутое” использование технологии как-то упускается.В данной статье мы попробуем разобрать некоторые расширенные возможности работы с Apache Kafka на конкретных примерах. С диаграммами, примерами кода и т.д. Kafka в повседневной работе Apache Kafka давно зарекомендовала … —Читать далее—