Kafka Streams и ksqlDB данные в реальном времени – Сеймур Митч

Краткое содержание
Предисловие ……………………………..15
Введение ……………………………….17
ЧАСТЬ I. KAFKA
Глава 1. Краткое введение в Kafka……………………26
ЧАСТЬ II. БИБЛИОТЕКА KAFKA STREAMS
Глава 2. Начало работы с Kafka Streams…………………48
Глава 3. Обработка без сохранения состояния……………..86
Глава 4. Обработка с сохранением состояния…………….. 119
Глава 5. Окна и время……………………….. 167
Глава 6. Расширенное управление состоянием……………. 201
Глава 7. Processor API ………………………… 231
ЧАСТЬ III. KSQLDB
Глава 8. Знакомство с ksqlDB…………………….. 268
Глава 9. Интеграция данных в ksqlDB…………………. 295
Глава 10. Основы потоковой обработки с ksqlDB…………… 314
Глава 11. Продвинутая обработка потоков с ksqlDB ………….. 345
ЧАСТЬ IV. ПУТЬ К ПРОМЫШЛЕННОЙ ЭКСПЛУАТАЦИИ
Глава 12. Тестирование, мониторинг и развертывание………… 384
Приложение A. Настройка Kafka Streams………………. 417
Приложение Б. Настройка ksqlDB ………………….. 424
Об авторе ……………………………… 429
Иллюстрация на обложке………………………. 430
Предисловие ……………………………..15
Введение ……………………………….17
Кому адресована книга……………………….18
Структура издания…………………………19
Исходный код……………………………20
Версия Kafka Streams………………………..20
Версия ksqlDB……………………………20
Условные обозначения……………………….21
Использование исходного кода примеров………………22
Благодарности…………………………..22
От издательства…………………………..24
ЧАСТЬ I. KAFKA
Глава 1. Краткое введение в Kafka……………………26
Модель взаимодействия………………………27
Как хранятся потоки………………………..31
Темы и разделы …………………………..34
События………………………………36
Кластер и брокеры…………………………37
Группы потребителей………………………..39
Установка Kafka …………………………..41
Hello, Kafka …………………………….43
Заключение…………………………….45
ЧАСТЬ II. БИБЛИОТЕКА KAFKA STREAMS
Глава 2. Начало работы с Kafka Streams…………………48
Экосистема Kafka………………………….48
До появления Kafka Streams……………………49
Рождение Kafka Streams……………………..51
Обзор функционала ………………………..52
Эксплуатационные характеристики…………………53
Масштабируемость……………………….54
Надежность …………………………..55
Удобство сопровождения…………………….55
Сравнение с другими системами…………………..56
Модель развертывания……………………..56
Модель обработки……………………….56
Каппа-архитектура……………………….57
Сценарии использования………………………59
Топология обработчиков………………………61
Субтопологии ………………………….63
Обработка вглубь ………………………..64
Преимущества программирования потоков данных ………..66
Задачи и потоки выполнения…………………..67
Высокоуровневый DSL и низкоуровневый API
узлов-обработчиков ………………………..70
Начало практической работы: Hello, Streams……………..71
Настройка проекта ……………………….72
Создание проекта………………………..72
Добавление зависимости Kafka Streams………………74
Вариант на базе DSL ……………………….75
API узлов-обработчиков……………………..77
Потоки данных и таблицы……………………..80
Потоково-табличный дуализм…………………..83
KStream, KTable, GlobalKTable…………………..84
Заключение…………………………….85
Глава 3. Обработка без сохранения состояния……………..86
Обработка с сохранением и без сохранения состояния ………..87
Обработка потока твитов ………………………88
Настройка проекта …………………………90
Добавление узла-источника KStream…………………90
Сериализация/десериализация …………………..94
Пользовательская версия класса Serdes……………..95
Определение классов данных…………………..96
Пользовательский десериализатор………………..97
Пользовательский сериализатор…………………98
Класс Serdes для твитов……………………..99
Фильтрация данных ……………………….. 100
Ветвление данных………………………… 102
Перевод твитов …………………………. 104
Слияние потоков ………………………… 106
Обогащение твитов ……………………….. 107
Класс данных Avro………………………. 107
Анализ тональности……………………… 109
Сериализация данных Avro ……………………. 111
Сериализация формата Avro без сохранения схемы в реестре….. 112
Сериализация формата Avro с сохранением схемы в реестре …… 113
Добавление узла-приемника…………………… 114
Запуск кода…………………………… 115
Эмпирическая проверка…………………….. 115
Заключение…………………………… 118
Глава 4. Обработка с сохранением состояния…………….. 119
Преимущества операций с сохранением состояния………… 120
Обзор методов…………………………. 121
Хранилища состояний ……………………… 122
Общие характеристики……………………. 123
Постоянные хранилища и хранилища в оперативной памяти…… 125
Список лидеров видеоигр…………………….. 126
Настройка проекта ……………………….. 128
Модели данных …………………………. 129
Добавление узлов-источников………………….. 130
KStream…………………………… 131
KTable ……………………………. 132
GlobalKTable …………………………. 133
Абстракции потока и таблиц…………………… 135
Соединение…………………………… 135
Операторы соединения……………………. 137
Типы соединений………………………. 137
Совместное секционирование…………………. 138
Интерфейс ValueJoiner …………………….. 141
Соединение KStream и KTable…………………. 143
Соединение KStream и GlobalKTable………………. 145
Группировка записей………………………. 145
Группировка потоков…………………….. 146
Группировка таблиц……………………… 147
Агрегирование …………………………. 147
Агрегирование потоков ……………………. 148
Агрегирование таблиц…………………….. 151
Объединение фрагментов кода………………….. 152
Интерактивные запросы…………………….. 154
Материализованные хранилища ……………….. 154
Доступ на чтение из хранилища состояний…………… 155
Запросы к неоконным хранилищам «ключ — значение»…….. 156
Локальные запросы……………………… 158
Удаленные запросы……………………… 159
Заключение…………………………… 166
Глава 5. Окна и время……………………….. 167
Приложение для контроля состояния пациентов ………….. 168
Настройка проекта ……………………….. 171
Модели данных …………………………. 171
Семантики времени ……………………….. 172
Экстракторы отметок времени………………….. 174
Встроенные экстракторы отметок времени…………… 175
Свои собственные экстракторы отметок времени………… 177
Регистрация потоков со своими экстракторами отметок времени… 178
Оконная обработка потоков…………………… 179
Типы окон………………………….. 179
Выбор типа окна……………………….. 184
Оконное агрегирование……………………. 184
Вывод результатов оконной обработки ………………. 186
Период отсрочки ………………………. 188
Подавление …………………………. 189
Фильтрация и изменение ключей оконных таблиц KTable……… 192
Оконные соединения ………………………. 193
Потоки данных, управляемые временем ……………… 194
Приемник предупреждений ………………….. 196
Запрос оконных хранилищ «ключ — значение»…………. 197
Заключение…………………………… 199
Глава 6. Расширенное управление состоянием……………. 201
Организация хранилища состояний на диске ……………. 202
Отказоустойчивость……………………….. 204
Темы журналов изменений………………….. 204
Резервные реплики……………………… 207
Перебалансировка: враг состояния (хранилища)………….. 207
Предотвращение миграции состояния…………….. 209
Закрепленное назначение …………………… 209
Статическое членство…………………….. 212
Уменьшение влияния перебалансировки ……………. 213
Пошаговая кооперативная перебалансировка…………. 214
Управление размером состояния……………….. 216
Исключение повторных операций записи
с помощью кэширования …………………….. 222
Мониторинг хранилища состояний………………… 224
Обработка событий изменения состояния …………… 224
Обработка событий восстановления хранимого состояния……. 226
Встроенные метрики ………………………. 227
Интерактивные запросы…………………….. 228
Нестандартные хранилища состояний ………………. 229
Заключение…………………………… 230
Глава 7. Processor API ………………………… 231
Когда использовать Processor API…………………. 232
Служба цифровых двойников IoT …………………. 233
Настройка проекта ……………………….. 236
Модели данных …………………………. 237
Добавление узлов-источников………………….. 239
Добавление узлов-обработчиков без состояния………….. 241
Создание узлов без состояния………………….. 242
Создание узлов с состоянием…………………… 245
Периодическое выполнение функций с Punctuate …………. 249
Доступ к метаданным записей ………………….. 251
Добавление узла-приемника…………………… 253
Интерактивные запросы…………………….. 254
Все вместе……………………………. 255
Объединение Processor API и DSL…………………. 258
Обработчики и преобразователи…………………. 259
Все вместе: реорганизация……………………. 264
Заключение…………………………… 266
ЧАСТЬ III. KSQLDB
Глава 8. Знакомство с ksqlDB…………………….. 268
Что такое ksqlDB…………………………. 269
Когда следует использовать ksqlDB………………… 270
Эволюция базы данных нового типа……………….. 272
Интеграция с Kafka Streams………………….. 273
Интеграция с Kafka Connect………………….. 276
Сравнение ksqlDB с традиционной базой данных SQL………. 278
Сходства…………………………… 278
Отличия…………………………… 280
Архитектура…………………………… 282
Сервер ksqlDB ………………………… 282
Клиенты ksqlDB……………………….. 285
Режимы развертывания ……………………… 286
Интерактивный режим…………………….. 287
Автономный режим……………………… 288
Учебный проект …………………………. 289
Установка ksqlDB……………………….. 289
Запуск сервера ksqlDB…………………….. 290
Предварительное создание тем………………… 291
Использование интерфейса командной строки ksqlDB CLI……. 291
Заключение…………………………… 294
Глава 9. Интеграция данных в ksqlDB…………………. 295
Обзор Kafka Connect………………………. 296
Внешняя и встроенная интеграция с Connect……………. 297
Внешняя интеграция……………………… 298
Встроенная интеграция……………………. 299
Настройка рабочих процессов Connect………………. 300
Конвертеры и форматы сериализации …………….. 302
Учебный проект …………………………. 304
Установка коннекторов……………………… 305
Создание экземпляров коннекторов в ksqlDB ………….. 306
Вывод списка коннекторов………………….. 308
Получение описаний коннекторов………………. 309
Удаление коннекторов…………………….. 310
Проверка коннектора-источника…………………. 310
Взаимодействие с кластером Kafka Connect напрямую……….. 311
Анализ управляемых схем ……………………. 312
Заключение…………………………… 313
Глава 10. Основы потоковой обработки с ksqlDB…………… 314
Учебный проект: мониторинг изменений в Netflix…………. 315
Настройка проекта ……………………….. 317
Исходные темы…………………………. 318
Типы данных ………………………….. 319
Пользовательские типы……………………. 320
Коллекции……………………………. 322
Создание исходных коллекций………………… 323
Оператор WITH………………………… 325
Работа с потоками и таблицами………………….. 326
Вывод списка потоков и таблиц………………… 326
Получение описаний потоков и таблиц…………….. 327
Изменение потоков и таблиц…………………. 328
Удаление потоков и таблиц………………….. 329
Простые запросы………………………… 329
Вставка значений………………………. 330
Простая выборка (временные push-запросы)………….. 331
Проекция………………………….. 333
Фильтрация …………………………. 333
Подстановочные знаки……………………. 334
Развертывание/упрощение сложных вложенных структур……. 335
Условные выражения ………………………. 336
COALESCE………………………….. 337
IFNULL ……………………………. 337
Оператор CASE………………………… 337
Запись результатов обратно в Kafka (постоянные запросы)……… 338
Создание производных коллекций………………. 338
Все вместе……………………………. 342
Заключение…………………………… 344
Глава 11. Продвинутая обработка потоков с ksqlDB ………….. 345
Настройка проекта ……………………….. 346
Инициализация окружения из файла SQL ……………… 346
Обогащение данных……………………….. 348
Соединения…………………………. 349
Оконные соединения ………………………. 354
Агрегирование …………………………. 357
Основы агрегирования……………………. 358
Оконное агрегирование……………………. 360
Материализованные представления……………….. 366
Клиенты…………………………….. 368
Pull-запросы…………………………… 368
curl ……………………………… 370
Push-запросы………………………….. 372
Push-запросы из curl ……………………… 372
Функции и операторы………………………. 373
Операторы………………………….. 373
Вывод списка доступных функций ……………….. 373
Получение описаний функций…………………. 374
Создание своих функций …………………… 376
Дополнительная информация о пользовательских функциях ksqlDB.. 381
Заключение…………………………… 382
ЧАСТЬ IV. ПУТЬ К ПРОМЫШЛЕННОЙ ЭКСПЛУАТАЦИИ
Глава 12. Тестирование, мониторинг и развертывание………… 384
Тестирование………………………….. 385
Тестирование запросов ksqlDB………………… 385
Тестирование приложений Kafka Streams……………. 388
Поведенческие тесты …………………….. 395
Оценка производительности…………………. 398
Оценка производительности кластера Kafka………….. 400
Заключительные замечания о тестировании………….. 402
Мониторинг…………………………… 402
Виды мониторинга………………………. 403
Извлечение метрик JMX……………………. 403
Развертывание…………………………. 406
Контейнеры ksqlDB……………………… 407
Контейнеры Kafka Streams…………………… 408
Оркестрация контейнеров…………………… 410
Операции ……………………………. 411
Повторная обработка данных в приложении Kafka Streams……. 411
Ограничение скорости вывода приложением………….. 413
Обновление Kafka Streams…………………… 414
Обновление ksqlDB……………………….. 415
Заключение…………………………… 416
Приложение A. Настройка Kafka Streams………………. 417
Управление конфигурацией …………………… 417
Конфигурационные свойства…………………… 418
Конфигурационные свойства потребителей…………… 423
Приложение Б. Настройка ksqlDB ………………….. 424
Параметры запросов………………………. 425
Параметры сервера……………………….. 426
Настройки безопасности…………………….. 428
Об авторе ……………………………… 429
Иллюстрация на обложке………………………. 430