Apache Kafka 3.8

В июне текущего года состоялся релиз Apache Kafka 3.8, предыдущая версия 3.7 стала доступной в феврале, и на осень 2024 планируется выпуск следующей версии 3.9. Даний инструмент нужен для построения event-driven приложений и конвейеров данных. Версия 3.8 имеет улучшения безопасности, поддержку JBOD, а также возможность удаления конфигураций.

 Основные изменения касаются:

• Добавлен механизм конфигурации топика, продюсера, и брокера для того, чтобы указывать необходимый уровень сжатия, а также добавлены 3 целочисленных параметра для zstd, gzip, и lz4.
• Появилась полноценная поддержка JBOD для возможности вести нескольких каталогов для каждого брокера. Данная поддержка очень важна для развертывания крупных проектов.
• При недоступности известных брокеров стало возможным повторять процесс загрузки во время обновления метаданных.
• Добавлена возможность совместного использования хранилища в Kafka Streams. Такое изменения позволит использовать данные без необходимости дублирования. Также в приложениях Streams добавлено новые метрики для поиска проблем с производительность и утечек.
• Для избежание неограниченного доступа и улучшения безопасности появилась возможность ограничивать файлы. Более того, появилась возможность настраивать тайм-аут при чтении из удаленного хранилища.
• В создании кода для версии 3.8 принимало участие более 200 разработчиков и других контрибуторов.