Partant d'une application de commerce, je vous invite à explorer les étapes clés pour développer une application Kafka robuste.
Nous débuterons par aborder la gestion des messages invalides, souvent sources de blocages dans vos pipelines. Nous examinerons les différentes stratégies de gestion des exceptions, dont les Dead Letter Queues. Prenons le temps de mieux comprendre les DLQ.
Ensuite, nous plongerons dans l'univers des schémas. Nous discuterons du choix entre Avro, Protocol Buffer et JSON Schema, des meilleures pratiques pour les structurer, les nommer, et surtout, comment les faire évoluer. Ce sujet, moins évident qu'il n'y paraît, requiert une attention particulière.
Enfin, je vous propose de nous concentrer sur la validation du contenu des messages et l'adoption de principes de qualité des données. Après avoir examiné les spécificités de JSON Schema, nous explorerons comment intégrer les meilleures pratiques avec Avro et Protocol Buffer.
Pour clôturer la session nous verrons comment réaliser des tests d'intégration qui s'assureront a coup sûr que vos applications sont bien résistantes aux erreurs les plus fréquentes. Nous testerons de la configuration du produce, en passant par l'idempotence jusqu'aux messages invalides.