/ SPEAKER
Stephane Derosiaux is the co-founder and CTO of Conduktor. An Apache Kafka enthusiast, he's dedicated to creating the best data streaming experience for developers and organizations. He has more than 15+ years of expertise in software and data engineering, acquired through extensive large-scale Adtech and Retailtech organizations.
Partant d'une application de commerce, je vous invite à explorer les étapes clés pour développer une application Kafka robuste.
Nous débuterons par aborder la gestion des messages invalides, souvent sources de blocages dans vos pipelines. Nous examinerons les différentes stratégies de gestion des exceptions, dont les Dead Letter Queues. Prenons le temps de mieux comprendre les DLQ.
Ensuite, nous plongerons dans l'univers des schémas. Nous discuterons du choix entre Avro, Protocol Buffer et JSON Schema, des meilleures pratiques pour les structurer, les nommer, et surtout, comment les faire évoluer. Ce sujet, moins évident qu'il n'y paraît, requiert une attention particulière.
Enfin, je vous propose de nous concentrer sur la validation du contenu des messages et l'adoption de principes de qualité des données. Après avoir examiné les spécificités de JSON Schema, nous explorerons comment intégrer les meilleures pratiques avec Avro et Protocol Buffer.
Pour clôturer la session nous verrons comment réaliser des tests d'intégration qui s'assureront a coup sûr que vos applications sont bien résistantes aux erreurs les plus fréquentes. Nous testerons de la configuration du produce, en passant par l'idempotence jusqu'aux messages invalides.
Searching for speaker images...