Dès que l'on parle SQL avec Kafka, les conversations se tournent rapidement vers Flink, ksqlDB, Spark SQL, Materialize ou Rising Wave.
J'ai vu beaucoup d'équipes être déçues du retour sur investissement.
D'autres ne jurent que par les mastodontes comme DataBricks, Snowflake, BigQuery etc.
J'ai vu beaucoup d'équipes être prises en étau par les coûts engendrés.
Il y a évidemment l'option de déverser les topics dans les bases de données plus classiques.
J'ai vu beaucoup d'équipes être en difficulté sur la gestion des volumes ou de la sécurité.
Pour les usages de data science, on évite pour des raisons évidentes SQL et on on souhaite plutôt accéder aux données en Parquet ou Arrow.
J'ai vu beaucoup d'équipes avoir à faire des pipelines complexes pour des besoins simples.
Je vous propose une alternative toute simple qui vous permettra de faire du SQL et du Parquet sur votre propre Kafka ...
Ceci à moindre coûts, avec une sécurité impeccable, et suffisamment rapide pour la plupart de vos cas d'usages.
Cela parait trop beau pour être vrai?
A la fin du talk, nous connecterons un client postgres pour faire de jolis dashboards!