DataDome s’est donné pour mission de détecter le trafic frauduleux chez ses clients. Un des nos outils est une analyse comportementale, qui reçoit plusieurs centaines de milliers de requêtes par seconde, et qui applique à chacune près de 300 000 règles de comportement. Cela nous permet de détecter un comportement anormal en quelques dizaines de millisecondes.
Pour gérer ce trafic, nous utilisons Apache Flink. Flink, c’est un moteur de streaming de dernière génération, qui peut scaler horizontalement sur des dizaines de nœuds. Scaler en stateless, c’est facile, il suffit de paralléliser. Flink, lui, le fait en stateful.
Comment ça marche ? Comment gérer l’état ? Nous verrons à quoi ressemble un job Flink, comment optimiser les performances, et comment Flink se place vis-à-vis d’autres frameworks de streaming du marché.