Cloudflare ajoute le filtrage et la suppression de données basés sur SQL à Logpush

Cloudflare a élargi l'accès à sa fonctionnalité Logpush Transformers, la rendant généralement disponible sur tous les plans en libre-service lors de sa récente Birthday Week. Cette mise à jour permet aux développeurs et aux équipes de sécurité de traiter les données de journalisation à l'aide de requêtes SQL directement au sein du pipeline d'exportation, éliminant ainsi le besoin de services intermédiaires distincts pour nettoyer ou formater les données avant qu'elles n'atteignent les plateformes de stockage ou d'analyse.

Ce qui s'est passé

Auparavant, les équipes exportant les journaux Cloudflare vers des systèmes de gestion des informations et des événements de sécurité (SIEM) ou vers un stockage objet devaient souvent déployer et maintenir des services de traitement indépendants. Ces couches intermédiaires étaient nécessaires pour supprimer le bruit généré par les vérifications de santé, masquer les champs sensibles ou normaliser les schémas provenant de plusieurs réseaux de diffusion de contenu (CDN). Avec la disponibilité générale de Transformers, cette logique de traitement s'exécute désormais au sein du flux d'exportation à haut débit de Cloudflare, réduisant à la fois la charge opérationnelle et les coûts de données en aval.

La fonctionnalité permet aux utilisateurs de définir des requêtes SQL pour filtrer les enregistrements, supprimer des points de données spécifiques et remodeler les structures de sortie. Par exemple, une équipe peut écrire une requête pour exclure le trafic interne, masquer certaines parties des adresses IP clients et ajouter des champs de métadonnées statiques pour identifier le fournisseur. Les données transformées sont ensuite exportées au format NDJSON, garantissant que les systèmes en aval ne reçoivent que les informations pertinentes et correctement formatées dont ils ont besoin.

Détails clés

• Transformers est désormais disponible sur les plans Free, Pro, Business et Enterprise dans le cadre de huit mises à jour majeures en matière d'observabilité.
• Les utilisateurs définissent les transformations à l'aide de requêtes SQL standard adaptées aux jeux de données Logpush spécifiques, tels que les journaux de requêtes HTTP.
• Le système prend en charge le filtrage des lignes via des clauses WHERE, le renommage des champs, l'imbrication des structures de données et la suppression de valeurs sensibles à l'aide d'expressions régulières.
• Les transformations sont versionnées, permettant aux équipes de suivre les modifications et de revenir aux configurations précédentes si nécessaire.
• La fonctionnalité est gérée via Transformer Studio dans le tableau de bord Cloudflare ou via l'API, avec une fonction de prévisualisation pour tester les requêtes sur des échantillons d'enregistrements.
• Les journaux transformés sont exportés au format NDJSON, maintenant la compatibilité avec les destinations Logpush existantes sans nécessiter de changements de sérialisation.

Contexte

Logpush est le service de Cloudflare dédié à la livraison de données de journalisation par lots vers des destinations externes. Il gère des volumes massifs, le service de livraison sous-jacent Bufstream traitant plus de 110 millions d'enregistrements par seconde. Traditionnellement, toute modification de ces journaux nécessitait un service externe, ce qui introduisait de la latence, des coûts d'infrastructure supplémentaires et des points de défaillance potentiels. En déplaçant la logique de transformation dans le pipeline d'exportation, Cloudflare vise à rationaliser les flux de travail d'observabilité pour les équipes qui ne souhaitent pas gérer leurs propres clusters de traitement de données.

L'implémentation technique repose sur Apache DataFusion, un moteur de requêtes SQL basé sur Rust construit sur Apache Arrow. Ce moteur a été choisi pour sa capacité à gérer efficacement l'exécution vectorisée et colonnaire. Le système convertit les enregistrements Cap’n Proto entrants en lots Apache Arrow, exécute la requête SQL in-process et renvoie les résultats sous forme de NDJSON. Cette approche évite les sauts réseau et les risques de dépassement de délai associés à l'appel de ressources de calcul externes comme Cloudflare Workers pour chaque lot.

Pourquoi c'est important

Pour les équipes développant leur propre logiciel, la gestion du volume et de la qualité des journaux est un défi constant. L'ingestion de journaux bruts dans des SIEM ou des outils d'analyse peut être coûteuse, surtout lorsqu'une partie significative de ces données consiste en vérifications de santé, en trafic de surveillance interne ou en champs redondants. En filtrant ce bruit à la source, les organisations peuvent réduire considérablement les coûts de stockage et d'ingestion. De plus, remodeler les journaux pour correspondre à un schéma unifié simplifie la corrélation entre différents fournisseurs, rendant l'investigation des incidents plus rapide et plus fiable.

La sécurité et la conformité bénéficient également de la suppression de données avant l'exportation. L'envoi d'adresses IP ou d'agents utilisateur non masqués vers un stockage tiers peut créer des responsabilités en matière de confidentialité. Transformers permet aux équipes d'appliquer des règles de suppression cohérentes, telles que le masquage des deux derniers octets d'une adresse IP, avant que les données ne quittent le réseau Cloudflare. Cela garantit que les informations sensibles n'atteignent jamais les systèmes en aval, réduisant le risque d'exposition accidentelle et simplifiant les audits de conformité.

Ce que vous pouvez faire

• Passez en revue vos tâches Logpush actuelles pour identifier les champs systématiquement rejetés ou ignorés par vos outils d'analyse.
• Utilisez Transformer Studio pour rédiger des requêtes SQL qui filtrent les points de terminaison de vérification de santé et les noms d'hôtes internes.
• Implémentez des expressions régulières pour supprimer les données sensibles selon vos besoins.