Cloudflare ergänzt Logpush um SQL-basierte Filterung und Redaktion von Logs

Cloudflare hat den Zugang zu seiner Logpush-Funktion „Transformers“ erweitert und sie im Rahmen der kürzlich stattgefundenen Birthday Week für alle Self-Serve-Pläne allgemein verfügbar gemacht. Dieses Update ermöglicht Entwicklern und Sicherheitsteams, Logdaten direkt innerhalb der Export-Pipeline über SQL-Abfragen zu verarbeiten. Dadurch entfällt die Notwendigkeit separater Middleware-Dienste zur Bereinigung oder Formatierung der Daten, bevor diese Speicher- oder Analyseplattformen erreichen.

Was ist passiert?

Bisher mussten Teams, die Cloudflare-Logs an Security Information and Event Management Systems (SIEMs) oder Objektspeicher exportierten, häufig unabhängige Verarbeitungsdienste bereitstellen und warten. Diese Zwischenschichten waren notwendig, um Stördaten wie Health Checks zu entfernen, sensible Felder zu redigieren oder Schemata aus verschiedenen Content Delivery Networks zu normalisieren. Mit der allgemeinen Verfügbarkeit von Transformers läuft diese Verarbeitungslogik nun innerhalb des hochdurchsatzfähigen Export-Workflows von Cloudflare. Dies reduziert sowohl den operativen Aufwand als auch die nachgelagerten Datenkosten.

Die Funktion ermöglicht es Nutzern, SQL-Abfragen zu definieren, die Datensätze filtern, bestimmte Datenpunkte redigieren und Ausgabestrukturen umgestalten. Beispielsweise kann ein Team eine Abfrage schreiben, um internen Traffic auszuschließen, Teile der Client-IP-Adressen zu maskieren und statische Metadatenfelder zur Identifizierung des Anbieters hinzuzufügen. Die transformierten Daten werden anschließend im NDJSON-Format exportiert, sodass nachgelagerte Systeme nur die relevanten, korrekt formatierten Informationen erhalten, die sie benötigen.

Wichtige Details

• Transformers sind nun als Teil von acht großen Observability-Updates in den Plänen Free, Pro, Business und Enterprise verfügbar.
• Nutzer definieren Transformationen über Standard-SQL-Abfragen, die auf spezifische Logpush-Datensätze zugeschnitten sind, wie etwa HTTP-Request-Logs.
• Das System unterstützt das Filtern von Zeilen über WHERE-Klauseln, das Umbenennen von Feldern, das Verschachteln von Datenstrukturen sowie die Redaktion sensibler Werte mittels regulärer Ausdrücke.
• Transformationen werden versioniert, sodass Teams Änderungen nachverfolgen und bei Bedarf zu früheren Konfigurationen zurückkehren können.
• Die Funktion wird über das Transformer Studio im Cloudflare-Dashboard oder via API verwaltet. Eine Vorschau-Funktion erlaubt das Testen von Abfragen gegen Beispiel-Datensätze.
• Transformierte Logs werden im NDJSON-Format exportiert, was die Kompatibilität mit bestehenden Logpush-Zielen gewährleistet, ohne dass Änderungen an der Serialisierung erforderlich sind.

Hintergrund

Logpush ist Cloudflares Dienst zur gebündelten Übermittlung von Logdaten an externe Ziele. Er verarbeitet enorme Volumina; der zugrunde liegende Bufstream-Lieferdienst bearbeitet mehr als 110 Millionen Datensätze pro Sekunde. Traditionell erforderte jede Änderung an diesen Logs einen externen Dienst, was Latenzzeiten, zusätzliche Infrastrukturkosten und potenzielle Fehlerquellen mit sich brachte. Indem Cloudflare die Transformationslogik in die Export-Pipeline verlagert, sollen die Observability-Workflows für Teams vereinfacht werden, die keine eigenen Datenverarbeitungs-Cluster verwalten möchten.

Die technische Implementierung basiert auf Apache DataFusion, einer Rust-basierten SQL-Query-Engine, die auf Apache Arrow aufgebaut ist. Diese Engine wurde aufgrund ihrer Fähigkeit gewählt, vektorierte, spaltenorientierte Ausführung effizient zu handhaben. Das System konvertiert eingehende Cap’n Proto-Datensätze in Apache-Arrow-Batches, führt die SQL-Abfrage im Prozess aus und gibt die Ergebnisse als NDJSON zurück. Dieser Ansatz vermeidet Netzwerk-Hops und Timeout-Risiken, die mit dem Aufruf externer Compute-Ressourcen wie Cloudflare Workers für jeden Batch verbunden wären.

Warum ist das wichtig?

Für Teams, die eigene Software betreiben, ist das Management von Logvolumen und -qualität eine ständige Herausforderung. Die Aufnahme roher Logs in SIEMs oder Analysetools kann teuer sein, insbesondere wenn ein erheblicher Teil dieser Daten aus Health Checks, internem Monitoring-Traffic oder redundanten Feldern besteht. Durch das Filtern dieses Rauschens an der Quelle können Organisationen Speicher- und Ingestion-Kosten erheblich senken. Darüber hinaus vereinfacht die Umgestaltung von Logs auf ein einheitliches Schema die Korrelation über verschiedene Anbieter hinweg, was die Untersuchung von Incidents schneller und zuverlässiger macht.

Auch Sicherheit und Compliance profitieren von der Redaktion vor dem Export. Das Senden unmaskierter IP-Adressen oder User Agents an Drittanbieter-Speicher kann Datenschutzrisiken darstellen. Transformers ermöglichen es Teams, konsistente Redaktionsregeln anzuwenden, wie etwa das Maskieren der letzten zwei Oktette einer IP-Adresse, bevor die Daten das Cloudflare-Netzwerk verlassen. So wird sichergestellt, dass sensible Informationen niemals nachgelagerte Systeme erreichen, was das Risiko versehentlicher Offenlegung reduziert und Compliance-Audits vereinfacht.

Was Sie tun können

• Überprüfen Sie Ihre aktuellen Logpush-Jobs, um Felder zu identifizieren, die von Ihren Analysetools konsistent verworfen oder ignoriert werden.
• Nutzen Sie das Transformer Studio, um SQL-Abfragen zu erstellen, die Health-Check-Endpunkte und interne Hostnamen herausfiltern.
• Definieren Sie Transformationen, die sensible Daten redigieren und die Ausgabestruktur an Ihre Anforderungen anpassen.