Cloudflare añade filtrado y redacción de registros basados en SQL a Logpush

Cloudflare ha ampliado el acceso a su función Logpush Transformers, poniéndola a disposición general en todos los planes de autoservicio durante su reciente Birthday Week. Esta actualización permite a desarrolladores y equipos de seguridad procesar datos de registro utilizando consultas SQL directamente dentro del flujo de exportación, eliminando la necesidad de servicios de middleware independientes para limpiar o formatear los datos antes de que lleguen a las plataformas de almacenamiento o análisis.

Qué ocurrió

Anteriormente, los equipos que exportaban registros de Cloudflare a sistemas de gestión de información y eventos de seguridad (SIEM) o almacenamiento de objetos solían tener que desplegar y mantener servicios de procesamiento independientes. Estas capas intermedias eran necesarias para eliminar ruido como comprobaciones de estado, redactar campos sensibles o normalizar esquemas de múltiples redes de distribución de contenido (CDN). Con la disponibilidad general de Transformers, esta lógica de procesamiento ahora se ejecuta dentro del flujo de trabajo de exportación de alto rendimiento de Cloudflare, reduciendo tanto la sobrecarga operativa como los costes de datos aguas abajo.

La función permite a los usuarios definir consultas SQL que filtran registros, redactan puntos de datos específicos y remodelan estructuras de salida. Por ejemplo, un equipo puede escribir una consulta para excluir tráfico interno, enmascarar partes de las direcciones IP de los clientes y añadir campos de metadatos estáticos para identificar al proveedor. Los datos transformados se exportan luego en formato NDJSON, asegurando que los sistemas downstream reciban solo la información relevante y correctamente formateada que requieren.

Detalles clave

• Transformers están ahora disponibles en los planes Free, Pro, Business y Enterprise como parte de ocho importantes actualizaciones de observabilidad.
• Los usuarios definen transformaciones utilizando consultas SQL estándar adaptadas a conjuntos de datos específicos de Logpush, como los registros de solicitudes HTTP.
• El sistema admite el filtrado de filas mediante cláusulas WHERE, el cambio de nombre de campos, el anidamiento de estructuras de datos y la redacción de valores sensibles usando expresiones regulares.
• Las transformaciones tienen control de versiones, lo que permite a los equipos rastrear cambios y revertir a configuraciones anteriores si es necesario.
• La función se gestiona a través de Transformer Studio en el panel de Cloudflare o mediante API, con una función de vista previa para probar consultas contra registros de muestra.
• Los registros transformados se exportan en formato NDJSON, manteniendo la compatibilidad con los destinos existentes de Logpush sin requerir cambios de serialización.

Contexto

Logpush es el servicio de Cloudflare para entregar datos de registro en lotes a destinos externos. Maneja volúmenes masivos, con el servicio de entrega subyacente Bufstream procesando más de 110 millones de registros por segundo. Tradicionalmente, cualquier modificación a estos registros requería un servicio externo, lo que introducía latencia, costes adicionales de infraestructura y posibles puntos de fallo. Al mover la lógica de transformación al flujo de exportación, Cloudflare busca optimizar los flujos de trabajo de observabilidad para equipos que no desean gestionar sus propios clústeres de procesamiento de datos.

La implementación técnica depende de Apache DataFusion, un motor de consultas SQL basado en Rust construido sobre Apache Arrow. Este motor fue elegido por su capacidad para manejar eficientemente la ejecución vectorizada y columnar. El sistema convierte los registros entrantes Cap’n Proto en lotes de Apache Arrow, ejecuta la consulta SQL in-process y devuelve los resultados como NDJSON. Este enfoque evita los saltos de red y los riesgos de tiempo de espera asociados con llamar a recursos de cómputo externos como Cloudflare Workers para cada lote.

Por qué importa

Para los equipos que gestionan su propio software, controlar el volumen y la calidad de los registros es un desafío constante. Ingerir registros crudos en SIEMs o herramientas de análisis puede ser costoso, especialmente cuando una parte significativa de esos datos consiste en comprobaciones de estado, tráfico de monitoreo interno o campos redundantes. Al filtrar este ruido en el origen, las organizaciones pueden reducir significativamente los costes de almacenamiento e ingesta. Además, remodelar los registros para que coincidan con un esquema unificado simplifica la correlación entre diferentes proveedores, haciendo que la investigación de incidentes sea más rápida y fiable.

La seguridad y el cumplimiento normativo también se benefician de la redacción previa a la exportación. Enviar direcciones IP o user agents sin enmascarar a almacenamiento de terceros puede crear responsabilidades de privacidad. Transformers permiten a los equipos aplicar reglas de redacción consistentes, como enmascarar los dos últimos octetos de una dirección IP, antes de que los datos salgan de la red de Cloudflare. Esto asegura que la información sensible nunca llegue a los sistemas downstream, reduciendo el riesgo de exposición accidental y simplificando las auditorías de cumplimiento.

Qué puedes hacer

• Revisa tus trabajos actuales de Logpush para identificar campos que son descartados o ignorados consistentemente por tus herramientas de análisis.
• Usa Transformer Studio para redactar consultas SQL que filtren endpoints de comprobación de estado y hostnames internos.
• Implementa expresiones regulares para redactar datos sensibles según tus políticas de seguridad.