AWS recorta costes de logs con nuevo motor analítico para OpenSearch

¿Qué ha ocurrido?

AWS ha anunciado un nuevo motor analítico optimizado para logs y telemetría dentro de su servicio gestionado Amazon OpenSearch Service, diseñado para reducir los costes de almacenamiento hasta un 70% y mejorar el rendimiento en precio frente al motor de propósito general. Este motor, actualmente en preview, utiliza Apache Parquet para almacenamiento columnar, mantiene índices Lucene para campos de búsqueda, y emplea Apache Calcite para optimizar consultas, enrutando operaciones analíticas a Apache DataFusion y predicados de búsqueda a Lucene. Soporta SQL y Piped Processing Language (PPL). El anuncio se realizó durante la conferencia AWS re:Invent 2024, en un contexto donde la telemetría generada por aplicaciones de IA y agentes está creciendo exponencialmente.

¿Por qué es importante?

El crecimiento de aplicaciones de IA y agentes está generando volúmenes de telemetría sin precedentes. Una encuesta de Dynatrace reveló que las cargas de trabajo de IA incrementaron el volumen de logs un 93% interanual, llevando a las empresas a excluir en promedio el 86% de los datos de logs para controlar costes. Esto deja a las organizaciones ciegas ante incidentes de seguridad y cumplimiento. El nuevo motor permite mantener más datos durante más tiempo sin disparar los costes, abordando un problema crítico de la observabilidad moderna. Según el informe de Dynatrace, las empresas que implementan IA generativa reportan un aumento medio del 93% en el volumen de logs, pero solo el 14% de esos logs se conserva para análisis. Esto significa que el 86% de los datos se descarta, lo que puede ocultar patrones de errores, brechas de seguridad o problemas de rendimiento. El nuevo motor de AWS promete cambiar esta dinámica al ofrecer una reducción drástica en los costes de almacenamiento, permitiendo a las empresas retener más datos durante más tiempo.

Consecuencias para empresas y usuarios

Según Ashish Chaturvedi, de HFS Research, las empresas suelen reducir ventanas de retención o muestrear logs, perdiendo datos cruciales para incidentes imprevistos. El nuevo motor podría cambiar esto. Shashi Bellamkonda, de Info-Tech Research Group, señala que los agentes de IA rompieron el modelo de costes de OpenSearch: las consultas constantes de agentes no encajaban con las asunciones del motor original. El nuevo motor podría ayudar a contener la proliferación de herramientas de observabilidad, reduciendo la fragmentación y sus costes ocultos. Stephanie Walter, de HyperFrame Research, destaca que incluso si solo se logra una parte de las ganancias prometidas, los menores costes de almacenamiento se traducen en mejor cumplimiento e investigaciones de incidentes más completas. Además, el motor optimizado podría reducir la necesidad de soluciones de almacenamiento externo como Amazon S3 o sistemas de data lake, simplificando la arquitectura de observabilidad. Sin embargo, persiste el desafío de que las empresas deben evaluar si la reducción del 70% se mantiene para sus patrones de uso específicos, ya que el ahorro real depende de la compresibilidad de los datos y la frecuencia de consultas.

Qué deben saber los lectores

El motor está disponible en versión preview para clientes de Amazon OpenSearch Service. AWS no ha detallado precios específicos, pero promete una reducción del 70% en costes de almacenamiento. Las empresas deben evaluar si la reducción se mantiene para sus patrones de uso. El motor mantiene la misma consola, API, modelo de seguridad y configuración de red, facilitando la migración. Sin embargo, es recomendable probar con cargas reales antes de adoptarlo en producción. AWS ha indicado que el motor es compatible con índices existentes, pero se recomienda migrar los datos gradualmente. Además, el motor soporta índices híbridos que combinan almacenamiento columnar y de búsqueda, lo que permite consultas analíticas y de texto completo en un solo paso. Esto contrasta con enfoques anteriores donde se requerían motores separados para logs y búsqueda. Para empresas que ya usan Elasticsearch o soluciones open source, la integración con OpenSearch puede ser un factor clave. En términos de competencia, este movimiento de AWS presiona a proveedores como Elastic, Datadog y Splunk, que ofrecen soluciones de observabilidad con costes elevados. Si AWS logra mantener la promesa de reducción del 70%, podría alterar significativamente el mercado de observabilidad, especialmente para cargas de trabajo de IA. Sin embargo, los analistas advierten que el ahorro real dependerá de la eficiencia del motor en escenarios del mundo real, y que las empresas deben realizar pruebas de concepto antes de comprometerse.