Hace casi un año, IBM encontró un problema de validación de datos durante uno de nuestros flujos de datos de fusiones y adquisiciones urgentes. Nos enfrentamos a varios desafíos mientras trabajábamos para resolver el problema, incluida la resolución de problemas, la identificación del problema, la corrección del flujo de datos, la realización de cambios en las canalizaciones de datos posteriores y la realización de una ejecución ad hoc de un flujo de trabajo automatizado.
Mejora de la resolución de datos y la eficiencia del monitoreo con Databand
Una vez que se resolvió el problema inmediato, un análisis retrospectivo reveló que la validación adecuada de los datos y el monitoreo inteligente podrían haber aliviado el problema y acelerado el tiempo de resolución. En lugar de desarrollar una solución personalizada únicamente para la preocupación inmediata, IBM buscó una solución de validación de datos ampliamente aplicable capaz de manejar no sólo este escenario sino también posibles problemas pasados por alto.
Fue entonces cuando descubrí uno de nuestros productos recientemente adquiridos, IBM® Databand® para la observabilidad de datos. A diferencia de las herramientas de monitoreo tradicionales con monitoreo basado en reglas o cientos de scripts de monitoreo desarrollados a medida, Databand ofrece monitoreo de autoaprendizaje. Observa el comportamiento de los datos pasados e identifica desviaciones que superan ciertos umbrales. Esta capacidad de aprendizaje automático permite a los usuarios monitorear datos con una configuración de reglas mínima y detección de anomalías, incluso si tienen un conocimiento limitado sobre los datos o sus patrones de comportamiento.
Optimización de la observabilidad del flujo de datos con el monitoreo de autoaprendizaje de Databand
Databand considera el comportamiento histórico del flujo de datos y señala actividades sospechosas mientras alerta al usuario. IBM integró Databand en nuestro flujo de datos, que comprendía más de 100 canales. Proporcionó actualizaciones de estado fácilmente observables para todas las ejecuciones y canalizaciones y, lo que es más importante, destacó las fallas. Esto nos permitió concentrarnos y acelerar la solución de incidentes de flujo de datos.
Databand para la observabilidad de datos utiliza el autoaprendizaje para monitorear lo siguiente:
- Cambios de esquema: Cuando se detecta un cambio de esquema, Databand lo marca en un panel y envía una alerta. Cualquiera que trabaje con datos probablemente se haya encontrado con escenarios en los que una fuente de datos sufre cambios de esquema, como agregar o eliminar columnas. Estos cambios afectan los flujos de trabajo, que a su vez afectan el procesamiento posterior de la canalización de datos, lo que genera un efecto dominó. Databand puede analizar el historial del esquema y alertarnos rápidamente sobre cualquier anomalía, evitando posibles interrupciones.
- Impacto del acuerdo de nivel de servicio (SLA): Databand muestra el linaje de datos e identifica las canalizaciones de datos posteriores afectadas por una falla en la canalización de datos. Si hay un SLA definido para la entrega de datos, las alertas ayudan a reconocer y mantener el cumplimiento del SLA.
- Anomalías de rendimiento y tiempo de ejecución: Databand monitorea la duración de las ejecuciones de la canalización de datos y aprende a detectar anomalías, señalándolas cuando es necesario. Los usuarios no necesitan ser conscientes de la duración del canal; Databand aprende de sus datos históricos.
- Estado: Databand monitorea el estado de las ejecuciones, incluido si fallaron, se cancelaron o tuvieron éxito.
- Validación de datos: Databand observa los rangos de valores de los datos a lo largo del tiempo y envía una alerta al detectar anomalías. Esto incluye estadísticas típicas como media, desviación estándar, mínimo, máximo y cuartiles.
Alertas transformadoras de Databand para canales de datos mejorados
Los usuarios pueden configurar alertas utilizando la interfaz de usuario de Databand, que es sencilla y cuenta con un panel intuitivo que monitorea y respalda los flujos de trabajo. Proporciona visibilidad en profundidad a través de gráficos acíclicos dirigidos, lo cual es útil cuando se trata de muchas canalizaciones de datos. Este sistema todo en uno permite a los equipos de soporte centrarse en áreas que requieren atención, lo que les permite acelerar los resultados.
Las fusiones y adquisiciones de IBM Enterprise Data nos han permitido mejorar nuestros canales de datos con Databand, y no hemos mirado atrás. Nos complace ofrecerle este software transformador que ayuda a identificar incidentes de datos antes, resolverlos más rápido y brindar datos más confiables a las empresas.
Ofrezca datos confiables con observabilidad continua de los datos Lea el informe de Gartner
¿Te resultó útil este artículo
SíNo
