Encontrar la excepción es el papel del software de detección de desviaciones, que se hace más efectivo con IA. Se dice que un nuevo modelo llamado MIDAS es más rápido y más preciso. (IMÁGENES FALSAS)

Por John P. Desmond, Editor de Tendencias AI

La detección de anomalías es un trabajo para identificar eventos raros u observaciones que difieren mucho de la mayoría de los datos circundantes, lo que plantea preguntas sobre por qué este es el caso.

La detección de anomalías, sinónimo de detección atípica, se utiliza en muchas áreas, incluidas las estadísticas, las finanzas, la fabricación, las redes y la minería de datos. Puede ser útil para la detección de intrusos, detección de fraudes, monitoreo del estado del sistema y detección de eventos en redes de sensores. Se utiliza en el preprocesamiento para eliminar datos irregulares del conjunto de datos, lo que puede aumentar significativamente la precisión.

Hoy en día, la detección de anomalías también se utiliza en ciberseguridad para filtros de spam, detección de fraudes con tarjetas de crédito, seguridad de red y moderación de contenido de redes sociales.

Un nuevo enfoque para la detección de anomalías por parte de investigadores de la Universidad Nacional de Singapur superaría a los enfoques básicos en velocidad y precisión, según un informe reciente en KDnuggets. Llamado MIDAS, para el detector de desviación de corriente de borde basado en micro-cluster, el sistema fue desarrollado por el candidato a doctorado Siddharth Bhatia y su equipo.

Siddharth Bhatia, estudiante de doctorado, Universidad Nacional de Singapur

MIDAS puede detectar datos irregulares en microclusters, que son partículas finas con propiedades que se pueden medir. Las irregularidades o anomalías en los datos se pueden detectar en tiempo real a velocidades supuestamente muchas veces mayores que los modelos de vanguardia existentes.

«La detección de anomalías en los gráficos es un problema crítico para detectar comportamientos sospechosos en numerosos sistemas», dijo Bhatia. «Algunos de estos sistemas incluyen detección de intrusos, evaluaciones falsas y fraude financiero».

Las redes sociales como Twitter y Facebook podrían usar la tecnología para detectar perfiles falsos utilizados para phishing y spam. «Con MIDAS podemos encontrar bordes y nodos desviados en un gráfico dinámico (que evoluciona en el tiempo)», dijo Bhatia. En Twitter y Facebook, las redes de tweets y mensajes pueden verse como un gráfico que cambia el tiempo. Podemos encontrar los mensajes maliciosos y los perfiles falsos al encontrar los bordes y nodos que se desvían en estos gráficos. ‘

Para explorar el potencial de MIDAS en seguridad de redes sociales y detección de intrusos, Siddharth y su equipo utilizaron los siguientes conjuntos de datos de detección de anomalías: Detección de intrusos de Darpa (4,5 millones de comunicaciones IP-IP); Twitter Security Dataset (2.6 millones de tweets sobre eventos de seguridad en 2014); y el conjunto de datos de la Copa Mundial de Twitter (1,7 millones de tweets durante la Copa Mundial de Fútbol en 2014).

Los resultados mostraron que las aberraciones de microgrupos se podían detectar con MIDAS con una precisión un 48 por ciento mayor y 644 veces más rápido que los enfoques de referencia. «Creemos que será un nuevo enfoque básico y será muy útil para la detección de desviaciones», dijo Bhatia. «También será interesante investigar cómo MIDAS puede contribuir a otras aplicaciones».

Preguntado por Tendencias AI cómo MIDAS usa la IA, Bhatia respondió: «MIDAS usa el aprendizaje desatendido para detectar desviaciones en tiempo real de manera continua. Está diseñado teniendo en cuenta la forma en que tienen lugar los ataques avanzados recientes. MIDAS se puede utilizar para detectar intrusos, ataques de denegación de servicio (DoS), ataques de denegación distribuida de servicio (DDoS), fraude financiero y evaluaciones falsas. MIDAS combina una prueba de bondad de ajuste de chi-cuadrado con las estructuras de transmisión de datos de Count-Min-Sketch (CMS) para obtener un puntaje de anomalía para cada borde. Luego incorpora relaciones temporales y espaciales para lograr un mejor rendimiento. MIDAS ofrece garantías teóricas sobre falsos positivos y es tres órdenes de magnitud más rápido que las soluciones de vanguardia existentes. «

Leer el lleno de papel de Siddharth Bhatia y colegas. Bhatia hace una pasantía en Amazon AI Labs en el verano.

IA y detección de anomalías

La detección moderna de anomalías depende en gran medida de la inteligencia artificial para hacer su trabajo. El Control Estadístico de Procesos, o SPC, introducido en 1924, es el método estándar de oro para medir y controlar la calidad durante la fabricación. La combinación de SPC con IA hace que la técnica sea más precisa y precisa, según un informe de Sciforce, una consultora de TI con sede en Ucrania, publicada en Medio.

La capacidad de los sistemas basados ​​en inteligencia artificial y aprendizaje automático para aprender a medida que avanzan y ofrecer una mayor precisión con cada iteración hace que la detección de desviaciones sea más efectiva. Las fases son: ingresar conjuntos de datos en el sistema AI; desarrollar modelos de datos basados ​​en los conjuntos de datos; ver una desviación potencial cada vez que una transacción se desvía del modelo; tener una desviación aprobada como desviación por un experto en el dominio; el sistema aprende de la acción y se basa en el modelo de datos para predicciones futuras.

Los consultores utilizaron modelos supervisados ​​de aprendizaje automático para etiquetar un conjunto de capacitación con ejemplos normales y diferentes para crear un modelo de predicción. Los métodos de supervisión más utilizados incluyen la supervisión de redes neuronales, máquinas de vectores de soporte, vecinos más cercanos k, redes bayesianas y árboles de decisión.

Los consultores también estaban familiarizados con técnicas no supervisadas, que no requieren datos de capacitación etiquetados manualmente. Asumen que la mayoría de las conexiones de red son tráfico normal y suponen que solo una pequeña parte es anormal. Los modelos no supervisados ​​más populares son promedios K, codificadores automáticos, GMMS y análisis basados ​​en pruebas de hipótesis.

«Como probablemente cualquier compañía que se especialice en inteligencia artificial y se ocupe de soluciones de IoT, nos encontramos buscando anomalías para nuestro cliente de fabricación», informó el equipo de Sciforce. «Utilizando modelos de probabilidad generativa, detectamos los defectos del algoritmo, aceleramos los algoritmos de procesamiento regular, aumentamos la estabilidad del sistema y creamos una rutina de procesamiento personalizada que crea anomalías».

El uso comercial requiere más trabajo. Para eso, «la detección de anomalías debe incluir dos partes: la detección de anomalías en sí misma y la predicción de futuras anomalías».

El equipo concluyó que la detección de anomalías sola, o en combinación con la funcionalidad de predicción, puede ser un medio eficaz para detectar fraudes y descubrir actividades extrañas en conjuntos de datos grandes y complejos. Esto puede ser crucial para la seguridad en la banca, la medicina, la manufactura, las ciencias naturales y el mercadeo, que dependen de un buen funcionamiento. «Con la inteligencia artificial, las empresas pueden aumentar la efectividad y la seguridad de sus actividades digitales», dicen los autores.

Leer en los artículos fuente KDnuggets y Medio.



Source link