Dos vulnerabilidades de seguridad críticas en la plataforma Hugging Face AI abrieron la puerta a atacantes que buscaban acceder y alterar datos y modelos de clientes.
Una de las debilidades de seguridad les dio a los atacantes una forma de acceder a modelos de aprendizaje automático (ML) pertenecientes a otros clientes en la plataforma Hugging Face, y la segunda les permitió sobrescribir todas las imágenes en un registro de contenedor compartido. Ambas fallas, descubiertas por investigadores de Wiz, tenían que ver con la capacidad de los atacantes de apoderarse de partes de la infraestructura de inferencia de Hugging Face.
Los investigadores de Wiz encontraron debilidades en tres componentes específicos: la API de inferencia de Hugging Face, que permite a los usuarios navegar e interactuar con los modelos disponibles en la plataforma; Puntos finales de inferencia Hugging Face, o infraestructura dedicada para implementar modelos de IA en producción; y Hugging Face Spaces, un servicio de alojamiento para mostrar aplicaciones de IA/ML o para trabajar en colaboración en el desarrollo de modelos.
El problema del pepinillo
Al examinar la infraestructura de Hugging Face y las formas de convertir en armas los errores que descubrieron, los investigadores de Wiz descubrieron que cualquiera podía cargar fácilmente un modelo de IA/ML a la plataforma, incluidos aquellos basados en el formato Pickle. Pepinillo es un módulo ampliamente utilizado para almacenar objetos de Python en un archivo. Aunque incluso la propia fundación de software Python ha considerado que Pickle es inseguro, sigue siendo popular debido a su facilidad de uso y la familiaridad que la gente tiene con él.
“Es relativamente sencillo crear un modelo PyTorch (Pickle) que ejecute código arbitrario al cargarlo”, según Wiz.
Los investigadores de Wiz aprovecharon la posibilidad de cargar un modelo privado basado en Pickle en Hugging Face que ejecutaría un shell inverso al cargarlo. Luego interactuaron con él utilizando la API de Inferencia para lograr una funcionalidad similar a un shell, que los investigadores utilizaron para explorar su entorno en la infraestructura de Hugging Face.
Ese ejercicio mostró rápidamente a los investigadores que su modelo se estaba ejecutando en un módulo en un clúster en Amazon Elastic Kubernetes Service (EKS). A partir de ahí, los investigadores pudieron aprovechar errores de configuración comunes para extraer información que les permitió adquirir los privilegios necesarios para ver secretos que podrían haberles permitido acceder a otros inquilinos en la infraestructura compartida.
Con Hugging Face Spaces, Wiz descubrió que un atacante podía ejecutar código arbitrario durante el tiempo de creación de la aplicación que le permitiría examinar las conexiones de red desde su máquina. Su revisión mostró una conexión a un registro de contenedores compartido que contenía imágenes pertenecientes a otros clientes que podrían haber manipulado.
“En las manos equivocadas, la capacidad de escribir en el registro interno de contenedores podría tener implicaciones significativas para la integridad de la plataforma y provocar ataques a la cadena de suministro en los espacios de los clientes”, dijo Wiz.
Abrazando la cara dijo Había mitigado por completo los riesgos que Wiz había descubierto. Mientras tanto, la compañía identificó que los problemas tenían que ver, al menos en parte, con su decisión de continuar permitiendo el uso de archivos Pickle en la plataforma Hugging Face, a pesar de los riesgos de seguridad bien documentados asociados con dichos archivos antes mencionados.
“Los archivos Pickle han estado en el centro de la mayoría de las investigaciones realizadas por Wiz y otras publicaciones recientes de investigadores de seguridad sobre Hugging Face”, señaló la compañía. Permitir el uso de Pickle en Hugging Face es “una carga para nuestros equipos de ingeniería y seguridad y hemos realizado un esfuerzo significativo para mitigar los riesgos y al mismo tiempo permitir que la comunidad de IA utilice las herramientas que elija”.
Riesgos emergentes con la IA como servicio
Wiz describió su descubrimiento. como indicativo de los riesgos que las organizaciones deben tener en cuenta al utilizar infraestructura compartida para alojar, ejecutar y desarrollar nuevos modelos y aplicaciones de IA, lo que se conoce como “IA como servicio”. La compañía comparó los riesgos y las mitigaciones asociadas con los que enfrentan las organizaciones en entornos de nube pública y recomendó que apliquen las mismas mitigaciones también en entornos de IA.
“Las organizaciones deben asegurarse de tener visibilidad y gobernanza de toda la pila de IA que se utiliza y analizar cuidadosamente todos los riesgos”, dijo Wiz en un blog esta semana. Esto incluye analizar el “uso de modelos maliciosos, exposición de datos de entrenamientodatos sensibles en el entrenamiento, vulnerabilidades en los SDK de IA, la exposición de los servicios de IA y otras combinaciones de riesgos tóxicos que pueden ser aprovechados por los atacantes”, dijo el proveedor de seguridad.
Eric Schwake, director de estrategia de ciberseguridad de Salt Security, afirma que hay dos cuestiones importantes relacionadas con el uso de la IA como servicio que las organizaciones deben tener en cuenta. “En primer lugar, los actores de amenazas pueden cargar modelos de IA dañinos o explotar vulnerabilidades en la pila de inferencia para robar datos o manipular resultados”, afirma. “En segundo lugar, los actores maliciosos pueden intentar comprometer los datos de entrenamiento, lo que genera resultados de IA sesgados o inexactos, lo que comúnmente se conoce como envenenamiento de datos”.
Identificar estos problemas puede ser un desafío, especialmente teniendo en cuenta lo complejos que se están volviendo los modelos de IA, afirma. Para ayudar a gestionar parte de este riesgo, es importante que las organizaciones comprendan cómo sus aplicaciones y modelos de IA interactúan con la API y encuentren formas de protegerlo. “Las organizaciones también podrían querer explorar IA explicable (XAI) “Para ayudar a que los modelos de IA sean más comprensibles”, dice Schwake, “y podría ayudar a identificar y mitigar sesgos o riesgos dentro de los modelos de IA”.
Fuente Original darkreading
