El proveedor de seguridad en la nube Wiz encontró dos fallas de arquitectura críticas en los modelos generativos de IA cargados en Hugging Face, el centro líder para compartir modelos y aplicaciones de IA.
En una publicación de blog publicada el 4 de abril, Wiz Research describió las dos fallas y el riesgo que podrían representar para los proveedores de IA como servicio.
Estos son:
- Riesgo de adquisición de infraestructura de inferencia compartida
- Riesgo de adquisición de integración continua e implementación continua (CI/CD) compartidos
Riesgo de adquisición de infraestructura de inferencia compartida
Al analizar varios modelos de IA cargados en Hugging Face, los investigadores de Wiz descubrieron que algunos compartían infraestructura de inferencia.
En el contexto de la IA generativa, la inferencia se refiere a un modelo que realiza predicciones o decisiones basadas en modelos y datos de entrada previamente entrenados.
La infraestructura de inferencia permite la ejecución de un modelo de IA, ya sea “en el borde” (por ejemplo, Transformers.js), a través de una interfaz de programación de aplicaciones (API) o siguiendo un modelo de inferencia como servicio (por ejemplo, los puntos finales de inferencia de Hugging Face).
“Nuestra investigación encontró que la infraestructura de inferencia a menudo ejecuta modelos potencialmente maliciosos y no confiables que utilizan el formato ‘pickle'”, escribieron los investigadores de Wiz.
Un modelo de IA en formato ‘pickle’ es una versión comprimida y serializada de un modelo entrenado guardado con el módulo pickle de Python.
Debido a que es una versión comprimida del modelo, es más compacto y ocupa menos espacio que almacenar los datos de entrenamiento sin procesar.
Sin embargo, Wiz señaló que los modelos serializados de pickle maliciosos podrían contener cargas útiles de ejecución remota de código, lo que potencialmente otorgaría al atacante privilegios elevados y acceso entre inquilinos a los modelos de otros clientes.
Riesgo de adquisición de CI/CD compartido
Una canalización de integración e implementación continuas (CI/CD) es un flujo de trabajo de desarrollo de software automatizado que agiliza el proceso de creación, prueba e implementación de aplicaciones.
Básicamente, automatiza los pasos que de otro modo se realizarían manualmente, lo que genera lanzamientos más rápidos y menos errores.
Los investigadores de Wiz descubrieron que los atacantes pueden intentar apoderarse del proceso de CI/CD y realizar un ataque a la cadena de suministro.
Cómo se podrían explotar los riesgos de la infraestructura de IA
En la publicación del blog, Wiz también describió algunos de los enfoques que los atacantes podrían adoptar para aprovechar estos dos riesgos. Éstas incluyen:
- Usar entradas que hagan que el modelo produzca predicciones falsas (por ejemplo, adversarial.js)
- Usar entradas que produzcan predicciones correctas que se usan de manera insegura dentro de la aplicación (por ejemplo, producir una predicción que causaría una inyección SQL en la base de datos)
- Usar un modelo malicioso serializado en pickle especialmente diseñado para realizar actividades no autorizadas, como la ejecución remota de código (RCE)
Los investigadores de Wiz también demostraron ataques que afectan los modelos generativos de IA utilizados en la nube al apuntar a las fallas de infraestructura mencionadas en Hugging Face.
Falta de herramientas para comprobar la integridad de un modelo de IA
Wiz explicó que hay muy pocas herramientas disponibles para examinar la integridad de un modelo determinado y verificar que efectivamente no sea malicioso. Sin embargo, Hugging Face ofrece Pickle Scanning, que ayuda a verificar los modelos de IA.
“Los desarrolladores e ingenieros deben tener mucho cuidado al decidir desde dónde descargar los modelos. El uso de un modelo de IA que no es de confianza podría introducir riesgos de integridad y seguridad para su aplicación y equivale a incluir código que no es de confianza dentro de su aplicación”, advirtieron.
Una colaboración que abraza a Wiz
Wiz le mostró a Hugging Face los hallazgos antes de publicarlos y ambas compañías colaboraron para mitigar los problemas.
Hugging Face ha publicado su propio blog que describe el trabajo colaborativo.
Los investigadores de Wiz concluyeron: “Creemos que esos hallazgos no son exclusivos de Hugging Face y representan los desafíos de la separación de inquilinos que enfrentarán muchas empresas de IA como servicio, considerando el modelo en el que ejecutan el código del cliente y manejan grandes cantidades de datos mientras creciendo más rápidamente que cualquier industria anterior.
“Nosotros, en la comunidad de seguridad, deberíamos asociarnos estrechamente con esas empresas para garantizar que se establezcan infraestructuras y barandillas seguras sin obstaculizar este rápido (y verdaderamente increíble) crecimiento”.
