A finales de 2023, escribí un artículo. comparando qué tan bien manejan ChatGPT y Google Bard la redacción de políticas de seguridad. Dado que ChatGPT 4.0 ha estado disponible como versión paga, llamada ChatGPT Plus, desde hace algún tiempo, y Google recientemente cambió el nombre de Google Bard a Gemini, con Gemini Advanced disponible como oferta paga, es un buen momento para comparar cómo se desempeñan los dos en un cara a cara de los 10 principales casos de uso para profesionales de seguridad de la información (infosec).
Antes de comenzar, se aplican las advertencias habituales de la inteligencia artificial generativa (IA): tenga cuidado con los datos que ingresa y recuerde que la salida puede no siempre ser confiable.
1. Generación de diagramas o flujos conceptuales
Ambas herramientas afirman ser capaces de generar diagramas y flujos de conceptos. Sin embargo, Gemini admite que sólo puede generar diagramas ASCII, lo que le indica herramientas más profesionales si desea algo mejor. Pedí a ambas herramientas que generaran un diagrama para explicar el OAuth flujo de autenticación.
Géminis, aunque está representado en ASCII, hace el trabajo y lo divide en categorías utilizables.
ChatGPT alucina gravemente. A primera vista, aunque la imagen parece profesional, no representa OAuth en absoluto. La redacción no tiene sentido, está mal escrita o es absolutamente ilegible: autenticación y Athoricazt ¿alguien?
2. Explicación de los diagramas de arquitectura
Ambas herramientas pueden ingerir diagramas y explicar lo que está sucediendo. Los resultados son mucho mejores que los que suceden cuando les pides que generen diagramas. Como entrada, utilicé un firewall de aplicación web de ejemplo (WAF) arquitectura de bordenexus.
Google Gemini explica mucho mejor los diagramas de arquitectura porque es conciso. ChatGPT hará el trabajo muy bien; es sólo un poco prolijo.
3. Interpretación del código de explotación
Una actividad común de operaciones de seguridad (SecOps) es intentar descubrir qué hace un malware o un código de explotación específico. tomé un reciente Desbordamiento de pila de Elasticsearch exploit público y lo introdujo en cada herramienta para ver qué entendía. No hay un ganador claro: ambas herramientas identifican el exploit correctamente y explican el resultado final, qué hace cada parte del código y cómo funciona.
4. Interpretación de archivos de registro
Los profesionales de SecOps a menudo necesitan descubrir qué diablos está pasando en los archivos de registro. Alimenté ambas herramientas y ejemplo de archivo de registro en formato CEF de un intento de infracción y pidió a cada uno que explicara lo que estaba pasando. Géminis lo explica mejor, resumiendo bien e incluso sugiriendo pasos a seguir. También establece claramente lo sucedido (intento de acceso a /etc/contraseña) justo al principio y explica cómo llegó a esa conclusión. Si bien ChatGPT llega a la misma conclusión, es demasiado detallado.
5. Redacción de políticas y documentación de seguridad
No daré muchos detalles sobre esto y en su lugar los remitiré a mi Artículo anterior sobre este tema. Ejecuté la prueba nuevamente con Gemini y los resultados son consistentes con los de Bard: Gemini comprende claramente y genera mejor documentación de seguridad que ChatGPT.
6. Identificación del código vulnerable
Si bien estas herramientas no fueron diseñadas (y no deberían usarse) para identificar código vulnerable, aún pueden hacer un trabajo adecuado. Decidí probarlo alimentando ambas herramientas con una referencia de objeto directa insegura (SECO) vulnerabilidad ejemplo en Python, que también contiene una inyección SQL.
ChatGPT identificó correctamente tanto las vulnerabilidades como la falta de autenticación. Gemini pasó por alto el IDOR, pero señaló la inyección SQL y fue un paso más allá al proponer un código modificado para corregir la vulnerabilidad. ChatGPT también puede hacer esto, pero se le debe solicitar que lo haga.
7. Escribir guiones y código
Una actividad común del centro de operaciones de seguridad (SOC) es escribir scripts para el análisis de registros o la manipulación de datos. Le di a ambas herramientas el siguiente mensaje:
“Escríbame un script de Python que extraiga todas las direcciones IPv6 de un archivo de entrada de texto, elimine todos los duplicados, realice una búsqueda para geolocalizar e identificar al propietario de la IP y genere el resultado en un archivo CSV”
No hay un ganador claro aquí; Ambas herramientas producen código claro y legible que funciona y explica lo que hace.
8. Análisis de datos y métricas
También probé si estas herramientas podrían ayudar a analizar datos o métricas de seguridad. Gemini es un gran perdedor aquí porque no lo hace en absoluto; solo puede guiarlo sobre cómo hacerlo en Excel y Power BI. ChatGPT tiene la ventaja a través de su complemento Data Analyst, que ingiere archivos de Excel para generar los gráficos que desee. Incluso sugiere tipos de visualización y puede modificar el diseño de un gráfico, incluidos el color, los ejes y las etiquetas, a través del mensaje.
9. Redacción de mensajes de sensibilización del usuario
Ambas herramientas también pueden generar correos electrónicos para campañas de concientización sobre seguridad. Les di a ambos el siguiente mensaje: “Genere un correo electrónico utilizado para una campaña de concientización sobre seguridad. Sea divertido y sarcástico. Recuerde a las personas por qué no deben hacer clic en correos electrónicos aleatorios de personas aleatorias”.
Aquí Géminis gana: su correo electrónico es breve, tiene el tono correcto y (aunque el humor es subjetivo) lo encontré un poco más divertido. ChatGPT todavía genera el tono correcto y un buen correo electrónico, pero lo encontré demasiado largo para un correo electrónico de concientización. De cualquier manera, ambas herramientas hacen un gran trabajo.
10. Interpretación de los marcos de cumplimiento
Si tiene una pregunta rápida sobre cómo implementar un marco de cumplimiento, estas herramientas definitivamente pueden ayudar. Si bien es posible que no hagas esto con frecuencia, son muy útiles cuando lo necesitas.
Si alguna vez ha discutido con alguien sobre lo que constituye un cambio “significativo” según PCI-DSS y cómo debe aplicarse, no está solo. Solicité a cada herramienta con:
“Explique el concepto de ‘cambio significativo’ en el contexto de PCI-DSS. ¿Qué constituye normalmente un cambio importante? Enumere también el requisito exacto del estándar”.
Gemini tiene la ventaja: enumera correctamente los requisitos exactos del estándar (como 6.4.5 y 6.4.6) y cómo interpretar si algo es un cambio significativo. ChatGPT no menciona exactamente dónde aparece esta información en el estándar.
¿Qué IA es mejor?
Ahí tienes. Dependiendo de su caso de uso, cualquiera de las herramientas puede ser un aliado útil para aumentar la productividad y ayudarlo en sus actividades diarias en las trincheras de seguridad de la información.
Fuente Original darkreading
