Blog invitado: Tim Brandwood, codeita
Como investigadores, entendemos el valor de preguntar Preguntas de final abierto en nuestras encuestas. Nos ayudan a llegar al “por qué” que se esconde detrás de las preguntas cerradas que hace. De nada sirve descubrir que tus clientes están insatisfechos si no les preguntas también por qué.
El desafío de recopilar este tipo de datos de texto libre es que, por lo general, es necesario medirlos. Por ejemplo, ¿cuáles son las cinco razones más frecuentes por las que sus clientes no están satisfechos? ¿Cómo evoluciona esa tendencia con el tiempo? Etcétera . . .
Convertir datos cualitativos en medidas cuantitativas generalmente implica codificar los datos, lo que generalmente se considera un proceso doloroso y que requiere mucho tiempo.
Por muchos años, códigoha estado ayudando a los usuarios de Askia a superar este desafío. Su aprendizaje automático incorporado funciona junto con codificadores humanos, aprende de ellos y codifica automáticamente todo lo que puede de forma segura, para acelerar considerablemente el proceso de codificación.
Este año, sin embargo, hay un chico nuevo en la cuadra.
Como sin duda sabrá, la “IA generativa” (en particular, ChatGPT) se ha hecho popular y promete revolucionar muchas áreas del mundo de la investigación. Dado el revuelo en torno a esto, ¿seguramente ya no necesitamos codificadores? Ahora podemos simplemente pasar nuestros datos textuales a través de ChatGPT y automáticamente los examinará y generará un análisis perfecto en segundos, ¿verdad?
Entonces, ¿puede la IA generativa automatizar el análisis de datos textuales?
La respuesta corta es no: no puede realizar un análisis completo y preciso por sí solo.
La respuesta más larga es: si todo lo que necesita es una lectura de alto nivel de los datos, entonces la IA generativa es una herramienta razonable de utilizar. Puedes pasar tus palabras textuales, pedirle que resuma los temas principales y listo.
Pero el problema con este enfoque es que sigue siendo más cualitativo que cuantitativo. Si necesita medidas cuantitativas confiables a partir de sus datos, entonces debemos actuar con más cuidado.
En nuestros experimentos, hemos descubierto que ChatGPT puede generar un borrador de marco de código realmente bueno y codificar automáticamente entre el 10% y el 40% de sus palabras textuales con un nivel de precisión “estándar humano”. Si se encuentra en el extremo inferior o superior de este rango depende de varios factores. Por ejemplo, la cantidad de palabras textuales que tenga, la complejidad del texto que contienen y si está utilizando GPT3 o GPT4 marcarán la diferencia en el rendimiento.
¿Qué pasa con el aprendizaje automático de Codeit?
Si has usado códigoSi lo has leído antes, sabrás que detrás de escena contiene una potente capacidad de aprendizaje automático que utiliza las últimas técnicas de aprendizaje profundo. Mientras codificas datos códigoaprende con el ejemplo y construye un modelo que se adapta a los matices de su proyecto, marco de código y ejemplos de codificación específicos. Una vez entrenado, códigopuede utilizar este modelo para codificar automáticamente más datos textuales.
En nuestras pruebas, códigoSu aprendizaje automático supera significativamente a ChatGPT con tasas de codificación automática que suelen rondar el 60%. La razón de esto se reduce a la especialización. ChatGPT es un generalista (“IA amplia” en la jerga): un experto en todos los oficios, por así decirlo. Eso significa que puede hacer muchas cosas bastante bien, pero no es excepcionalmente bueno en ninguna (no te va a ganar en Ir pronto, por ejemplo). El aprendizaje automático integrado códigoes un especialista (“IA estrecha” en la jerga): ha sido capacitado según sus requisitos específicos y está optimizado para la tarea de codificación automática.
Pero aquí está el problema: para hacer esto, necesitas darle algún código de ejemplo para aprender. Esto es excelente para proyectos grandes (más de 1000 textuales) o estudios de seguimiento continuos, pero para proyectos ad hoc más pequeños no es tan útil.
Entonces, está claro que la IA generativa puede ayudar a cerrar esta brecha. Si está comenzando un proyecto desde cero, sin datos históricos para enseñarle al sistema, entonces la IA generativa puede llevarnos muy lejos en el futuro muy rápidamente. Lo más probable es que quieras revisar el resultado, hacer ajustes y comprobar los resultados, pero esto sigue siendo un gran paso adelante y una gran ayuda.
Bien, ¿y ahora qué?
Nuestra sensación es que el mundo está empezando a dominar la IA generativa. Parte de la histeria de principios de 2023 está amainando y la gente está adquiriendo una mejor perspectiva sobre sus fortalezas y debilidades y exactamente cómo puede ser útil.
En códigoCreemos que también hemos aprendido mucho este año y hemos estado poniendo ese aprendizaje en práctica en nuestro software. El próximo mes presentaremos algunas características nuevas e interesantes que harán realidad todo este trabajo. Mira este espacio, como dicen, o como diría ChatGPT: “Lo siento, pero no tengo acceso a las actualizaciones de noticias actuales ya que mis conocimientos solo llegan hasta septiembre de 2021”.
Si está interesado en ver una vista previa de nuestras nuevas funciones, comuníquese con su gerente de cuentas clave de Askia.
Foto de Mariia Shalabaieva en Unsplash
