IA generativa en ciencia de datos: ¿adiós a la preparación manual?

¿Qué ha ocurrido?

Un artículo publicado en Towards Data Science relata la experiencia de un científico de datos que dedicó una hora a una tarea de preprocesamiento con Pandas. Por curiosidad, le pidió a Gemini (el modelo de lenguaje de Google) que generara el código necesario. El resultado: Gemini produjo una solución funcional en cuestión de segundos. Sin embargo, el autor advierte que la solución, aunque rápida, no era óptima y requería revisión humana. El caso no es aislado: desde el lanzamiento de ChatGPT en noviembre de 2022, la generación de código con IA se ha popularizado, pero este ejemplo concreto muestra las limitaciones actuales. Según el artículo, la tarea consistía en limpiar y transformar un dataset con múltiples columnas y valores faltantes; la solución de Gemini omitía algunas comprobaciones de integridad que el científico de datos consideraba esenciales.

¿Por qué es importante?

La preparación de datos es una de las etapas más tediosas y que más tiempo consume en ciencia de datos. Según diversas encuestas (como la de CrowdFlower de 2016 y actualizaciones de Anaconda en 2020), puede ocupar hasta el 80% del tiempo de un proyecto. Si la IA generativa puede automatizar esta fase, el impacto en la productividad sería enorme. Pero el caso también muestra que la IA no reemplaza el juicio humano: la solución de Gemini era correcta pero subóptima, lo que refuerza la necesidad de que los científicos de datos comprendan los fundamentos. Además, el artículo señala que el código generado por Gemini no manejaba correctamente los tipos de datos mixtos en una columna, algo que un humano experto detectaría de inmediato. Esto subraya que, si bien la IA acelera tareas repetitivas, la supervisión humana sigue siendo crítica para evitar errores que podrían propagarse a modelos posteriores.

Consecuencias para el sector

• Automatización de tareas rutinarias: Herramientas como Gemini permitirán a los analistas centrarse en tareas de mayor valor, como la interpretación de resultados o el diseño de experimentos. Un estudio de GitHub Copilot mostró que los desarrolladores completan tareas un 55% más rápido con asistencia de IA, aunque la calidad del código no siempre mejora.
• Riesgo de dependencia acrítica: Si los profesionales confían ciegamente en el código generado, pueden pasar por alto errores o ineficiencias. En el caso de Gemini, el autor detectó que la solución usaba bucles en lugar de operaciones vectorizadas, lo que en datasets grandes (millones de filas) podría aumentar el tiempo de ejecución de segundos a minutos.
• Evolución del perfil del científico de datos: Se valorará más la capacidad de evaluar y refinar soluciones generadas por IA que la de escribir código desde cero. Empresas como Dataiku y Alteryx ya integran asistentes de IA, y se espera que para 2025 el 60% de las tareas de preprocesamiento sean asistidas por IA (Gartner).
• Impacto en la formación: Los programas educativos en ciencia de datos deberán equilibrar la enseñanza de fundamentos con el uso crítico de herramientas de IA. Universidades como Stanford ya incluyen módulos sobre interacción con modelos generativos.

¿Qué deben saber los lectores?

Gemini y otros modelos como GPT-4 son herramientas poderosas para acelerar el preprocesamiento, pero no reemplazan la experiencia. El autor del artículo destaca que, aunque Gemini le ahorró tiempo, la solución que él mismo había desarrollado era más eficiente. La clave está en usar la IA como asistente, no como sustituto del criterio técnico. Además, es importante considerar que los modelos generativos pueden tener sesgos: por ejemplo, tienden a generar código que funciona en casos típicos, pero falla en datos atípicos o con ruido. En este caso, Gemini no validó correctamente la presencia de valores nulos en ciertas columnas, lo que podría haber llevado a resultados incorrectos en análisis posteriores.

La IA generativa puede escribir código, pero no entiende el contexto del negocio ni las sutilezas del dominio. El científico de datos sigue siendo indispensable para garantizar la calidad y la relevancia del análisis.

Para los profesionales, la recomendación es adoptar un flujo de trabajo híbrido: usar la IA para generar borradores rápidos, pero siempre revisar, probar y optimizar el código. Herramientas como Pandas Profiling o D-Tale pueden complementar la revisión automatizada. A futuro, veremos modelos más especializados en ciencia de datos, como CodeGemini o Codex, que incorporen mejores prácticas de preprocesamiento. Sin embargo, la responsabilidad final del análisis recae en el humano.