IA Generativa: ¿cómo medir el éxito de un LLM?

Jesús Vicente García, Senior Executive en Ciencia de Datos

La inteligencia artificial generativa y cognitiva, lejos de haber alcanzado el cénit de expectativas, continúa de forma imparable su penetración en una gran cantidad de aspectos tanto de la vida cotidiana como del mundo empresarial. Asistimos a cómo los modelos fundacionales y los LLMs evolucionan constantemente, y la multimodalidad empieza a ser la norma en un contexto en el que el entendimiento y la generación de imagen, audio y vídeo ya no son una promesa, sino una realidad. Este nuevo escenario, además, no supone una mejora de las capacidades brutas de estas inteligencias artificiales únicamente, sino que también está suponiendo una miniaturización, optimización e, incluso, especialización que está conllevando mejoras en los tiempos de generación y la escalabilidad; dos de los grandes escollos que todavía quedan por delante. Sin embargo, los aspectos puramente técnicos palidecen ante el gran reto de la IA, que no es otro que el de cumplir (y, quién sabe, quizá incluso sobrepasar) las expectativas ya depositadas en ella, y lograr con ello aportar todo el valor que ya se está dando por asumido. Y esta teorización no se verá resuelta -como resulta habitual- por ninguna vía que no sea la de la experimentación, el aprendizaje y, sobre todo, el análisis de su aplicación:

La observabilidad, entendida ésta como la virtud de poder medir el estado y desempeño interno de un sistema a partir del conocimiento que tenemos de su aplicación, hace ya tiempo que se convirtió en un elemento clave dentro de las estrategias de aplicación de la IA y el machine learning en el mundo empresarial, con objetivos que circulan alrededor de la catalogación, el gobierno, la explicabilidad e, incluso, la regulación de las soluciones de inteligencia artificial. Sin embargo, la aplicación de estos conceptos al ámbito de la IA generativa se ha topado con la complejidad de añadir una capa cognitiva a los sistemas de medición y evaluación. Resulta paradigmático el caso de determinar las capacidades de un agente conversacional, donde el hecho de establecer -y, en base a ello, derivar métricas- la bondad y calidad de las respuestas proporcionadas ante las peticiones de los usuarios requiere de un análisis basado, a su vez, en las mismas técnicas que han dado lugar a la solución: LLMs, prompt engineering, o chain-of-thought (CoT), entre otros. Es por ello que, esta cierta subjetividad no únicamente asienta necesidades en relación a arquitecturas que soportan la captura y el procesamiento de toda esa actividad y esas interacciones, sino que amplía el ámbito en el cual una estrategia apropiada de aplicación de la IA es esencial, y da lugar nuevos conceptos con los que lidiar -como las métricas ROUGE/BLEU score-.

La calidad de una solución o producto desde una perspectiva puramente técnica no es garantía de su éxito a nivel empresarial. Dicho éxito únicamente se puede establecer en virtud de la medición efectiva en términos más cercanos al negocio, donde hablamos de conceptos como la vinculación o el engagement, el impacto y, sobre todo, el retorno. El establecimiento de todos estos KPIs requiere efectivamente y de manera fundacional de toda la habilitación tecnológica que acompaña al paradigma de la observabilidad de la IA, pero ha de contemplar igualmente una estrategia de pre- y post-implantación que acompañe a la hora de definir un baseline operativo o de rendimiento, métricas adecuadas alrededor de los procesos a mejorar, y un rollout que habilite capacidades para medir, comparar y, en definitiva, esclarecer si el impacto logrado materializa todo el estudio previo a la inversión.

Las expectativas, sin embargo, no siempre son de fácil cumplimiento, y la estrategia más sólida ante una posible desilusión es el hecho de entender que la IA generativa y cognitiva, no de forma distinta a lo ya vivido en otras etapas de la inteligencia artificial, requiere de mucha iteración y aprendizaje -y no únicamente por parte de los modelos y los sistemas, sino también de los desarrolladores que hay detrás-. Es así, que el círculo se cierra, y ese aprendizaje adquirido cabe ser aplicado desde una perspectiva nuevamente tecnológica; esto es, completando el camino del negocio a la ingeniería, de la ingeniería a la observabilidad, de la observabilidad al negocio, y de vuelta a la ingeniería, concibiendo una nueva iteración que caiga por el gradiente de las expectativas hacia el verdadero valor empresarial. Y es ahí donde es clave entender que la IA -la que tenemos ahora- será tan buena como lo sea la información y el dato que manejemos, que el grounding y nuestra base de conocimiento son realmente el combustible, y que ese combustible ha de ser refinado tanto como sea posible -y en muchas ocasiones con técnicas igualmente cognitivas- para que la mezcla entre algoritmo e información haga combustión con la potencia esperada. Y, sobre todo, será esencial considerar que ese conocimiento que la IA "genera", retuerce y adapta a nuestra necesidad no se crea de la nada; pertenece al mismo plano de realidad en el que vive el conocimiento propio del negocio, representado por todos esos actores relevantes cuyo feedback -forzosa y agradecidamente humano- puede incorporarse a dichos sistemas para dar lugar a una nueva iteración.

Por delante quedarán, por supuesto, otros paradigmas y retos. Las tendencias ya previstas para la creación de modelos más pequeños, densos y especialistas en ámbitos de conocimiento concretos (SLMs), así como la democratización de los recursos de cómputo que posibiliten la hiper-personalización algorítmica, traerán consigo sin duda ventajas a la hora incrementar la adaptabilidad de la IA a cada necesidad empresarial, pero no a cualquier precio: metodologías como LLMOps deberán asumir ese «eterno retorno», y contemplar esas necesidades en el gobierno y control de la IA que, aunque solamente de forma pasajera, algunos creyeron superadas. Cualquiera que sea el caso, en todo ello SDG Group está y estará ayudando a las empresas en esta constante transformación, asentando las bases técnicas, metodológicas y de negocio que permitan obtener realmente el máximo valor de la IA.