Sistema conversacional para la atención en acceso a servicio público: análisis y evaluación del uso de Copilot Studio

Abstract

El uso de inteligencia artificial generativa y generación aumentada por recuperación en la generación de respuestas asistentes conversacionales hace necesaria una validación completa que permita asegurar que las respuestas generadas por el sistema son seguras y valiosas para sus usuarios. Para ello, es fundamental contar con un marco de validación que permita comprobar la calidad de las respuestas y la experiencia del usuario, con el fin de evaluar la calidad general del sistema y detectar posibles puntos de mejora. En este trabajo, se ha realizado una revisión bibliográfica para conocer algunas de las técnicas empleadas en la validación y evaluación de sistemas conversacionales generativos, a partir de la cual se ha realizado un análisis sobre un chatbot desarrollado para la Universidad de Valladolid mediante la plataforma Copilot Studio, y accesible desde la página web institucional. Para este estudio se han recopilado un total de 556 sesiones de usuarios reales, que incluyen un total de 980 preguntas, de las cuales 250 han sido evaluadas manualmente para obtener una valoración de la calidad de las respuestas. Esta evaluación muestra como la naturaleza generalista de las preguntas de los usuarios, junto con el alcance limitado del sistema, ha llevado a una calidad de las respuestas menor a la esperada, observándose numerosos casos en la que el sistema no logra adecuarse a las necesidades del usuario. Pese a ello, la capacidad de las respuestas generativas resulta prometedora, y algunos ajustes en la identificación de los distintos temas podrían traducirse en mejoras significativas en la calidad de la respuesta, favoreciendo así un incremento en la interacción con el sistema, que por el momento se mantiene baja. Finalmente, se proponen una serie de mejoras que, junto a la descripción del sistema y la plataforma, pueden servir de guía para futuros desarrolladores interesados en mejorar la experiencia de usuario en sistemas conversacionales universitarios.

The use of generative artificial intelligence and retrieval-augmented generation in conversational assistants makes it necessary to carry out a comprehensive validation process to ensure that the responses generated by the system are safe and valuable for users. To achieve this, it is essential to have a validation framework that allows assessing both the quality of the responses and the user experience, to evaluate the overall quality of the system and identify potential areas for improvement. In this work, a literature review has been conducted to examine some of the techniques used in the validation and evaluation of generative conversational systems. Based on this review, an analysis was carried out on a chatbot developed for the University of Valladolid using the Copilot Studio platform, which is accessible from the university’s institutional website. For this study, a total of 556 real user sessions were collected, comprising 980 questions, of which 250 were manually evaluated to assess the quality of the responses. The evaluation shows that the general nature of user queries, combined with the limited scope of the system, has led to a lower-than-expected response quality, with numerous cases in which the chatbot fails to meet users’ needs. Nevertheless, the potential of generative responses appears promising, and certain adjustments in topic identification could lead to significant improvements in response quality, thereby fostering greater interaction with the system, which currently remains low. Finally, a set of improvements is proposed which, together with the description of the system and the platform, may serve as a useful guide for future developers interested in enhancing the user experience of university conversational systems.