Este martes, la Universidad Complutense de Madrid ha certificado que el modelo de IA desarrollado por LLYC para medir la polaridad reputacional en la conversación social supera en hasta 20 puntos de accuracy o exactitud al de los principales referentes del mercado (Amazon, Azure, Google e IBM). Y es que, cuenta con una precisión que arroja un nivel de 0,66 frente al rango de entre 0,42 y 0,53 en el que se sitúan las herramientas rivales probadas. El modelo está entrenado con más de 130.000 mensajes etiquetados manualmente.
Ante tal éxito, Daniel Fernández Trejo, Director General de Deep Learning de la firma, asegura que, “los resultados que arroja la auditoría de la Universidad Complutense de Madrid son un espaldarazo al trabajo que ha hecho LLYC en los últimos años en materia de innovación. Suponen una clara mejora de lo que había hasta ahora en el mercado. Sin duda, lograr el modelo más eficaz a la hora de medir la reputación en las redes sociales será muy útil para nuestros clientes“.
Fases de desarrollo
En primer lugar, con el objetivo de mejorar sus servicios, LLYC empezó a analizar en profundidad la conversación social digital el 2010. Desde entonces la firma se dio cuenta de que la métrica de sentimiento que ofrecían (y ofrecen) las social listening platforms (SLP), no resulta demasiado útil para evaluar la evolución de la reputación de una marca o empresa. “Estoy muy triste por el fallecimiento de Tina Turner” es un mensaje de sentimiento negativo que, sin embargo, refleja una polaridad reputacional positiva del autor hacia Tina Turner.
Los niveles de error para medir el daño o mejora reputacional ante un issue de cliente eran tales, que para obtener una métrica fiable, era necesario un análisis humano. El análisis humano es más preciso, pero, no escala (no pueden abordar grandes volúmenes de datos), es más lento y más caro. Aun así, era el que se usó en metodologías y herramientas de medición desarrolladas por LLYC de aquella época, como, por ejemplo, el MRO.
Pues bien, durante esta investigación, en 2021, confluyen tres circunstancias que abren una ventana de oportunidad en LLYC para mejorar drásticamente sus capacidades de medición y análisis de la reputación. Por un lado, el Área de Tecnología (ahora Deep Learning) comienza a consolidarse y dota a la firma de unas capacidades tecnológicas con las que anteriormente no contaba. Por otro, el estado del arte en procesado de lenguaje natural (NLP) ha madurado una serie de tecnologías (los Transformers) que han supuesto un salto disruptivo en la capacidad de las máquinas para comprender el lenguaje humano.
Por último, gracias a la utilización de herramientas como el MRO a lo largo de los 10 últimos años, LLYC cuenta con una base de datos de más de 120.000 mensajes cuidadosamente clasificados por expertos en comunicación de acuerdo a la polaridad reputacional que expresan. ¿Podría la tecnología actual (Transformers), manejada por un nuevo expertise en la casa (Área de Tecnología) ser entrenada con el conocimiento acumulado (los 120.000 mensajes) para poder medir la reputación de manera automática y con precisión?
Para dar respuesta a la anterior pregunta, se abrió un proyecto de innovación que adoptó el nombre clave Gea, cuyo propósito era entrenar una IA de última generación con el conocimiento de LLYC sobre la polaridad de reputación. La información procedente del MRO era una buena base, aunque se descubrió que no suficiente para explotar todas las posibilidades que ofrecía la tecnología: se necesitaban más datos.
Así, se diseñó una nueva etapa de análisis humano, en la que participaron más de 300 profesionales de, por aquel entonces, Deep Digital, con el propósito de clasificar 130.000 mensajes adicionales con los que llevar un mejor entrenamiento de la IA del Proyecto Gea. El trabajo ha dado resultado. Ahora la Universidad Complutense de Madrid certifica que el modelo de IA propio desarrollado por LLYC mide la polaridad reputacional con mayor exactitud que el resto de las herramientas del mercado.
Seguiremos informando…
