Por cuarto verano consecutivo, la investigadora del Instituto Cultura y Sociedad (ICS) Inés Olza ha colaborado con el Google Summer of Code (GSoC),  un programa global que otorga becas a jóvenes informáticos de todo el mundo para colaborar con instituciones, grupos de investigación y empresas dedicadas a desarrollar código para herramientas de software libre.

Inés ha contribuido como mentora del consorcio internacional Red Hen Lab for the Study of Multimodal Communication, que agrupa a expertos de más de 20 universidades de países como EE. UU., España, Alemania, Brasil o Noruega.

En esta edición ha prestado asesoramiento sobre bancos de textos disponibles y herramientas lingüísticas en español para aplicaciones relacionadas con la detección automática de voz en esta lengua. Esto se concreta, por ejemplo, en la sincronización de los subtítulos con la imagen en películas y series.

La investigadora explica que el forced alignment resulta clave para encontrar material audiovisual en las bases de datos multimodales -aquellas que contienen imagen, texto, sonido…-. Cuenta que muchos de los programas que se encargan de hacerlo, como Gentle, están muy desarrollados en inglés pero aún poco en castellano.

De su experiencia como mentora de GSoC destaca que “supone una oportunidad magnífica para trabajar a distancia con personas de otros países, conocer otras disciplinas, colaborar con ellas desde la lingüística y hacer aportaciones desde tu especialidad más allá de tu zona de confort”.

Asimismo, subraya que Google es un ejemplo de “cómo el conocimiento más técnico puede estar al servicio de los ciudadanos”, pues el código que se desarrolla en este campus virtual de verano es abierto y queda a disposición de cualquier usuario.

12 proyectos de Red Hen Lab financiados en GSoC

GSoC ha financiado en 2018 12 proyectos de Red Hen Lab. Todos ellos guardan relación con el desarrollo de herramientas de tratamiento automático de texto (procesamiento de lenguaje natural), sonido e imagen que puedan incorporarse a su Biblioteca Internacional NewsScape de Noticias de Televisión. Se trata de un gigantesco corpus de lenguaje hablado, que permite estudiar todos los aspectos multimodales (gesto, prosodia, imágenes y sonidos que acompañan a la palabra, efectos de producción televisiva, etc.). Esta herramienta sin precedentes podría revolucionar el estudio de los discursos y de las coberturas informativas.

Entre otros temas, los proyectos han abordado el reconocimiento automático de voz en diversas lenguas, con el árabe, el chino y el ruso como novedades; la detección de emociones y la segmentación de interacciones (turnos, géneros, secuencias conversacionales, etc.).

En 2015, el enfoque de las becas GSoC-Red Hen fue el análisis de audio, mientras que en 2016 el proyecto se centró en el aprendizaje de máquinas dentro del campo de visión computacional. El objetivo de 2017 fue crear un sistema de procesamiento multimodal para extraer información sobre el comportamiento comunicativo humano a partir de texto, audio y vídeo.