Chiara: creació d'scripts per a la avaluació automàtica de la veu

Investigador principal
Ana Ma. Fernández
Codi de referència
Conveni Bosch i Gimpera (amb finançament CDTI)

Juan Ma. Garrido

Teâm Training S.L.

Any d'inici
Any de finalització
Cos de text

Aquest projecte és la continuació d'un projecte anterior que va té com a objectiu el desenvolupament d’una app, Chiara, d’autoaprenentage per a la pràctica de l’expressió oral que funciona en un entorn de realitat virtual (unes ulleres de realitat virtual on es posa el mòbil de l’alumne i que es controlen amb una app creada específicament per a aquest projecte). En aquest entorn els seus usuaris poden fer presentacions en situacions que imiten diferents situacions professionals. L’app enregistra la presentació, gràcies al micròfon del telèfon mòbil, i l’envia als servidors centrals de Chiara, on s’analitza automàticament. Amb els resultats d’aquesta anàlisi el sistema prepara el feedback per a l’alumne, al qual els ‘professors virtuals’ del curs li expliquen els punts forts i febles de seva presentació i li donen una sèrie de consells per millorar. En qüestió de segons, el sistema envia a l’app aquest feedback, que alumne visualitza amb les seves ulleres de realitat virtual. 

La participació de l’equip de la UB ha tingut com a objectiu desenvolupar una sèrie d’eines d’avaluació automàtica de diferents aspectes de la prosòdia (entonació, velocitat d’elocució, pauses, intensitat de la veu), que permeten rebre retroalimentació als usuaris del sistema Chiara. Això ha implicat la programació d’una sèrie de scripts per a l’anàlisi i avaluació de la veu, i la construcció d’una sèrie de models acústics que defineixen els llindars de correcció i incorrecció de cadascú dels paràmetres fonètics avaluats, a partir del processament d’una nombre important de presentacions enregistrades proporcionades per Teâm Training.

La plataforma Chiara ha estat dissenyada com una eina d’e-learning per a empreses i usuaris particulars, que Teâm Training està ja comercialitzant amb un èxit notable.