D138: Logopèdia i TIC

Mòdul 3: Audició, fonètica i veu (Xavier Ferrer)

Pràctica 4

Taula de continguts

Producció de sons de la parla a través d'un Visualitzador de Veu o Recofone

Un pas més enllà de discriminar de les qualitats sonores és el treball de la reproducció de fonemes, síl·labes, etc., i el reconeixement de

la veu.

La tecnologia de reconeixement de veu, tot i que existeix no està suficientment desenvolupada o no ens resulta prou assequible.

Disposem però de diferents programes, bassats en tecnologia de comparació de patrons, que pemet treballar la producció i reconeixement de

sons o fonemes

Globus 3

El podreu trobar al web http://www.lagares.org o directament de l’adreça http://www.xtec.cat/~jlagares/download/globus3.zip

Globus 3 a més més de portar activitats per estimular la parla en nens especialment inhibits incorpora opcions de reconeixement del to i de

reconeixement de patrons de so, paraules curtes o fonemes.

Exercici de Comparació

Pràctica

Despres d’instal·lar i executar el programa ( Modul 3 pràctica 3), aneu a Que vull fer | Comparança de patrons
Us mostrarà un exercici que permet realitzar i comparar els patrons de veu. L’activitat consisteix en primer crear uns patrons de só i

després veure què és capaç de reconèxier l’ordinador

Necessitareu un micròfon i assegureu-vos que funcioni correctament.

  1. Premeu el botó Vocals , a la barra inferior, que assigna una vocal com a nom de les diferents mostres de veu. Es pot subtituir per

un alter text qualsevol.

  1. Marqueu la casella Color Automàtic , a la barra superior, que assigna un color a cada mostre de veu.
  2. Premeu el botó, E que activa la captura de so i mostra en pantalla l’envolvent de l’espectre de la veu.
  3. Heu de produí en veu alta el só indicat, A en aquest cas .
  4. Feu clic a Congelar , a la barra superior, quan el só i la gràfica sigui de suficient estables.
  5. Automàticament passareu a enregistrar el següent fonema, en aquest cas È
  6. Repetiu els passos anteriors fins a completar la mostra. En cas de necessitat podeu utilitzar els botons Borrar última o Borrar per a rectificar els talls de veu.
  7. Quan hàgiu creat els patrons, el programa mostrarà el só reconegut

Reconeixement de Fonemes

Reconeixement de Fonemes (Recofone) és un programa que trobareu a la web d’en Jordi Lagares http://www.lagares.org o disenyat

per a treballar la discriminació de fonemes a ajudar a persones amb dificultats de la parla.. Utilitza una técnica de comparació patrons de veu, que el mateix programa permet crear. Els exercicis consisteixen en el control de senzills

jocs amb la veu.

El mateix Reconeixement de Fonemes incorpora cinc tipus d’exercicis o jocs i, a més, es pot enllaçar amb d’altres jocs externs.

Pràctica

Instal·lació

  1. En primer lloc haureu d’instal•lar el programa Reconeixement de Fonemes al vostre ordinador. El podreu trobar al web

http://www.lagares.org o directament de l’adreça http://www.xtec.cat/~jlagares/download/reconeixementdefonemes.zip

  1. Una vegada hàgiu descarregat el fitxer, l’heu de descomprimir en una carpeta i engegar l’arxiu ReconeixementDeFonemes.exe

Pràctica

A partir d’ara el treball a fer és

Descripció de la fase d’inici del programa

Seleccionar les lletres i crear els patrons
  1. Quan engeguem el programa apareix la caràtula amb els crèdit i seguidament dos formularis
    • El formulari principal amb els menus
    • Un gestor de fitxers amb quatre opcions:
  1. Feu clic a Cancel·lar i anirem directes a la finestra principal del programa té el següent aspecte:
    • Hi veiem la barra de títol. Aquí s’hi escriurà el fonema reconegut.
    • Hi ha una barra de menús que descriurem més endavant.
    • Sota la barra de menús hi ha un espai gris. Aquí s’hi escriuran els fonemes que pot entendre.
    • Un quadre amb unes fletxes. Aquí s’hi escriuran els fonemes que equivalen a les tecles que controlaran els jocs.
    • Al seu costat, un quadre on apareixerà en lletra grossa el fonema reconegut quan es faci el reconeixement.
  2. Feu clic al Menú Entrenament l’opció que permet que l’ordinador aprengui a reconèixer la nostra veu



  3. Aquí cal clicar en els sons als quals volem crear el patró de veu. Com a mínim cal clicar a dos sons.
    Suposem que hem clicat a totes les vocals: A, AE (vocal neutre), È (E oberta), É (E tancada), O, U
  4. Quan cliquem D’acord ens apareixerà la finestra


  5. Caldrà acostar-nos al micròfon i dir el so A durant molt poc temps un parell o tres dècimes de segon. Quant l’hagi detectat desapareixerà el quadre.
    Si desapareix massa depressa o sigui, abans que no hàgim dit res potser és perquè tenim el micròfon massa sensible.
    Si pel contrari per més que cridem no passa res, o sigui que no desapareix aquest quadre pot ser degut a què el micròfon no està correctament endollat o el nivell del micròfon està massa avall.
  6. Suposant que no hi ha hagut aquesta dificultat i ha aparegut la paraula a reconèixer i l’ordinador l’ha detectat correctament a continuació apareixerà un nou quadre:


    Aquí només mostrem la primera finestra, però hem d’entendre que apareixeran tantes finestres com opcions haguem triat, una darrera de l’altra.
  7. Si tot ha anat bé veureu com la finestra principal ha canviat d’aspecte i l’opció del menú Exercicis de discriminació haurà deixat de ser gris i serà de color negre, que vol dir que ara ja està activa.
  8. Aneu al menú Exercicis de discriminació | Discriminació de fonemes. Comença el reconeixement de veu. Si acostem el micròfon a la boca i diem sons semblants als patrons enregistrats el porgrama mostra amb lletra gran en el quadre de la dreta el més semblant. Aquest és l’exercici més simple. Atureu l’exercici amb el menú Parar.
  9. Si voleu intentar millorar el reconeixemnet dels sons,heu de tenir bona volurtad i acceptarles limitacions del programa, poeu anar al menú Opcions|Funcions d’ona Us apareixerà la finestra següent


Aquí tindreu el so que us ha gravat per fer el reconeixement. Podeu

  1. Per sortir del formulari Gràfiques heu de tancar ala finestra
Seleccionar els jocs

Ara utilirzarem el reconeixement de fonemes per treballar amb un joc d’ordinador senzil que funcioni amb unes poques tecles, associnat una tecla a cada so.

  1. Aneu al menú Exercicis de discriminació. Apareix el següent quadr:


  2. Escolliu el Joc de 3 fonemes: Platets voladors . Es mostre un quadre és molt semblant a un anterior on només apareixen actives les caselles dels fonemes que tenim en el patró.


  3. Cal triar tants fonemes com tecles necessiti el joc. En el nostre cas 3 tecles: esquerra, dreta i disparar.Quant hàgim clicat en 3 fonemes apareixerà el mateix quadre amb un aspecte semblant a:


  4. Feu clic la tecla D’acord , que ara és activa i s’engegarà el joc corresponent, en aquest cas platets voladors i s’activarà el reconeixement de veu. Ara podrem controlar el joc amb els tecles i amb la veu.
  5. Premeu Retorn i començeu a jugar produint sons amb la veu. En el cas de l’exemple si diem AE (vocal neutra) veureu com el coet va a l’esquerra, si dieu È (E oberta) el coet anirà a la dreta i si dieu I el coet dispararar.
  6. Per parar l’exercici heu de tancar el joc i fer clic al menú Parar de la finestra edl Reconeixent de fonemes.

De manera semblant podeu treballar amb d’altres exercicis del programa o jocs externs

Observacions finals

Per acabar, heu de saber que Visualitzador de veu - Reconeixement de fonemes és un programa que està contínuament en evolució. És possible

que la versió que tingueu tingui altres opcions que no especificades en aquesta pràctica.

El porgrama no és més que una primera aproximació a l’ús del reconeixement de veu. Tot i les limitacions que pugui tenir aquest programa

pensem que pot ajudar a l’escola a cobrir un vuit de manera raonable reservant altres solucions més costoses per equips més especialitzats.

Per qualsevol suggeriment i aportació, que serà ben rebuda, us podeu adreçar per correu electrònic a: jlagares@xtec.cat.