Limbajul natural este un fenomen extrem de complicat. El se dezvolta incet si treptat de-a lungul unei perioade indelungate de timp, aparent pentru a optimiza comunicarea dintre oameni. In limbajul natural, apare o mare incidenta a variatiei si incertitudinii. Cea mai mare sursa a variatiei este data de continutul mesajelor. In plus, fiecare mediu de transmisie a limbajului natural este supus la zgomote, distorsiuni si pierderi. Datorita acestor incertitudini se naste nevoia unui model lingvistic. Cea mai importanta utilizarea a modelelor lingvistice este aplicarea in recunoasterea automata a actelor de vorbire, unde un computer este folosit pentru a pune textul intr-o forma acceptabila. Limbajul natural poate fi vazut ca un proces stohastic. Fiecare cuvant, enunt, document sau alt nivel al vorbirii este tratat ca fiind o variabila aleatoare cu o anumita probabilitate de distributie. Daca W=w1w2 wn reprezinta o secventa de n cuvinte, scopul modelului lingvistic este de a calcula probabilitatea P (W). O metoda de a calcula aceasta probabilitate este de a considera o regula de tip lant, in care cuvintele de la un anumit moment depind de cele dinaintea lui. In lucrarea de fata se inceaca o abordare de acest gen. Se doreste sa se ajunga la recunoasterea actelor de vorbire din texte de tip chat care au un anumit format, recunoastere bazata pe identificarea unor modele lingvistice ale textelor si pe gasirea unor cuvinte-cheie specifice fiecarui act de vorbire in parte.
Initial se incearca obtinerea unui model lingvistic prin aplicarea unor tehnici de invatare asupra unor texte adnotate manual si prin folosirea unui model Markov ascuns, iar dupa aceea se incearca recunoasterea actelor de vorbire din texte neadnotate pe baza modelului obtinut in pasul anterior si a identificarii unor cuvinte-cheie specifice pentru fiecare act de vorbire in parte.
Intelegerea limbajului natural din transcrierea dialogurilor ridica probleme specifice fata de textele obisnuite, deoarece dialogul are cateva caracteristici care ingreuneaza acest lucru. Una din principalele caracteristici ale dialogului este structura sa bazata pe replici (turn-taking), fiecarui participant venindu-i randul la un moment dat sa spuna ceva. Problema este cum isi dau seama participantii cand este randul lor sa vorbeasca. Pentru aceasta, exista o regula care sa modeleze aportul participantilor la un dialog: daca in timpul replicii curente, cel ce vorbeste specifica faptul ca un anumit participant la dialog trebuie sa vorbeasca in continuare, atunci acela este cel ce va urma; daca vorbitorul curent nu specifica nici o persoana ca fiind urmatorul vorbitor, atunci oricine poate sa continue; daca nimeni nu preia rolul de vorbitor in momentul in care vorbitorul curent a terminat ceea ce avea de spus, atunci vorbitorul curent poate sa continue.
Prima parte a regulii are o importanta deosebita, deoarece subliniaza faptul ca exista anumite tipuri de replici prin care un vorbitor poate sa selecteze cine va ...
JURAVSKY AND MARTIN - "SPEECH AND LANGUAGE PROCESSING"
ALLEN J. , CORE M. - "DRAFT OF DAMSL: DIALOG ACT MARKUP IN SEVERAL LAYERS"
MIRJAM SEPESY MAUCEC - "STATISTICAL LANGUAGE MODELING BASED ON AUTOMATIC CLASSIFICATION OF WORDS"
Pentru a descărca acest document,
trebuie să te autentifici in contul tău.
