Projekto pavadinimas Šnekos tyrimas esant triukšmo trukdžiams, naudojant signalų apdorojimo ir mašininio mokymosi metodus

Projekto kodas Nr. 09.3.3-LMT-K-712-23-0028

Podoktorantūros stažuotės vadovas doc. dr. Povilas Treigys

Podoktorantūros stažuotoja dr. Gražina Korvel

Projekto įgyvendinimo laikotarpis 2021-07-05 – 2023-07-04

Projekto tikslas - sukurti naują metodą, leidžiantį stebėti ir pagerinti šnekos suprantamumą bei kokybę esant triukšmui, pagrįstą triukšmo trikdžių profiliavimu ir giliuoju mokymusi.

Projekto santrauka – Ilgus dešimtmečius pasaulio mokslininkai ir inžinieriai bando automatizuoti šnekos atpažinimą ir sintezę, nors tenka pripažinti, kad pasiekta pažanga yra mažesnė nei lūkesčiai. Pažangai, be kita ko, trukdo ir šnekos triukšmingoje aplinkoje generavimo ir suvokimo problemos. Šnekos signalo tyrimas triukšmingoje aplinkoje yra svarbus aspektas gilinant žinias, kurių vis dar trūksta.

Projekto tyrimo tikslas yra sukurti naują metodą, leidžiantį stebėti ir pagerinti šnekos suprantamumą bei kokybę esant triukšmui, pagrįstą triukšmo trikdžių profiliavimu ir giliuoju mokymusi.

Šio projekto tyrimo objektas yra Lombardo šneka. Lombardo šneka - tai efektas, kurį 1909 m. atrado prancūzų otolaringologas Etienne Lombardas (Lombard 1911). Šis efektas pasireiškia tuo metu, kai kalbantysis, būdamas triukšmingoje aplinkoje, nesąmoningai keičia tam tikras ištartos šnekos akustines savybes.

Nors pastaraisiais metais padaryta didelė pažanga Lombardo šnekos apdorojimo ir sintezės srityse, vis dar reikia tobulinti šnekos modelius, kad jie būtų labiau patikimi esant įvairioms signalo ir triukšmo sąlygomis. Pagrindinė priežastis yra ta, kad Lombardo šnekos charakteristikos kinta priklausomai nuo triukšmo lygio. Šiame projekte bus atlikta išsami Lombardo šnekos analizė, siekiant suprasti, kokią įtaką laiko ir dažnio charakteristikos daro šnekos suprantamumui ir kokybei triukšmingoje aplinkoje. Šios analizės rezultatų pagrindu bus sukurtas metodas, leidžiantis automatiškai stebėti ir pagerinti šnekos rodiklius esant triukšmui. Analizuojant Lombardo efekto poveikį šnekos signalui, bus praplėsta ir teorija: sukurtos naujos šnekos apdorojimo ir mašininio mokymosi žinios.

Vykdant tyrimą daug dėmesio bus skiriama tarpdisciplininiams šnekos apdorojimo aspektams, be kita ko, ir giliajam mokymuisi. Projekto metu bus sukurti modeliai, kurie kintant triukšmo lygiui, išlaiko Lombardo efektą. Šie modeliai gali būti pritaikyti daugybei uždavinių spręsti, pavyzdžiui, klausos aparatų algoritmuose, šnekos signalo sustiprinimui, komunikavimui mobiliuoju ryšiu.

Finansavimo šaltinis - Projektas bendrai finansuotas iš Europos socialinio fondo lėšų (projekto Nr. 09.3.3-LMT-K-712-23-0028) pagal dotacijos sutartį su Lietuvos mokslo taryba (LMTLT).