Til tross for betydelige fremskritt innen kunstig intelligens, viser ny forskning at språkmodeller som ChatGPT fortsatt har utfordringer med å etterligne menneskelig samtale på en overbevisende måte. Forskere ved NTNU har funnet at disse modellene ofte overdriver herming i samtaler, noe som gjør det lettere for mennesker å identifisere dem som kunstige.
I en nylig publisert studie testet forskerne flere store språkmodeller, inkludert ChatGPT-4, Claude Sonnet 3.5, Vicuna og Wayfarer. De sammenlignet utskrifter av menneskelige telefonsamtaler med simulerte samtaler generert av disse modellene. Resultatene viste at språkmodellene ofte overdriver herming, en praksis kjent som "exaggerated alignment". Dette innebærer at modellene tilpasser seg samtalepartnerens språk i en grad som virker unaturlig for mennesker.
Videre ble det observert at språkmodellene har en tendens til å bruke småord som "eh" og "hm" på en måte som ikke samsvarer med naturlig menneskelig bruk. Dette bidrar ytterligere til å avsløre deres kunstige natur. Forskerne konkluderer med at, til tross for teknologiske fremskritt, er det fortsatt betydelige utfordringer knyttet til å oppnå naturlig menneskelig interaksjon i kunstig intelligens.
Disse funnene understreker behovet for videre forskning og utvikling for å forbedre språkmodellenes evne til å etterligne menneskelig samtale på en mer autentisk måte.