Høye testresultater er ikke det samme som praktisk verdi
Kunstig intelligens blir ofte vurdert gjennom såkalte benchmarks – standardiserte tester der modeller må løse oppgaver innen blant annet matematikk, programmering, språkforståelse og resonnering. Slike målinger gjør det mulig å sammenligne modeller, men de kan også gi et forenklet bilde av hva teknologien faktisk mestrer.
I en kommentar omtaler Datasør dette som «benchmarksyken»: en tendens til å behandle framgang på avgrensede tester som bevis på at KI er blitt tilsvarende bedre i virkelige arbeidsoppgaver. Problemet er at arbeidslivet sjelden består av oppgaver med ett fasitsvar, klare avgrensninger og komplette instrukser.
En KI-assistent kan for eksempel få svært gode resultater på en programmeringstest, men fortsatt slite med å forstå en organisasjons eksisterende systemer, avdekke uklare krav, samarbeide med utviklere eller vurdere konsekvensene av en feil.
Modellene kan bli trent for å vinne testene
Benchmarker er nyttige fordi de skaper et felles språk for framgang. Samtidig kan de påvirke utviklingen på en uheldig måte dersom modellprodusentene i for stor grad optimaliserer mot akkurat de oppgavene som måles.
Når testsett blir kjent, gamle eller indirekte tilgjengelige i treningsdata, oppstår faren for at modellen ikke demonstrerer generell problemløsning, men heller gjenkjenning av mønstre den har sett før. Det omtales gjerne som forurensning av testdata, eller «contamination».
Dette er særlig relevant i et marked der lanseringer ofte ledsages av tabeller som viser at én modell slår en annen med små marginer på utvalgte tester. Høye poengsummer kan være reelle, men de forteller ikke nødvendigvis om modellen er mer robust, sikker eller lønnsom i vanlig bruk.
Stanford Universitys AI Index viser at KI-systemer har tatt store steg på flere krevende tester. Rapporten peker samtidig på at evaluering av praktisk anvendelse, sikkerhet og pålitelighet fortsatt er en sentral utfordring. En modell kan være svært sterk på én oppgavetype og samtidig gjøre overraskende feil når konteksten endrer seg.
Virkelige arbeidsoppgaver gir et mer sammensatt bilde
En studie fra forskningsorganisasjonen METR undersøkte hvordan erfarne utviklere brukte moderne KI-verktøy i arbeid med åpen kildekode. Resultatet utfordret antakelsen om at tilgang til KI automatisk gir høyere produktivitet: I gjennomsnitt brukte deltakerne mer tid, selv om de selv trodde at verktøyene gjorde dem raskere.
Studien er avgrenset og kan ikke brukes som en generell dom over KI i programmering. Den illustrerer likevel et sentralt poeng: Virkningen av KI avhenger av oppgaven, brukeren, systemene verktøyet kobles til og hvor mye kontrollarbeid som kreves etterpå.
I praksis må ansatte ofte kontrollere svar, rette feil, dokumentere beslutninger og håndtere informasjon som ikke kan deles med eksterne KI-tjenester. Dette tidsforbruket fanges sjelden opp av en tradisjonell benchmark.
Anthropics analyser av faktisk bruk av Claude peker også på at KI ofte brukes som støtte i deler av arbeidsoppgaver, ikke som en fullstendig erstatter for et yrke. Det taler for at verdien bør vurderes på arbeidsflytnivå, framfor bare gjennom isolerte testspørsmål.
Etterlyser tester som ligner virkeligheten
Alternativet er ikke å slutte med benchmarks, men å bruke dem med større varsomhet. Standardiserte tester kan avdekke tekniske framskritt og gjøre det enklere å følge utviklingen over tid. Men de bør suppleres med uavhengige og realistiske evalueringer.
For virksomheter kan det bety å teste KI på egne, representative oppgaver før bred innføring. Vurderingen bør omfatte svarenes kvalitet, feilrate, tidsbruk, kostnader, personvern, informasjonssikkerhet og behovet for menneskelig kvalitetssikring.
NISTs rammeverk for styring av KI-risiko legger vekt på nettopp dette: KI må ikke bare måles på ytelse, men også vurderes ut fra gyldighet, pålitelighet, sikkerhet, transparens og konsekvenser for mennesker og organisasjoner.
«Benchmarksyken» handler dermed ikke om at KI-tester er verdiløse. Den handler om å unngå at én type tall får definere hele bildet. For brukere og beslutningstakere er det viktigste spørsmålet ikke bare hvilken modell som scorer høyest, men om den løser den konkrete oppgaven bedre, tryggere og mer effektivt enn alternativene.