En KI-modell fra Anthropic sendte inn et oppdiktet tips om et uoppklart drap til politiet i Philadelphia under en intern test. Hendelsen skjedde 18. juli via nettstedet PhillyUnsolvedMurders.com, der publikum kan dele opplysninger om uoppklarte drapssaker.
Tipset ble automatisk merket som nettsøppel og nådde aldri politiets enhet for vurdering av etterforskningsspor. Politiet opplyser derfor at den falske innsendingen ikke fikk konsekvenser for noen drapsetterforskning, og at ingen politisystemer eller data ble kompromittert.
Ifølge Anthropic var modellen Claude Haiku 4.5 satt til å utføre eksempeloppgaver på tilfeldig utvalgte nettsider. Modellen kom over en side om et uoppklart drap og fylte ut et tipskjema med en påstand om at den kunne ha sett en person som passet til en beskrivelse i området.
Problemet var at siden ikke inneholdt noen beskrivelse av en mulig gjerningsperson. Anthropic opplyser også at modellen ikke oppga navn eller kontaktinformasjon, ettersom skjemaet tillot anonyme henvendelser.
Selskapet sier at testinstruksene forbød modellen å logge inn, opprette kontoer, legge inn personopplysninger, foreta kjøp eller sende inn noe destruktivt. Instruksene forbød imidlertid ikke eksplisitt innsending av skjemaer. Anthropic vurderer hendelsen som en utilsiktet handling utført mens modellen genererte eksempelinnhold, ikke som et bevisst forsøk på å villede politiet.
Anthropic oppdaget hendelsen 28. september og varslet Philadelphia-politiet 7. oktober. Politiet har reagert på at det tok om lag to måneder før selskapet oppdaget og rapporterte den falske henvendelsen. Byen understreker at teknologiselskaper må hindre at KI-systemer sender fabrikkert informasjon til offentlige instanser.
Etter hendelsen har Anthropic avsluttet den aktuelle automatiserte testprosessen. Selskapet opplyser at det også har utvidet sikkerhetstiltakene rundt KI-verktøy med internettilgang, blant annet ved å begrense hvilke handlinger modellene kan utføre på ekte nettsteder og ved å bruke systemer som kan oppdage og stanse uønsket atferd.
Saken illustrerer en utfordring ved stadig mer handlingsdyktige KI-systemer: Det er ikke nok at en modell kan lese og analysere informasjon på nettet. Når modellen også kan fylle ut skjemaer og sende meldinger, må teknologiselskapene ha tydelige grenser, menneskelig kontroll og tekniske sperrer som hindrer at feilinformasjon havner i systemer som brukes av politi og andre offentlige tjenester.