Toppledere i Anthropic, OpenAI og andre selskaper som utvikler avansert kunstig intelligens, skal ifølge Axios diskutere hvordan de kan møte et kraftig offentlig og politisk tilbakeslag etter en mulig katastrofal KI-hendelse. Den opprinnelige saken, som også er løftet fram av Perplexity, peker på at planleggingen gjelder tiden etter at skade allerede kan ha skjedd – ikke bare hvordan en hendelse skal forebygges.
Blant scenarioene som omtales, er et omfattende cyberangrep som forstyrrer tilgang til banktjenester, internett, strøm eller vannforsyning. Axios skriver at industriledere frykter at den første alvorlige, virkelige skaden knyttet til utrygg KI kan snu en allerede skeptisk offentlighet mot både teknologien, selskapene og politikerne som har latt utviklingen fortsette uten strengere rammer. USAs president Donald Trump nevnes i denne sammenhengen som en politisk aktør som kan møte kritikk dersom reguleringen oppfattes som for svak.
OpenAI har overfor Axios opplyst at selskapet gjennomfører beredskapsøvelser der team arbeider seg gjennom ulike mulige hendelser. Selskapet understreker samtidig at øvelsene ikke bygger på at en katastrofe anses som uunngåelig. I sitt offentlige rammeverk beskriver OpenAI hvordan det vurderer risiko for alvorlig skade innen blant annet cybersikkerhet, biologiske og kjemiske trusler, selvforbedrende KI og langvarig autonomi. Modeller med kritiske kapasiteter skal ha tilstrekkelige sikkerhetstiltak både under utvikling og før lansering, ifølge selskapet.
Anthropic ville ikke kommentere Axios’ opplysninger direkte. Selskapet har likevel publisert detaljer om egne systemer for risikovurdering, testing og håndtering av sikkerhetshendelser. Rammeverket omfatter blant annet angrepsrettet cybersikkerhet, kjemiske, biologiske, radiologiske og nukleære trusler, samt risiko for sabotasje, tap av kontroll og skadelig påvirkning. Anthropic opplyser også at deler av de offentlige sikkerhetsplanene er sladdet for ikke å gi potensielle angripere innsikt i forsvarstiltakene.
Saken illustrerer et skifte i KI-debatten: Det handler ikke lenger bare om hypotetiske langtidsfarer, men om hvem som har ansvaret dersom avanserte modeller brukes til omfattende digital skade. Associated Press har nylig beskrevet hvordan flere aktører i bransjen etterlyser felles sikkerhetskrav, uavhengige evalueringer, bedre cyberforsvar og klare regler for rapportering av hendelser. Samtidig er det uenighet om hvorvidt dette krever samordnet statlig regulering eller om hvert selskap selv bør fastsette sikkerhetstempoet.
At selskapene nå forbereder seg på den politiske reaksjonen etter en mulig krise, kan tolkes som et tegn på at risikoen tas mer alvorlig. Men det reiser også et vanskelig spørsmål: Er beredskap etter en katastrofal hendelse nok, eller må teknologiselskapene og myndighetene dokumentere langt tydeligere hvordan en slik hendelse faktisk skal hindres?