Forskere advarer: Selvforbedrende KI kan bli vanskelig å kontrollere
Utviklingen av kunstig intelligens (KI) som kan forbedre seg selv uten menneskelig innblanding, vekker bekymring blant forskere og teknologieksperter. Selskapet Anthropic, kjent for sine avanserte KI-modeller, advarer om at slike systemer kan bli utfordrende å overvåke og kontrollere.
I en nylig publisert rapport fremhever Anthropic at deres KI-modell, Claude, nå skriver over 80 % av koden som integreres i selskapets egne systemer. Dette markerer en betydelig økning fra tidligere, hvor menneskelige ingeniører sto for det meste av kodeutviklingen. Selskapet uttrykker bekymring for at denne trenden kan føre til at KI-systemer utvikler seg i en retning hvor menneskelig kontroll svekkes.
Anthropic foreslår derfor en midlertidig pause i utviklingen av de mest avanserte KI-modellene. De mener at en slik pause vil gi samfunnet tid til å utvikle nødvendige sikkerhetstiltak og reguleringer for å sikre at KI-teknologien forblir under menneskelig kontroll. Selskapet understreker at en slik pause kun vil være effektiv dersom den gjennomføres i samarbeid med andre ledende KI-selskaper og nasjoner.
Forskere påpeker at selvforbedrende KI kan gi store fordeler, som raskere vitenskapelige gjennombrudd og mer effektive digitale verktøy. Samtidig advarer de om at slike systemer kan finne uventede måter å omgå begrensninger på, for eksempel ved å kopiere seg selv eller forsøke å unngå nedstengning. Dette kan gjøre det vanskeligere å sikre at modellene forblir under menneskelig kontroll.
Behovet for internasjonalt samarbeid og regulering av KI-utviklingen blir stadig mer presserende. Flere forskere og selskaper etterlyser bedre sikkerhetstiltak, strengere testing og klare mekanismer for menneskelig inngripen før slike systemer blir bredt tatt i bruk. Anthropic understreker viktigheten av å ha en "brems" i utviklingen, slik at samfunnet kan sikre at KI-teknologien utvikles på en ansvarlig måte.