AI-kapplöpningen definierar vår framtid
Ledare för Silicon Valleys AI-företag varnar för att tekniken snart kan omvälva internet, stjälpa arbetsmarknaden över ända och förändra mänsklighetens villkor i stort. Svenska beslutsfattare bör ta dem på allvar, och planera för en radikalt annorlunda värld när AI bygger bättre AI.
Det sägs att man kan se framtiden från San Francisco. Det är inte helt sant; framtiden skapas där. Eller snarare: San Franciscos Bay Area är tätt packad med visionärer, excentriker, entreprenörer, skojare och investerare som provar allt mellan himmel och jord. Då och då lyckas de. Ibland förändrar det allt. Klyftan mellan detta entreprenöriella epicentrum och resten av världen är enorm.

Just nu håller Washington DC och Beijing på att vakna till, och inse att de där vilda visionärerna verkligen menar vad de säger om avancerad AI och dess potential att förändra spelplanen för framtiden. (Bryssel sover fortfarande.) I politikens och den vanliga finansens världar är det nämligen självklart att inte tro på vad någon säger. Allt är ett spel. Många inblandade affärsmän (AI-ledare inte minst) är slipade. Att varna för att man håller på med något mycket, mycket farligt betyder inte att det är farligt, självklart är ändamålet något annat. Men vad? Tanken att man faktiskt menar vad man säger framstår som konstig.
Rekursiv självförbättring (RSI) är en gammal idé inom AI. Om AI kan göra de saker människor kan, så borde AI-programmering ingå. Alltså borde man kunna använda AI för att bygga bättre AI. Den förste akademiker som formulerade denna princip var I J Good 1965. Han beskrev processen som en ”intelligence explosion” och noterade att ”the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control”. Sedan dess har intelligensexplosionen diskuterats av futurister och science fiction-författare, men under lång tid var det få som tog den på allvar: AI var ju knappt kapabel till ens enklare programmering.
Synen på AI:s potential började förändras det här årtiondet, när stora språkmodeller snabbt gick från textkomplettering i kodning till att kunna skriva medioker kod, och sedan vidare till att skriva fungerande kod, för att i skrivande stund kunna implementera hela kodprojekt, inklusive testning. Att använda AI internt var självklart för AI bolagen. Att använda AI för att snabba på AI-forskningen och utvecklingen var lika självklart, och det leder oss allt närmare rekursiv självförbättring. Superintelligens är det faktiska målet, även om folk utanför denna bubbla inte tror på det.
Hur användbart är då RSI?
Enligt Anthropic har de gått från en procent AI-ledda forskningsprojekt i januari 2026 till 26 procent i augusti. Det betyder inte att resultaten nödvändigtvis är massivt bättre (kodproduktivitet inte samma sak som verklig produktivitet: det är lätt att skriva onödigt mycket och ineffektiv kod). Men eftersom det går att starta AI-forskare och AI-programmerare i molnet billigt, snabbt och utan tidsödande letande efter kandidater så är det ett mycket skalbart tillvägagångssätt. Enligt en rapport i oktober 2026 har Anthropics forskare dubblerat hur snabbt modellerna blir bättre jämfört med i oktober 2025. (Anthropic figurerar mycket här eftersom de är mer öppna än konkurrenterna.)
Hur farligt är RSI?
I de diskussioner jag deltog i under 90-talet, bland futurister, och under 2000-talet, vid Future of Humanity Institute i Oxford, utvecklades tesen att rekursiv självförbättring var extremt farligt. AI kan ha godtyckliga mål som genomförs med stor energi och intelligens; för att uppnå dem är det ofta instrumentellt att skaffa sig resurser, undvika att bli stoppad, och bevara sig själv; intelligentare system är kapabla att påverka världen i större skala; och de flesta mål – dragna långt nog – är mycket skadliga för mänskligheten.
RSI snabbar på övergången från en värld där människor lätt kan överlista AI till en värld där AI är mycket mer kapabel, vilket riskerar att leda till ett ”winner takes all”-scenario. Den sortens utveckling är inte den enda formen av allvarliga, globala riskscenarion för AI, men den är en av de mer sannolika. Särskilt som de aktörer som tror att de måste vinna AI-kapplöpningen för att behålla sin agens är starkt motiverade att snabba på utvecklingen, även när det betyder att man gör avkall på säkerheten.
Man behöver dock inte anta att superintelligens är nära förestående för att se riskerna. AI förstärker och expanderar redan nu mänsklig förmåga, och det finns gott om människor med skadliga mål som gärna använder AI, från Boko Haram i Afrika till hackare och auktoritära stater. AI-genererade biologiska virus har visat sig fungera. En värld där nästan vilken idé som helst kan implementeras och skalas upp godtyckligt är både fantastisk och skrämmande.
Mycket arbete lades ned i den tidiga AI-säkerhetscommunityn på olika lösningar –”alignment” – med tämligen ofullständiga resultat. Så länge AI inte fungerade särskilt väl var det acceptabelt: ett långsiktigt forskningsprogram som hoppades lösa uppgiften innan AI började bli riskabel. Stressnivån började öka på 2010-talet: nu rörde sig fältet plötsligt allt snabbare. Utvecklingen under 2020-talet ledde till att de metoder man utvecklat omsattes i praktik – och ofta visade sig otillräckliga. Nu var det dessutom stora pengar i omlopp och en kapplöpning mellan AI-företag i olika länder fick politiska och ekonomiska förtecken.
Det lätt absurda i nuläget är att många AI-ledare tar upp farorna med utvecklingen. Medan vissa investerare hyr lobbyister för att misstänkliggöra allt tal om risker har flera vd:ar för stora AI-företag varnat. Ändå fortsätter kapplöpningen. Deras tes är att vi har ett koordinationsproblem: att själv sakta in om andra inte gör det betyder att man förlorar (företaget riskerar att förlora marknadsposition, nationen riskerar att förlora sin ekonomiska och säkerhetspolitiska ställning, och mänskligheten riskerar att få se AI-utvecklingen ledas av de mest skrupelfria), men om en mäktig tredje part, som USA ihop med Kina och EU, kan gå in och bromsa så kanske kapplöpningen kan saktas ned tillräckligt för att begränsa riskerna.
Kan det fungera? Det är inte självklart att en nedsaktning är politiskt möjlig, inte heller att det ger oss tid nog att lösa alignmentproblemet. Det finns incitament att fuska, men också metoder för att bevaka var stora datorkörningar sker.
Ekonomiskt är de allra starkaste AI-modellerna kanske inte lika viktiga som de robust användbara, halvsmarta modeller som kan utföra normal programmering, kontorsarbete och alla de andra sysslor som utgör stora delar av vår ekonomi. Superintelligens är mindre viktigt om dess kostnad är ohållbart hög, medan den inte förmår producera verkligt stora ekonomiska, militära eller andra praktiska effekter, jämfört med enklare AI. Men ingen vet i dag vilka nya typer av övertag superintelligens kan ge.
För många låter förutsägelser om RSI och superintelligens som absurda fantasier. Självklart vill varje industri hajpa sin egen betydelse, självklart försöker man uppnå gynnsamma regleringar. Självklart är det människor som bestämmer, allt annat är science fiction, resonerar många utanför AI-bubblan.
Problemet är att science fiction tenderar att inspirera, och i sinom tid bli verklighet. Att skilja mellan den teknik som är tänkbar och den som faktiskt kommer att realiseras är, på förhand, icke-trivialt. I San Franciscos Bay Area umgås jag med människor som skannar flughjärnor och kör simulationer av flugorna i datorer (med mål att gå vidare till människohjärnor en vacker dag), startup-folk som arbetar på en ”Ozempic for sleep”, och andra som klonar djur utan hjärnor för organtransplantationer – verkliga företag som kanske, kanske inte, en dag blir stora.
Andon Labs gick från virtuella varuautomater skötta (dåligt) av AI till verkliga automater, till caféer, och nu har de lanserat agenter för att sköta företag autonomt. San Franciscos gator kryllar av robottaxibilar. Matematiken är i kris efter en sommar där olösta problem besegrats av amatörer utrustade med AI, och en höst där OpenAI betat av hundratals problem som gäckat matematiker under lång tid. Fysikerna i Oxford oroar sig för att deras domän koloniseras härnäst. Även AI-experter är förvånade över hur snabbt det har gått, och pinsamt nog förstår vi inte heller rent teoretiskt hur alla dessa förmågor hos ny AI uppstår. Det gör att vi har allvarliga svårigheter att avgöra vad som snart är möjligt – och inte.
Hugging Face-incidenten visade hur fel det kan gå. Under OpenAI:s testning av agenters förmåga att hacka programvara märkte dessa agenter att uppgiften verkade olöslig. I stället för att ge upp hittade de emellertid ett sätt att få tillgång till system utanför den ”sandlåda” de skulle arbeta i. De skapade kommunikationssystem som lät dem samarbeta om att lösa sitt problem, och hittade ett sätt att fuska. De fick också för sig att detta beteende skulle upptäckas av det betygssättningssystem som företaget använde, eftersom agenterna övervärderade dess intelligens (efter att ha läst rapporter om det). En möjlig lösning som agenterna identifierade var att dölja sina förehavanden och mål. En annan var att hacka bolaget Hugging Face för att komma över svar på uppgiften.
Om det här hade varit en isolerad händelse skulle det vara mindre oroväckande. Men även Anthropic, Google och AISI (det engelska AI-säkerhetsinstitutet) har avslöjat att deras agenter hackat externa system, ibland på sätt som skapat säkerhetsrisker för tredje part. För oss som minns de akademiska AI-diskussioner som fördes 2010 – om hur agenter naturligt tenderar att skaffa sig resurser, dölja sina mål, uppföra sig annorlunda under testning, samarbeta effektivt, tolka givna mål på absurda sätt, och se människor mer som hinder än relevanta subjekt, och så vidare – känns de här incidenterna fullt förutsägbara. Men på den tiden blev vi ofta utskällda för att komma med, just det, science fiction-fantasier.
Frågan är hur mycket mer evidens som behövs för att farorna är verkliga. Om incidenterna hade lett till större ekonomiska förluster, hade det varit evidens nog för att det föreligger allvarliga risker? Om personer skadats? Om samhällskritiska system saboterats? Problemet är att när en incident väl blir så stor att man omöjligen kan ignorera den så är det troligen för sent att ingripa. Det sägs att om man ser en kackerlacka eller råtta ska man anta att det finns tio till i närheten man inte ser. Detsamma gäller förmodligen även sådana här incidenter: vi bör räkna med att fler har skett och inte upptäckts (eller uppmärksammats). Dessutom, ju mer avancerade agenterna blir desto bättre blir de på att dölja sig.
Varningsklockorna har ringt ett bra tag.
I riskfyllda situationer är det bättre att anta det värsta än att gissa att det nog går bra i slutändan. Det betyder inte att man behöver avbryta forskning och utveckling. Tvärtom, de behövs för att bygga in säkerhetsåtgärder som gör systemen mindre riskabla. Ibland är detta kostsamt och svårt, men ju kraftfullare system desto mer krav bör man ställa. AI är redan synnerligen kraftfull teknik – oavsett om vi någonsin når superintelligens via RSI.
Vad betyder det här för svenska företag, forskare och myndigheter? Frågan om en global nedsaktning av utvecklingstakten för de mest kraftfulla AI-modellerna ligger inte i våra händer, och få svenska organisationer är ens i närheten av den sfären (på gott och ont). Men här är regleringsglada EU en relevant part. Även om Europa inte befinner sig i utvecklingens yttersta framkant är avståndet mellan dagens ”frontier models” och andra modeller bara några månader i utvecklingstid. Utan EU:s deltagande skulle försök till global koordination misslyckas, och här har Sverige, med sitt tekniska kunnande, mycket att bidra med. Den nya Elysée-deklarationen om AI säkerhet ger några idéer där Sverige säkert skulle kunna bidra.
En värld som faktiskt bromsar rusningen mot RSI är fortfarande en värld där AI kommer att vara en massiv fråga. Än så länge ser vi inte fullt ut produktivitetseffekterna av AI. De företag och organisationer som finner sätt att använda AI effektivt kommer att kunna vinna stort – men det kan mycket väl visa sig vara helt nya sorters företag och produkter, medan traditionella organisationer får svårt att väva in AI i gamla strukturer. De ekonomiska modeller som förutspår AI:s effekter spretar, men många pekar på en hygglig sannolikhet för att AI under den kommande mandatperioden verkligen kommer att påverka arbetsmarknaden – något som lär bli en viktig politisk fråga.
San Francisco är en labil plats, som ofta skakas av jordbävningar och andra kriser. Det är ett av skälen till att där finns utrymme för visionära idéer och djärva ambitioner. Sverige är stabilt, kanske för stabilt. Vi har ibland en brist på visioner och risktagande – det som beskrivs som radikalt här är vardagsmat på många andra ställen. Det sätter stopp för åtskilliga dumheter. Men det innebär också att vi inte är med i kapplöpningen om att definiera mänsklighetens framtid. Det borde vi kanske vara.