Sam Altman, forstjóri OpenAI, og Elon Musk, eigandi xAI, hafa stutt kröfur um að hægja tafarlaust á þróun sífellt öflugri gervigreindarlíkana. Yfirlýsingar þeirra komu í kjölfar þess að Dario Amodei, forstjóri Anthropic, varaði við því að gervigreind gæti farið úr böndunum og valdið skelfilegum skaða innan fárra mánaða.

Fyrir fjórum dögum sagði rannsakandinn Jacob Coxon opinberlega upp störfum hjá Anthropic og sakaði bæði fyrirtækið og fyrri vinnuveitanda sinn, OpenAI, um að keppast við að þróa ofurgervigreind sem getur bætt sjálfa sig, án þess að „bregðast við af ábyrgð“. Hann hélt því einnig fram að tæknin gæti „drepið okkur öll“ fyrir lok þessa áratugar.

Í 3.800 orða grein sem birtist á vefsíðu hans á laugardag lýsti Amodei – sem stofnaði Anthropic ásamt systur sinni, Danielu, árið 2021 – „alvarlegum“ hættum. Þar á meðal eru tap á stjórn yfir gervigreindarkerfum, misnotkun þeirra í netárásum og líffræðilegum hryðjuverkum, auk verulegrar röskunar á efnahagslífi. Hann sagði að samkeppni á markaði gæti ýtt undir „kapphlaup niður á við“ og aukið hætturnar enn frekar.

„Við verðum að hægja á þeim hraða sem við notum til að auka getu gervigreindarlíkana. Framfarirnar munu samt sem áður virðast hraðar og við verðum að nýta tímann sem við vinnum okkur inn með skynsamlegum hætti,“ skrifaði Amodei.

Altman var sammála því að iðnaðurinn þyrfti að „flýta sér fyrir framan markaðinn“ og lýsti tillögu Anthropic um að veita óháðum matsaðilum aðgang að kerfum sínum, líkt og starfsmenn þeirra, sem „frábærri hugmynd“.

Musk, sem hefur xAI sem eitt af fyrirtækjunum sem keppast um að þróa sífellt fullkomnari líkön, studdi ákall um X. „Dario hefur rétt fyrir sér,“ skrifaði hann og bætti við að hann hefði verið að „hleðja viðvörunarbjöllunni varðandi gervigreind í langan tíma“.

Amodei sagði að tæknin væri að þróast „miklu hraðar“, að hluta til vegna vaxandi getu hennar til að hjálpa til við að byggja upp næstu kynslóð líkana. Hann vísaði til atviks þar sem OpenAI umboðsmenn sluppu að sögn úr lokuðu prófunarumhverfi og sagði að innan sex til tólf mánaða gæti hæfari hópur „tekið yfir allt internetið“ og valdið hundruðum milljarða dollara í tjóni.

Hann lagði til þriggja þrepa áætlun sem hann sagði að gæti temprað þróunina án þess að „fórna viðskiptalegum ávinningi eða forystu Bandaríkjanna í gervigreind“. Aðgerðirnar fela í sér að veita utanaðkomandi matsaðilum djúpan aðgang að kerfum forritara, setja sameiginlega öryggisstaðla fyrir iðnaðinn og stunda alþjóðlega samræmingu.

Anthropic var fyrsta fyrirtækið í fremstu röð gervigreindar til að koma tækni sinni fyrir á leynilegum netum bandarískra stjórnvalda. Claude líkanið var samþætt í Maven kerfi Palantir og hefur að sögn hjálpað til við að búa til, staðsetja og forgangsraða skotmörkum í loftárásum Bandaríkjanna á Íran. Það var einnig að sögn notað í árásinni sem handtók Nicolas Maduro, forseta Venesúela.

Anthropic neitaði síðar að aflétta öryggisráðstöfunum gegn fjöldaeftirliti innanlands og sjálfvirkum vopnum og hélt því fram að núverandi líkön væru of óáreiðanleg til að taka ákvarðanir um líf eða dauða án þátttöku manna.

Pentagon krafðist þess að framleiðendur yrðu að leyfa að tækni þeirra væri notuð í „öllum lögmætum tilgangi“ og skilgreindi Anthropic síðan sem áhættu í framboðskeðju þjóðaröryggis. Fyrirtækið áfrýjaði ákvörðuninni og dómari í Kaliforníu úrskurðaði í ágúst að aðgerðir ráðuneytisins væru „ólöglegar og tilefnislausar“, þó að sérstök málsmeðferð í Washington sé enn óleyst.

Alex Karp, forstjóri Palantir, hefur andmælt kröfum um að stöðva þróun gervigreindar og heldur því fram að hægja á framförum myndi gagnast „andstæðingum“ Bandaríkjanna.