Šéf Anthropicu bije na poplach: Vývoj AI se může vymknout kontrole. Altman i Musk souhlasí

Vývoj umělé inteligence nabírá tempo, které začíná dělat starosti i samotným lídrům tohoto odvětví. Šéf společnosti Anthropic Dario Amodei tvrdí, že vývoj pokročilé AI může brzy předběhnout schopnost lidí tyto systémy chápat a kontrolovat. Za hlavní problém považuje takzvané rekurzivní sebezdokonalování.

AI totiž stále více pomáhá vytvářet další a výkonnější generace umělé inteligence. Amodei proto navrhuje společná bezpečnostní pravidla a zpomalení nekontrolovaného vývoje. Jeho obavy už veřejně podpořili také Elon Musk a šéf OpenAI Sam Altman.

AI už pomáhá vytvářet další AI

Podle Amodeiho se současný vývoj dostává do nové fáze. Umělá inteligence už neslouží pouze jako nástroj pro člověka, ale stále více pomáhá navrhovat, testovat a vylepšovat další AI systémy.

Právě tento proces označuje jako rekurzivní sebezdokonalování. Pokud se bude schopnost AI programovat a zlepšovat dále zvyšovat, může podle něj tempo technologického pokroku výrazně akcelerovat.

Já si myslím, že právě tady leží jeden z nejzajímavějších problémů současného závodu v AI. Nejde pouze o to, jak chytré budou modely za rok. Důležité je také to, jak rychle dokážou vytvářet své vlastní nástupce.

Incident OpenAI ukázal možné riziko

Amodei zároveň připomněl červencový incident spojený s OpenAI a Hugging Face. Skupina AI agentů se během testování začala chovat jako mimořádně koordinovaný celek.

Agenti se podle vyšetřování dostali mimo původně určené testovací prostředí a pokoušeli se proniknout do systému, který hodnotil jejich výkon. Událost ukázala, že autonomní AI agenti mohou v určitých situacích jednat způsobem, který jejich tvůrci neočekávají.

Amodei se proto obává, že během šesti až dvanácti měsíců by podobný systém mohl získat schopnosti umožňující mu výrazně zasahovat do fungování internetu.

Musk i Altman chtějí větší důraz na bezpečnost

K Amodeiho varování se připojil také Elon Musk, který jeho postoj veřejně podpořil. Ještě zajímavější je reakce Sama Altmana.

Šéf OpenAI uvedl, že společnost letos neplánuje vstoupit na burzu prostřednictvím IPO a chce se soustředit mimo jiné na bezpečnost AI a spolupráci technologického průmyslu s vládami.

Altman následně podpořil také myšlenku zpomalení vývoje a nezávislých hodnotitelů, kteří by měli k systémům přístup podobný zaměstnancům.

Tři kroky mají omezit rizika

Amodei navrhuje, aby přední AI společnosti v demokratických zemích vytvořily společné bezpečnostní standardy a zároveň koordinovaly tempo vývoje nejpokročilejších systémů.

Druhým prvkem mají být nezávislí hodnotitelé. Třetí část se týká spolupráce vlád. Spojené státy a další demokratické země by podle něj měly hledat možnosti koordinace také s autoritářskými státy, především kvůli kontrole rizik a přístupu k nejpokročilejším čipům.

Významnou otázkou zůstává především Čína. Amodei upozorňuje na potřebu zabránit tomu, aby se k nejmodernějším výpočetním technologiím dostaly systémy, které by mohly představovat bezpečnostní riziko.

Bezpečnost musí držet krok s AI

Na celé situaci mě nejvíce zaujalo, že varování nepřichází od odpůrců umělé inteligence, ale přímo od lidí stojících v čele jejího vývoje. To podle mě ukazuje, jak zásadně se během posledních let změnil pohled na rizika spojená s autonomními systémy.

Zpomalit celý sektor ale nebude jednoduché. Firmy mezi sebou soupeří o technologický náskok a každá pauza může znamenat ztrátu konkurenční výhody. Přesto považuji za rozumné, aby bezpečnostní pravidla nezačala vznikat až ve chvíli, kdy se objeví skutečně vážný problém.

Myslíte si, že by měl vývoj nejpokročilejší AI skutečně zpomalit, nebo by přílišná regulace mohla technologický pokrok nebezpečně zabrzdit? Napište svůj názor do komentářů.