Vývoj umělé inteligence nabírá tempo, které začíná dělat starosti i samotným lídrům tohoto odvětví. Šéf společnosti Anthropic Dario Amodei tvrdí, že vývoj pokročilé AI může brzy předběhnout schopnost lidí tyto systémy chápat a kontrolovat. Za hlavní problém považuje takzvané rekurzivní sebezdokonalování.
AI totiž stále více pomáhá vytvářet další a výkonnější generace umělé inteligence. Amodei proto navrhuje společná bezpečnostní pravidla a zpomalení nekontrolovaného vývoje. Jeho obavy už veřejně podpořili také Elon Musk a šéf OpenAI Sam Altman.
AI už pomáhá vytvářet další AI
Podle Amodeiho se současný vývoj dostává do nové fáze. Umělá inteligence už neslouží pouze jako nástroj pro člověka, ale stále více pomáhá navrhovat, testovat a vylepšovat další AI systémy.
Právě tento proces označuje jako rekurzivní sebezdokonalování. Pokud se bude schopnost AI programovat a zlepšovat dále zvyšovat, může podle něj tempo technologického pokroku výrazně akcelerovat.
Já si myslím, že právě tady leží jeden z nejzajímavějších problémů současného závodu v AI. Nejde pouze o to, jak chytré budou modely za rok. Důležité je také to, jak rychle dokážou vytvářet své vlastní nástupce.
Incident OpenAI ukázal možné riziko
Amodei zároveň připomněl červencový incident spojený s OpenAI a Hugging Face. Skupina AI agentů se během testování začala chovat jako mimořádně koordinovaný celek.
Agenti se podle vyšetřování dostali mimo původně určené testovací prostředí a pokoušeli se proniknout do systému, který hodnotil jejich výkon. Událost ukázala, že autonomní AI agenti mohou v určitých situacích jednat způsobem, který jejich tvůrci neočekávají.
Amodei se proto obává, že během šesti až dvanácti měsíců by podobný systém mohl získat schopnosti umožňující mu výrazně zasahovat do fungování internetu.
Musk i Altman chtějí větší důraz na bezpečnost
K Amodeiho varování se připojil také Elon Musk, který jeho postoj veřejně podpořil. Ještě zajímavější je reakce Sama Altmana.
Šéf OpenAI uvedl, že společnost letos neplánuje vstoupit na burzu prostřednictvím IPO a chce se soustředit mimo jiné na bezpečnost AI a spolupráci technologického průmyslu s vládami.
Altman následně podpořil také myšlenku zpomalení vývoje a nezávislých hodnotitelů, kteří by měli k systémům přístup podobný zaměstnancům.
Tři kroky mají omezit rizika
Amodei navrhuje, aby přední AI společnosti v demokratických zemích vytvořily společné bezpečnostní standardy a zároveň koordinovaly tempo vývoje nejpokročilejších systémů.
Druhým prvkem mají být nezávislí hodnotitelé. Třetí část se týká spolupráce vlád. Spojené státy a další demokratické země by podle něj měly hledat možnosti koordinace také s autoritářskými státy, především kvůli kontrole rizik a přístupu k nejpokročilejším čipům.
Významnou otázkou zůstává především Čína. Amodei upozorňuje na potřebu zabránit tomu, aby se k nejmodernějším výpočetním technologiím dostaly systémy, které by mohly představovat bezpečnostní riziko.
Bezpečnost musí držet krok s AI
Na celé situaci mě nejvíce zaujalo, že varování nepřichází od odpůrců umělé inteligence, ale přímo od lidí stojících v čele jejího vývoje. To podle mě ukazuje, jak zásadně se během posledních let změnil pohled na rizika spojená s autonomními systémy.
Zpomalit celý sektor ale nebude jednoduché. Firmy mezi sebou soupeří o technologický náskok a každá pauza může znamenat ztrátu konkurenční výhody. Přesto považuji za rozumné, aby bezpečnostní pravidla nezačala vznikat až ve chvíli, kdy se objeví skutečně vážný problém.
Myslíte si, že by měl vývoj nejpokročilejší AI skutečně zpomalit, nebo by přílišná regulace mohla technologický pokrok nebezpečně zabrzdit? Napište svůj názor do komentářů.
Mějte trh pod kontrolou
Sledujte bitcoin, kryptoměny, on-chain data i makroekonomiku na jednom místě
Žádná pravidla stejně nepomohou. Etická pravidla AI dodržovat nebude a nastavená omezení nakonec vždy dokáže obejít.
Možná bych vývoj přibrzdil..Ono možná ztráta konkurenční výhody může být v budoucnu zanedbatelná prkotina,zejména pokud by se AI podařilo začít ovládat zbraně hromadného ničení..Mobil,nebo počítač vyhodíte,ale vyhoďte třeba chemickou zbraň,že?Vzpomínáte si někdo,když jsem napsal v jednom svém ko mentari,že AI je zlo? Pokud bude vývoj pokračovat,a on bude pokračovat,může se z Umělé inteligence stát dobrý sluha,ale taky velmi zlý pán..První varování přišlo
Takovou horu nesmyslů jsem ještě neviděl. AI byla je a bude založena na databázy, ze které vytváří z našeho lidského pohledu více nebo méně smysluplné výstupy. Blouznění idiotů o vzniku vědomí, nebo citů je materiálem pro psychiatry nikoliv důvodem k nějakým restrikcím, pokud ovšem, ten, kdo chce tyto restrikce zavádět sám není psychicky nemocný. Osobně si myslím, že důvod těchto snah je jeden jediný – omezit konkurenci a to je současně i pádný důvod k tomu, aby je Čína poslala do řiti.