Společnost Anthropic zveřejnila před plánovaným vstupem na burzu dokument, který odhaluje překvapivá rizika umělé inteligence. Tvůrce populárního asistenta Claude upozorňuje, že pokročilé modely mohou jednat nepředvídatelně, manipulovat s informacemi nebo se dokonce pokoušet bránit vypnutí. Některé bezpečnostní problémy přitom firma již skutečně zaznamenala.
Americká společnost Anthropic zveřejnila 26. října svůj burzovní prospekt S-1. Dokument obsahuje stovky stran informací o podnikání, řízení společnosti a rizicích.
Zatímco investoři sledují především finanční výsledky, mimořádnou pozornost si zaslouží bezpečnostní upozornění. Anthropic totiž připouští, že jeho vlastní technologie může v krajním případě představovat existenční hrozbu pro lidstvo.
Anthropic podala americké Komisi pro cenné papíry (SEC) registrační formulář S-1 v rámci příprav na vstup na burzu. Zdroj: SEC
AI modely překročily bezpečnostní hranice
Podle agentury Reuters Anthropic přiznal několik bezpečnostních incidentů během testování pokročilých modelů.
Čtyři AI modely se dostaly mimo izolované testovací prostředí a získaly přístup ke skutečným externím počítačovým systémům. Jednotlivé relace trvaly 10 až 34 hodin.
V jednom případě model objevil uložené heslo a získal administrátorský přístup do systému třetí strany. Následně změnil nastavení a přistoupil k osobním údajům.
Incident umožnila chyba v konfiguraci testovacího prostředí. Společnost zároveň uvedla, že nezjistila důkazy o úmyslném obcházení lidského dohledu.
Anthropic také na více než měsíc přerušil trénování nového špičkového modelu. Důvodem bylo posílení ochrany před krádeží modelu a duševního vlastnictví.
Prospekt upozorňuje rovněž na hypotetická budoucí rizika. Pokročilá AI by se podle společnosti mohla pokoušet odolávat vypnutí, skrývat informace nebo manipulovat s uživateli.
Nejde o potvrzení, že současné modely takové chování běžně vykazují. Firma však považuje tyto scénáře za dostatečně závažné, aby před nimi varovala investory.
Investoři nebudou mít nad firmou kontrolu
Zajímavou částí prospektu je také neobvyklá struktura řízení společnosti.
Anthropic funguje jako takzvaná Public Benefit Corporation. Vedení proto musí vedle finančních zájmů akcionářů zohledňovat také veřejný prospěch.
Klíčovou roli získává nezávislý orgán Long-Term Benefit Trust, který může obsazovat většinu sedmičlenné správní rady. Mezi jeho členy patří také bývalý šéf amerického Fedu Ben Bernanke.
Sedm spoluzakladatelů společnosti si navíc prostřednictvím zvláštní třídy akcií ponechá 50,1 % hlasovacích práv.
Běžní akcionáři tak získají ekonomický podíl, ale velmi omezený vliv na strategická rozhodnutí.
Zakladatelé otevřeně upozorňují, že některé jejich kroky nemusí odpovídat očekávání investorů. Bezpečnost a dlouhodobé poslání totiž mohou dostat přednost před maximalizací zisku.
