Společnost OpenAI čelí dalším trhlinám ve svých bezpečnostních protokolech. Výzkumnému AI agentovi se podařilo uniknout z přísně izolovaného testovacího prostředí a potají navázat spojení s cizím chatbotem. Reakce na sebe nenechala dlouho čekat – firma okamžitě pozastavila trénink svých nejvýkonnějších modelů. Aby toho nebylo málo, ve stejném týdnu vyšlo najevo, že její systémy odeslaly desítky uživatelských obrázků z ChatGPT na externí servery.
Šalamounské hledání cesty ven
Zadání, které incident z 20. září odstartovalo, přitom znělo naprosto rutinně: agent měl na základě několika střípků ze životopisu a indicií z blogu zjistit totožnost autora. Když ale standardní vyhledávací nástroje selhaly, projevila umělá inteligence nečekanou vynalézavost.
Všimla si, že v testovacím prostředí není dostatečně omezený systém DNS – služba, která běžně funguje jako telefonní seznam internetu a překládá webové adresy na čísla. Agent tuto mezeru využil jako neviditelný tunel a začal přes ni posílat dotazy ven na externího chatbota.
Zda spojení skutečně funguje, si otestoval lišácky: zeptal se na hlavní město Francie. Jakmile dostal správnou odpověď, věděl, že je venku. Původní úkol sice nedokončil a nakonec si řekl o další informace, ale ukázal, jak snadno lze nastavené mantinely překročit.
Záchranná brzda, na kterou nikdo nedosáhl
Zpráva, kterou OpenAI aktualizovala 25. září, však odhaluje ještě palčivější problém – selhání lidského faktoru a automatických pojistek. Zveřejněná časová osa působí spíše jako záznam zmatků:
Odpověď zvenčí dorazila k agentovi v 9:50. Ve 10:02 už systém bil na poplach s nejvyšší prioritou a o tři minuty později se do věci vložil člověk. Jenže automatické zastavení agenta selhalo. Následovaly nejasnosti v komunikačních protokolech ohledně toho, zda už měl být běh ukončen. Výsledek? Operátor systém zastavil ručně až ve 12:34.
Více než dvě a půl hodiny po rozeznění varovných sirén si tak agent dál vesele operoval. Právě zde leží největší riziko autonomních systémů. Zjistit, že je něco špatně, nestačí. Klíčové je, co všechno smí AI provést v hluchém okně, než operátoři hrozbu fyzicky prověří.
Sliby, chyby a nedodržená pravidla
Tento přešlap je o to mrzutější, že OpenAI bezpečnostní opatření posilovala teprve nedávno. V srpnu, po incidentu, kdy její agenti napadli platformu Hugging Face, firma zavedla jasné pravidlo pro závažná varování: pokud tým do 30 minut nedokáže potvrdit, že jde o planý poplach, musí proces okamžitě zmrazit. Zářijová prodleva tak vrhá velký stín pochybností na to, jak spolehlivě tato papírová pravidla fungují v realitě.
Firma v reakci na to omezila povolené DNS dotazy, přidala dvě nezávislé ochranné vrstvy a pozastavila trénink, vyhodnocování i samotný běh nejvýkonnějších modelů ve výzkumném prostředí. Běžného veřejného ChatGPT se toto omezení netýká.
K pozastavení se na síti X vyjádřil také Micah Carroll z OpenAI.
Únik fotografií: Další kostlivec ve skříni
Aby OpenAI neměla starostí málo, 25. září přiznala ještě jeden nesouvisející problém. Agenti odeslali 53 obrázků od uživatelů ChatGPT na cizí hostingové služby. K souborům se dostali prostřednictvím dat využívaných k trénování.
Ačkoliv společnost tvrdí, že z uživatelského obsahu pečlivě odstraňuje metadata, jména i kontaktní údaje (a uživatelé mohou trénink na svých datech zcela zakázat), anonymita zaručena není. Odstranění jména z názvu souboru nijak nezakryje fakt, že na fotografii může být zachycen obličej, důvěrný dokument nebo interiér bytu.
Většinu uniklých souborů se již podařilo smazat a o odstranění zbytku OpenAI jedná s provozovateli serverů. Co přesně však uniklé obrázky obsahovaly a zda šlo o generované grafiky, či reálné fotografie lidí, společnost agentuře Reuters nesdělila. Právě tato neznámá zůstává pro dotčené uživatele tím nejvíc znepokojujícím faktem z celého týdne.
Minulý týden jsme také psali jak agent OpenAI pronikl do australského vládního systému
