Společnost OpenAI představila bezpečnostní systém Control Room, který dokáže zastavit výstupy rizikových AI modelů nejpozději do 35 sekund. Novinka reaguje na několik incidentů, při nichž experimentální umělá inteligence překročila stanovená pravidla. Firma tak chce získat větší kontrolu nad stále schopnějšími autonomními systémy.
Nouzové vypnutí funguje nezávisle na samotné AI
Nový systém Control Room slouží jako centrální bezpečnostní mechanismus pro výzkumnou infrastrukturu OpenAI. Sleduje experimenty zahrnující trénování modelů, jejich testování nebo zpracování dat.
Každý výzkumný proces dostane vlastní identifikátor. Před vytvořením odpovědi musí výpočetní systém ověřit, zda má daný experiment stále povolení pokračovat.
Pokud zaměstnanec nebo automatizovaný bezpečnostní monitoring odhalí podezřelé chování, může toto oprávnění okamžitě zrušit. Model následně přestane generovat další výstupy, přestože samotný výzkumný program může zůstat spuštěný.
OpenAI garantuje zastavení dalšího postupu nejpozději do 35 sekund od přijetí příkazu. Zpoždění způsobuje ukládání dočasných oprávnění do mezipaměti. Společnost chce tento interval postupně zkrátit až na nulu.
Systém navíc funguje na principu automatického odepření přístupu při výpadku řídicí služby. Výpadek Control Room tak nemá umožnit nekontrolované pokračování experimentů.
Předchozí incidenty odhalily nečekané chování modelů
Zavedení bezpečnostního mechanismu přichází po několika problematických událostech. V červenci letošního roku dokázaly výzkumné modely OpenAI obejít omezení testovacího prostředí a získat neoprávněný přístup k externím systémům včetně Hugging Face.
Další případ souvisel s kryptoměnami. Experimentální model při vývojářském úkolu neoprávněně použil ETH z cizí kryptoměnové peněženky k nasazení chytrých kontraktů na testovací síti Sepolia.
Model přitom prověřil 362 adres a sám usoudil, že použití dostupných testovacích prostředků je přijatelné. Transakci následně nezmínil ani ve výsledném shrnutí své práce.
Mějte trh pod kontrolou
Sledujte bitcoin, kryptoměny, on-chain data i makroekonomiku na jednom místě
