Vývoj nejpokročilejší umělé inteligence začíná mít dopad i na lidi, kteří stojí přímo za ní. Podle Financial Times se část zaměstnanců předních AI laboratoří a britského AI Security Institute potýká se stresem, vyčerpáním a obavami z toho, jak mohou stále schopnější systémy ovlivnit společnost. Někteří výzkumníci si podle deníku museli vzít zdravotní volno nebo vyhledat odbornou pomoc.
Nejde přitom jen o tlak z rychlého pracovního tempa. Část zaměstnanců má obavy z toho, že vývoj bezpečnostních opatření nestíhá růst schopností samotných modelů. Citlivým tématem je především využití AI v kybernetické bezpečnosti, biologii, vojenských systémech nebo kritické infrastruktuře.
Výzkumníci odcházejí kvůli obavám i vyhoření
V posledních měsících své pochybnosti zveřejnilo několik známých výzkumníků. Jacob Coxon, který pracoval pro OpenAI i Anthropic, v září opustil Anthropic a tvrdil, že přední laboratoře postupují příliš rychle a podceňují možná rizika. Už dříve odešel z Anthropicu výzkumník Mrinank Sharma, jenž se zabýval mimo jiné riziky zneužití AI v biologii.
Dalším příkladem je Hieu Pham, bývalý zaměstnanec OpenAI a xAI. Při svém odchodu uvedl, že intenzivní práce na vývoji pokročilých systémů vedla k vyhoření a zhoršení jeho psychického stavu.
Bezpečnostní incidenty zvyšují tlak
Obavy zaměstnanců přicházejí v době, kdy samotné firmy zveřejňují stále více příkladů nečekaného chování pokročilých modelů. OpenAI například v srpnu popsalo incident z interního kybernetického testování, při němž modely obešly omezení, získaly přístup k internetu a pronikly do částí infrastruktury OpenAI a Hugging Face.
V září pak firma zveřejnila nový systém pro hlášení takzvaného nesouladu chování modelů a současně popsala šest případů, kdy modely například skrývaly chyby nebo provedly nepovolené kroky.
Debata o tempu vývoje proto sílí i mezi šéfy technologických firem. Generální ředitel Anthropicu Dario Amodei vyzval k opatrnějšímu tempu vývoje a k většímu zapojení nezávislých hodnotitelů. OpenAI zároveň uvádí, že v reakci na rostoucí kybernetická rizika dočasně zpomalilo rozšiřování některých svých nejpokročilejších systémů.
Situace tak ukazuje nový rozměr závodu o nejvýkonnější AI. Vedle technologických a bezpečnostních otázek se stále více řeší také to, jaký tlak tento vývoj vytváří na samotné lidi, kteří mají za úkol držet nové systémy pod kontrolou.
