OpenAI představilo nový režim Ultrafast, který má výrazně zrychlit práci s jeho vlajkovým modelem GPT-5.6 Sol. Podle firmy dokáže nový režim generovat až 750 výstupních tokenů za sekundu a proti standardnímu zpracování může být až čtrnáctkrát rychlejší. Zatím ale nejde o funkci dostupnou běžně všem uživatelům ChatGPT.
Až 750 tokenů za sekundu
Ultrafast je nový výkonnostní režim, který OpenAI 13. srpna představilo nejprve pro své API. Firma tím chce odstranit kompromis, kdy si vývojáři kvůli nízké latenci často vybírali menší nebo specializované modely. GPT-5.6 Sol má v režimu Ultrafast nabídnout schopnosti vlajkového modelu, ale odpovědi generovat v podstatně kratším čase.
Pro srovnání, OpenAI už na konci července spustilo režim Fast, který u GPT-5.6 Sol dosahuje až 2,5násobku rychlosti standardního zpracování. Ultrafast tak představuje výrazně agresivnější posun zaměřený na úlohy, kde je rychlost reakce zásadní.
Podle OpenAI se nový režim hodí například pro následující oblasti:
- řešení technických incidentů
- analýza finančních trhů a podezřelých transakcí
- zákaznická podpora
- hlasoví asistenti a e-commerce
Firma uvádí také výzkumné úlohy, kde by rychlejší zpracování mohlo zkrátit cyklus mezi spuštěním experimentu, vyhodnocením výsledků a dalším pokusem.
Cerebras pomáhá s extrémně rychlou AI
Za vysokou rychlostí stojí spolupráce OpenAI se společností Cerebras, která poskytuje infrastrukturu pro nízkolatenční inference. Partnerství má umožnit provozovat GPT-5.6 Sol rychlostí, která se dosud spojovala spíše s menšími modely.
OpenAI už Ultrafast testuje s prvními firmami v oblastech programování, financí, obchodu nebo podpory. Mezi zveřejněnými partnery jsou například Jane Street, Podium, Basis a Rogo. Samotné OpenAI režim využívá také při reakci na technické incidenty a při interním výzkumu.
Ultrafast je nyní pouze v omezeném preview pro vybranou skupinu zákazníků. OpenAI plánuje přístup postupně rozšiřovat podle dostupné kapacity. Pro běžné uživatele ChatGPT tak zatím nejde o nový přepínač, ale především o technologii určenou pro firemní a vývojářské nasazení.
