Tak jako jistě řada z vás, vyzkoušel jsem si také nový mód, který představil Anthropic, tedy Computer Use. O co se jedná? Umožníte modelu ovládat svůj počítač a on snímá obrazovku, jako by se na ni díval a díky multimodálnosti umí "číst" vizuálně dostupné informace, jako je poloha myši, kde jsou na ploše ikony aplikací a řadu dalších informací. Díky možnosti ovládat váš počítač pak může myší hýbat, klikat na ikony a provádět činnosti podobně, jako by je dělal člověk. V podstatě se jedná o zcela jiný přístup k tomu, čemu se říká AI agent. Tedy zcela autonomní způsob práce, kdy AI samo rozhoduje o sledu činností, které vykonává, aby dosáhlo zadaného úkolu/cíle. AI agenti v jiné podobě existují již dnes, ale jsou to spíše softwarové komponenty, které napojené na jazykové modely, alá ChatGPT dokáží vykonávat řadu činností zcela autonomně.
Co je na přístupu Anthropic zcela jiného, je jistým způsobem emulace způsobu práce člověka. Když pominu to, že nyní systém umí jen velmi omezenou sadu činností, navíc velmi pomalu, což se jistě může časem podstatně zlepšit, je podle mě zcela business omezující způsob jakým to dělá a z něj vyplývající náklady. Aby totiž takovýto systém fungoval musí Anthropic používat nejpokročilejší multimodální model Sonnet 3.5, aby byl schopen vyhodnotit obrazovky, které snímá. Multimodální znamená trénovaný pro pochopení a práci s textem, ale také obrazem (statickým a dynamickým) a zvukem. Úskalí tohoto typu modelu je pak rychlost a cena zpracovaných tokenů. Na základě mého testovaní, například pouhé otevření webového browseru Chrome na mém iMac stálo 1 Kč. To jsem si navíc jist, že i při té 1 Kč na tom sám Anthropic prodělal klidně další korunu.
Jakékoli využití agentů v reálném businessu musí být opodstatněno nákladově. Tedy velmi polopaticky řečeno, náklady na vykonávanou sada činností musí být levnější než u dalších možných způsobů jak danou činnost dělat. Drahý bude samozřejmě vždy člověk, ale o několik řádů je levnější třeba RPA. Robotic process automation (RPA) je softwarová technologie umožňující již mnoho let postavit softwarové, tedy žádné fyzické, roboty, které automaticky vykonávají činnosti jakoby emulovali interakci člověka se softwarem případně dalšími digitálními technologiemi. Přijít s technologií, která je pravděpodobně ještě dražší než člověk, není cesta. Byť přístup Anthropic je nabídnout zcela autonomní systém, ve většině případů v reálném businessu se jedná o popsané, repetetivní činnosti, kde jakákoli kreativita je zcela zbytečná. Důležitá je cena a produktivita, tedy počet operací za jednotku času.
Někdo může namítnout, že s rozsahem klesne cena. U generativního AI ovšem běžná úspora z rozsahu tak jednoduše neplatí. Velkou nákladovou položkou jsou GPU, kterých musíte mít tím více, čím jsou modely výkonnější a čím více lidí modely využívá. Jediná významnější úspora je zavádění energeticky méně náročných procesorů. Elektrická energie představuje významnou nákladovou položku. Naopak díky konkurenčnímu tlaku, zatím tady není žádný dominující poskytovatel LLM, jsou tokeny levnější než by samotné firmy poskytující modely chtěly. OpenAI se ve svém materiálu pro investory netajilo, že kdyby to šlo, zvednou podstatně cenu.
Na závěr bych si dovolil dát jedno doporučení, uvažuje li vaše firma o implementaci jakéhokoli řešení postaveného na komerčních GenAI modelech, měla by si analýzu investičních a provozních nákladů spočítat pro scénáře, kdy cena tokenů bude 5-10 dražší u menších modelů a 2x u velkých. U open source modelů provozovaných v komerčních cloudech ten násobek bude nižší, ale také tam bude zdražení ve chvíli, kdy to bude jen trochu možné. Firma by pak tyto náklady měla porovnat s jinými přístupy využití informačních technologií, třeba to zmiňované RPA a teprve poté udělat rozhodnutí o zavedení řešení postaveného na generativním AI.
Tato úvaha se ovšem netýká využití těch nejpokročilejších modelů jako tzv. co-inteligence, kdy pracovníci využívají tyto modely jako velmi schopné spolupracovníky. Platba u těchto služeb je na bázi měsíčního předplatného a i kdy by se cena zvýšila třeba na dvoj-trojnásobek stále je velmi nízká v porovnání s lidskými zdroji.
Comentarios