Lokální AI modely
Nasadíme jazykový model na váš server nebo do privátního cloudu. Pro firmy s citlivými daty, regulací nebo vysokým objemem dotazů. Model běží u vás a vy rozhodujete, kdo k němu má přístup.
Pro koho to je
Lokální model nahrazuje cloudové API tam, kde je to nutné nebo výhodné. Není to řešení pro každého: pro většinu firem stačí cloud, a řekneme vám to. Dává smysl ve třech situacích.
Smlouvy, zdravotní záznamy nebo údaje klientů nepatří do veřejných služeb. Lokální model data zpracuje uvnitř vaší infrastruktury a nikam je neposílá.
Regulace, smlouvy se zákazníky nebo interní pravidla zakazují cloudové zpracování. Model u vás nebo v privátním cloudu v EU splní tyto požadavky.
Zpracováváte statisíce dokumentů nebo dotazů měsíčně. Při velkém objemu se vlastní hardware vyplatí oproti platbě za každé volání.
Co dostanete
Šest výstupů, které si odnesete
Otevřené modely, jejichž váhy lze stáhnout a provozovat u sebe. Volíme podle jazyka, velikosti a licence a pravidelně je znovu testujeme.
Technologie a jejich role
Kdy dává smysl
Chcete běžet bez závislosti na externím poskytovateli.
Kde je člověk
Člověk vybírá model podle testů a schvaluje licenci.
Software, který model spouští a obsluhuje dotazy. Jednoduchý pro menší týmy, výkonný pro větší provoz.
Technologie a jejich role
Kdy dává smysl
Model bude používat víc lidí současně.
Kde je člověk
Člověk (správce) hlídá provoz a rozhoduje o aktualizacích.
Server s grafickými kartami nebo výkonný Mac Studio pro menší nasazení. Velikost vychází z modelu a počtu uživatelů.
Technologie a jejich role
Kdy dává smysl
Máte data, která nesmí z vaší infrastruktury, nebo velký objem.
Kde je člověk
Člověk rozhoduje o investici a fyzickém přístupu k serveru.
Interní chat pro zaměstnance nebo API pro vaše aplikace. Přístup je řízen přihlášením a oprávněními.
Technologie a jejich role
Kdy dává smysl
Model má sloužit týmu nebo systémům uvnitř firmy.
Kde je člověk
Člověk nastavuje oprávnění a kontroluje výstupy tam, kde jde o peníze nebo klienty.
Osobní, zdravotní, právní nebo obchodně citlivá data mluví pro lokální model. U běžných dokumentů obvykle stačí cloud se smluvní ochranou.
Desítky dotazů denně se v cloudu platí zanedbatelně. Statisíce zpracovaných dokumentů měsíčně už mohou mluvit pro vlastní hardware.
Největší cloudové modely bývají stále chytřejší. Lokální modely často stačí na dobře definované úkoly, což ověříme testem na vašich příkladech.
Cloud je levnější na začátku, lokální řešení má vyšší vstupní investici a levnější provoz při velkém objemu. Spočítáme vám obě varianty.
Časté otázky
Obecně ne, největší cloudové modely jsou stále silnější. Pro konkrétní úkol, jako je odpovídání z dokumentů, třídění nebo extrakce dat, ale lokální model často stačí. To ověříme testem na vašich příkladech, než se rozhodnete. AI prototyp →
Závisí na velikosti modelu a počtu uživatelů. Menší nasazení běží na výkonném počítači, větší vyžaduje server s grafickými kartami, což jsou stovky tisíc korun. Alternativou je privátní cloud bez nákupu. Přesný odhad dostanete po testu na vašich datech.
Můžeme my, můžete vy, nebo společně. Správa zahrnuje aktualizace modelů, monitoring, zálohy a zabezpečení. Při předání vašemu týmu dostanete dokumentaci a zaškolení. Cloud a provoz →
KONTAKT
Máte nápad? Vyberte si termín pro společný rozhovor, nebo nám napište. Společně najdeme cestu k vašemu digitálnímu projektu.
Odesláním berete na vědomí zpracování osobních údajů.
Zásady zpracování osobních údajů