# Lokální AI modely

URL: https://www.virtuex.cz/co-tvorime/ai/lokalni-modely
Slib: AI, se kterou data neopustí firmu.

**AI, se kterou data neopustí firmu.**

Nasadíme jazykový model na váš server nebo do privátního cloudu. Pro firmy s citlivými daty, regulací nebo vysokým objemem dotazů. Model běží u vás a vy rozhodujete, kdo k němu má přístup.

## Pro koho

- **Pracujete s osobními, zdravotními nebo právními daty.** Smlouvy, zdravotní záznamy nebo údaje klientů nepatří do veřejných služeb. Lokální model data zpracuje uvnitř vaší infrastruktury a nikam je neposílá.
- **Nesmíte posílat data mimo EU nebo firmu.** Regulace, smlouvy se zákazníky nebo interní pravidla zakazují cloudové zpracování. Model u vás nebo v privátním cloudu v EU splní tyto požadavky.
- **Volání API vás při vašem objemu stojí příliš.** Zpracováváte statisíce dokumentů nebo dotazů měsíčně. Při velkém objemu se vlastní hardware vyplatí oproti platbě za každé volání.

## Co dodáváme

- **Výběr modelu:** Z dostupných otevřených modelů vybereme ten, který nejlépe zvládá váš úkol a jazyk, při přijatelných nárocích na hardware.
- **Návrh a dodání hardwaru nebo serveru:** Doporučíme potřebný výkon a pomůžeme s nákupem a zprovozněním, případně se zajištěním místa v privátním cloudu.
- **Instalace a zabezpečení:** Nasadíme model, nastavíme přístupy, šifrování a logování. Přístup mají jen určení lidé a systémy.
- **Napojení na vaše aplikace:** Model je dostupný přes rozhraní a interní chat. Napojíme ho na dokumenty, aplikace i automatizace.
- **Testy kvality proti cloudovým modelům:** Na vašich příkladech porovnáme lokální a cloudový model. Uvidíte rozdíl v přesnosti, rychlosti a ceně.
- **Údržba a aktualizace modelů:** Sledujeme nové verze, testujeme je a nasazujeme, aby řešení nezastaralo. Plus monitoring výkonu a zálohy.

## Varianty a nástroje

- **Modely:** Otevřené modely, jejichž váhy lze stáhnout a provozovat u sebe. Volíme podle jazyka, velikosti a licence a pravidelně je znovu testujeme. (Llama, Mistral, Qwen a další)
- **Běh:** Software, který model spouští a obsluhuje dotazy. Jednoduchý pro menší týmy, výkonný pro větší provoz. (Ollama, vLLM, Monitoring)
- **Hardware:** Server s grafickými kartami nebo výkonný Mac Studio pro menší nasazení. Velikost vychází z modelu a počtu uživatelů. (GPU server, Mac Studio, Privátní cloud)
- **Rozhraní:** Interní chat pro zaměstnance nebo API pro vaše aplikace. Přístup je řízen přihlášením a oprávněními. (Interní chat, API, Oprávnění)

## Časté otázky

**Je lokální model stejně chytrý jako ChatGPT?**

Obecně ne, největší cloudové modely jsou stále silnější. Pro konkrétní úkol, jako je odpovídání z dokumentů, třídění nebo extrakce dat, ale lokální model často stačí. To ověříme testem na vašich příkladech, než se rozhodnete.

**Kolik stojí hardware?**

Závisí na velikosti modelu a počtu uživatelů. Menší nasazení běží na výkonném počítači, větší vyžaduje server s grafickými kartami, což jsou stovky tisíc korun. Alternativou je privátní cloud bez nákupu. Přesný odhad dostanete po testu na vašich datech.

**Kdo ho bude spravovat?**

Můžeme my, můžete vy, nebo společně. Správa zahrnuje aktualizace modelů, monitoring, zálohy a zabezpečení. Při předání vašemu týmu dostanete dokumentaci a zaškolení.

---
Zdroj: https://www.virtuex.cz/co-tvorime/ai/lokalni-modely
Kontakt: info@virtuex.cz, +420 774 865 508
Další služby: https://www.virtuex.cz/llms.txt