Lokálna prevádzka generatívnych systémov umelej inteligencie

Viaceré modely generatívnych systémov AI (genAI) - predovšetkým jazykové (LLM) - sú vydané pod niektorou z licencií open-source, čo umožňuje v kontexte danej licencie pomerne slobodné nakladanie s modelom a jeho dátami.

Dôsledkom open-source prístupu je možnosť prevádzkovať modely genAI lokálne - t.j. na svojom vlastnom počítači a nezávisle od pripojenia k internetu a k systémom výrobcu.

Primárnou výhodou je nielen schopnosť prevádzkovať systém úplne lokálne bez akéhokoľvek pripojenia na internet, ale predovšetkým bezpečnosť a ochrana osobných údajov a citlivých dát, nakoľko tieto nie sú zdielané s výrobcom, resp. prevádzkovateľom systému AI (určité bezpečnostné riziká však stále môžu existovať – rozoberáme ich v 2. kapitole druhého, rozšíreného vydania knihy Umelá inteligencia – dobrý sluha a zlý pán).

Ako rizikový príklad, prečo môže byť vhodné prevádzkovať model genAI lokálne, môžeme uviesť špičkový čínsky model DeepSeek-R1, ktorý bol uvoľnený v januári 2025 a vyrovnal sa najlepším vtedajším západným modelom. Jeho prevádzka cez webové služby a oficiálne aplikácie bola však natoľko riziková, že i Národný bezpečnostný úrad vydal oficiálne varovanie.
NBÚ upozorňuje, že DeepSeek zbiera od používateľov dáta v oveľa väčšom rozsahu ako konkurencia. Dáta zahŕňajú dokonca presné časovanie stlačení jednotlivých klávesov, zadané pokyny (prompty), heslá, vkladané obrázky, audio súbory, dokumenty, ale aj IP adresu počítača, z ktorého je služba DeepSeek využívaná, systémový jazyk a podobne. Informácie sú následne ukladané na servery v Číne.

Výhody môžeme vo všeobecnosti zhrnúť nasledovne:

súkromie - dáta, generované výstupy i celá interakcia zostávajú na lokálnom počítači;
dostupnosť - nástroje AI sú dostupné nezávisle od pripojenia na internet a na finančne i výkonovo dostupnom technologickom vybavení;
úspora nákladov - služby AI sú dostupné bez akýchkoľvek poplatkov;
prispôsobiteľnosť - modely AI je možné upraviť podľa svojich špecifických potrieb;
príležitosť na vzdelávanie - možnosť nadobudnúť praktické skúsenosti s využívaním a konfiguráciou technológií AI;
rýchlosť - lokálne spracovanie môže vo viacerých scenároch využitia znamenať rýchlejšie vykonávanie úloh a promptnejšie odozvy (záleží od viacerých výkonových parametrov počítača).

Naviac - ak berieme do úvahy konkrétny, napr. nižšie uvedený nástroj ollama - v rámci lokálnej prevádzky je možné využívať viaceré verzie rovnakých modelov, či už na základe hardvérových možností a/alebo konkrétnych modifikácií a konfigurácií (využíva sa primárne tzv. technika quantization a formát GGUF).

Nevýhodou je nedostupnosť niektorých možností a pokročilých funkcií, ktoré môžu byť viazané na prístup k internetu, externým nástrojom, veľkému výkonu alebo cloudu (napr. aktuálne informácie z vyhľadávačov, resp. vedeckých databáz, ktoré by pri generovaní správnej odpovede systém potreboval poznať,...).
Pri veľmi intenzívnom využívaní tiež môže byť relevantná zvýšená energetická spotreba lokálnej výpočtovej techniky.

ollama - využívanie modelov genAI lokálne

Kvalitnú podporu pre open-source systémy AI ponúka projekt ollama, ktorý zabezpečuje beh veľkých jazykových a vizuálnych modelov, ktoré boli vydané ako tzv. open, resp. pod niektorou z licencií open-source (DeepSeek, Llama, Mistral, Phi-4, Gemma a niekoľko desiatok ďalších).

Ollama ponúka flexibilitu pri vytváraní prispôsobených jazykových modelov a spúšťaní viacerých vopred pripravených predtrénovaných modelov. Navyše je úplne open-source, čo podporuje transparentnosť a zapojenie komunity.

Nástroj ollama je k dospozícii pre rôzne platformy (MS Windows, MacOS, GNU/Linux, docker,...) a s možnosťou integrácie s ďalšími nástrojmi (od softvérových knižníc a databáz až po Apple Vision Pro).

Príklad lokálneho využívania modelu DeepSeek-R1:

inštalácia modelu: ollama pull deepseek-r1
využívanie modelu: ollama run deepseek-r1

Ollama neobsahuje grafické rozhranie (s modelmi je možné pracovať pomocou príkazového riadku Ollama priamo z terminálu), je ho však možné kombinovať s niektorou z existujúcich samostatných grafických nadstavieb alebo rozšírení.

Príklad jednoduchej lokálnej inštalácie na počítačoch s GNU/Linux

Dobrou voľbou je grafické rozhranie Alpaca, ktoré je dostupné i prostredníctvo Flathubu, pričom integruje i samotný systém ollama (od verzie 5.1.0 vo forme pluginu), takže netreba nič ďalšie inštalovať a po spustení Alpaca stačí len v časti Manage Models (Ctrl+M) spravovať modely AI, ktoré chceme lokálne využívať.

Ďalšie možnosti pre grafickú integráciu

Grafické rozhrania, prístupy k ollama prostredníctvom webových stránok a softvérové knižnice pre integráciu s inými nástrojmi a systémami realizujú viaceré samostatné open-source projekty. Ich zoznam je dostupný na stránke GitHub:Ollama v časti Reedme/Community Integrations.

LM Studio – ďalšia možnosť lokálnej prevádzky modelov genAI

Ďalšou z možností lokálnej prevádzky generatívnych modelov, ktorú môžeme odporúčať, je LM Studio.

Poskytuje širšiu škálu funkcií, ako je vyhľadávanie, sťahovanie a prevádzku lokálnych LLM, pričom disponuje integrovanými chatovacími rozhraniami a kompatibilitou s lokálnymi servermi typu OpenAI.

LM Studio je vo všeobecnosti považované za užívateľsky prívetivejšie ako Ollama a ponúka aj väčšiu škálu modelov pochádzajúcich z miest ako Hugging Face. (Pozor však na bezpečnostné riziká, ktoré sa môžu v súvislosti s modelmi na platformách ako Hugging Face vyskytnúť. Rozoberáme ich v 2. kapitole druhého, rozšíreného vydania knihy Umelá inteligencia – dobrý sluha a zlý pán).

Porovnanie vlastností Ollama a LM Studio

V zásade Ollama i LM Studio sú predmetom intenzívneho vývoja a pridávania nových funkcií - záleží len na používateľovi, ktorý z nich bude využívať.

Výhody Ollama:

kombinácia Ollama/Alpaca je jednoduchá na nasadenie a použitie i pre začiatočníkov a netechnických používateľov;
"čisté" Ollama poskytuje výkon a flexibilitu, ktoré vyžadujú vývojári a pokročilí používatelia: vhodné pre používateľov, ktorí chcú mať plnú kontrolu, rozsiahle možnosti prispôsobenia a bezproblémovú integráciu s vlastnými systémami;
rozhranie príkazového riadku umožňuje efektívne skriptovanie a automatizáciu úloh LLM;
systém je flexibilný pri vytváraní prispôsobených modelov (rozsiahla kontrola nad parametrami modelu, nastaveniami vykonávania a konfiguráciami systému);
rýchly a na zdroje pomerne nenáročný (lightweight) systém;
silný ekosystém nástrojov tretích strán (nielen grafické rozhrania);
open-source systém, čo tvorí základ pre transparentnosť a zapojenie komunity;
podpora operačných systémov: dostupnosť pre všetky hlavné operačné systémy (osobitne pre Linux a macOS) a procesory s podporou AVX.

Výhody LM Studio:

ideálne pre rýchle a jednoduché nasadenie;
širšia množina funkcií, vrátane vyhľadávania, sťahovania a spúšťania lokálnych LLM, spolu s rozhraním pre chat v aplikácii a kompatibilitou s lokálnym serverom kompatibilným s OpenAI;
prívetivejšie používateľské rozhranie (v porovnaní priamo s Ollama, ktorého jednotlivé grafické nadstavby sú však tiež na úrovni);
vynikajúca dokumentácia a podpora komunity;
profesionálne SDK pre Python a TypeScript;
ponúka širší výber modelov zo zdrojov ako Hugging Face (používateľ však musí vedieť, čo robí, inak si spôsobí bezpečnostný problém);
podpora operačných systémov: k dispozícii pre M1/M2/M3 Mac (optimalizácia pre Apple Silicon je vynikajúca) alebo Windows PC s procesorom, ktorý podporuje AVX2. Linux je k dispozícii v beta verzii.

Záujemcov o hlbšie porovnanie a ďalšie zaujímavé informácie môžeme odkázať na viacero príspevkov:

Obsah tohto príspevku je súčasťou pripravovaného Druhého, rozšíreného vydania knihy Umelá inteligencia – dobrý sluha a zlý pán?

Publikované/aktualizované dňa 21.08.2025

Peter Šantavý Technológie v službe evanjelia a ľudstva