Lokálna prevádzka generatívnych systémov umelej inteligencie

Viaceré modely generatívnych systémov AI (genAI) - predovšetkým jazykové (LLM) - sú vydané pod niektorou z licencií open-source, čo umožňuje v kontexte danej licencie pomerne slobodné nakladanie s modelom a jeho dátami.

Dôsledkom open-source prístupu je možnosť prevádzkovať modely genAI lokálne - t.j. na svojom vlastnom počítači a nezávisle od pripojenia k internetu a k systémom výrobcu.

Primárnou výhodou je nielen schopnosť prevádzkovať systém úplne lokálne bez akéhokoľvek pripojenia na internet, ale predovšetkým bezpečnosť a ochrana osobných údajov a citlivých dát, nakoľko tieto nie sú zdielané s výrobcom, resp. prevádzkovateľom systému AI.

Ako rizikový príklad, prečo môže byť vhodné prevádzkovať model genAI lokálne, môžeme uviesť špičkový čínsky model DeepSeek-R1, ktorý bol uvoľnený v januári 2025 a vyrovnal sa najlepším vtedajším západným modelom. Jeho prevádzka cez webové služby a oficiálne aplikácie bola však natoľko riziková, že i Národný bezpečnostný úrad vydal oficiálne varovanie.
NBÚ upozorňuje, že DeepSeek zbiera od používateľov dáta v oveľa väčšom rozsahu ako konkurencia. Dáta zahŕňajú dokonca presné časovanie stlačení jednotlivých klávesov, zadané pokyny (prompty), heslá, vkladané obrázky, audio súbory, dokumenty, ale aj IP adresu počítača, z ktorého je služba DeepSeek využívaná, systémový jazyk a podobne. Informácie sú následne ukladané na servery v Číne.

Výhody môžeme vo všeobecnosti zhrnúť nasledovne:

súkromie - dáta, generované výstupy i celá interakcia zostávajú na lokálnom počítači;
dostupnosť - nástroje AI sú dostupné nezávisle od pripojenia na internet a na finančne i výkonovo dostupnom technologickom vybavení;
úspora nákladov - služby AI sú dostupné bez akýchkoľvek poplatkov;
prispôsobiteľnosť - modely AI je možné upraviť podľa svojich špecifických potrieb;
príležitosť na vzdelávanie - možnosť nadobudnúť praktické skúsenosti s využívaním a konfiguráciou technológií AI;
rýchlosť - lokálne spracovanie môže vo viacerých scenároch využitia znamenať rýchlejšie vykonávanie úloh a promptnejšie odozvy.

Naviac - ak berieme do úvahy konkrétny, nižšie uvedený nástroj ollama - v rámci lokálnej prevádzky je možné využívať viaceré verzie rovnakých modelov, či už na základe hardvérových možností a/alebo konkrétnych modifikácií a konfigurácií (využíva sa primárne tzv. technika quantization a formát GGUF).

Nevýhodou je nedostupnosť niektorých možností a pokročilých funkcií, ktoré môžu byť viazané na prístup k internetu, externým nástrojom, veľkému výkonu alebo cloudu (napr. aktuálne informácie z vyhľadávačov, resp. vedeckých databáz, ktoré by pri generovaní správnej odpovede systém potreboval poznať,...).
Pri veľmi intenzívnom využívaní tiež môže byť relevantná zvýšená energetická spotreba lokálnej výpočtovej techniky.

ollama - využívanie modelov genAI lokálne

Kvalitnú podporu pre open-source systémy AI ponúka projekt ollama, ktorý zabezpečuje beh veľkých jazykových a vizuálnych modelov, ktoré boli vydané pod licenciou open-source (DeepSeek, Llama, Mistral, Phi-4, Gemma a niekoľko desiatok ďalších).

Nástroj ollama je k dospozícii pre rôzne platformy (MS Windows, MacOS, GNU/Linux, docker,...) a s možnosťou integrácie s ďalšími nástrojmi (od softvérových knižníc a databáz až po Apple Vision Pro).

Príklad lokálneho využívania modelu DeepSeek-R1:

inštalácia modelu: ollama pull deepseek-r1
využívanie modelu: ollama run deepseek-r1

Ollama neobsahuje grafické rozhranie, je ho však možné kombinovať s niektorou z existujúcich samostatných grafických nadstavieb alebo rozšírení.

Príklad jednoduchej lokálnej inštalácie na počítačoch s GNU/Linux

Dobrou voľbou je grafické rozhranie Alpaca, ktoré je dostupné i prostredníctvo Flathubu, pričom integruje i samotný systém ollama (od verzie 5.1.0 vo forme pluginu), takže netreba nič ďalšie inštalovať a po spustení Alpaca stačí len v časti Manage Models (Ctrl+M) spravovať modely AI, ktoré chceme lokálne využívať.

Ďalšie možnosti pre grafickú integráciu

Grafické rozhrania, prístupy k ollama prostredníctvom webových stránok a softvérové knižnice pre integráciu s inými nástrojmi a systémami realizujú viaceré samostatné open-source projekty. Ich zoznam je dostupný na stránke GitHub:Ollama v časti Reedme/Community Integrations.

Obsah tohto príspevku je súčasťou pripravovaného Druhého, rozšíreného vydania knihy Umelá inteligencia – dobrý sluha a zlý pán?

Publikované/aktualizované dňa 10.03.2025

Peter Šantavý Technológie v službe evanjelia a ľudstva

Lokálna prevádzka generatívnych systémov umelej inteligencie

ollama - využívanie modelov genAI lokálne

Novinky

Súvisiace odkazy