Nemecká logistická spoločnosť s 1 200 zamestnancami vyriešila paralyzujúce preťaženie HR oddelenia nasadením open-source jazykového modelu Alibaba Qwen-72B na vlastnej infraštruktúre. Súkromie zamestnaneckých dát a prísne pravidlá GDPR neumožňovali využitie cloudových služieb, zatiaľ čo objem 2 500 administratívnych žiadostí mesačne vytváral masívne úzke hrdlo. Priemerná doba vybavenia bežnej požiadavky, ako je potvrdenie o príjme, zmena osobných údajov či dopyt na čerpanie dovolenky, dosahovala štyri pracovné dni. Nasadenie lokálneho veľkého jazykového modelu s 72 miliardami parametrov umožnilo plnú automatizáciu spracovania bez úniku citlivých údajov mimo firemnú sieť.
Technická architektúra a proces spracovania požiadaviek
Celý systém funguje na lokálnom serveri s dvoma akcelerátormi Nvidia A100 (80GB VRAM), čo zabezpečuje dostatočnú priepustnosť pre spracovanie stoviek požiadaviek denne. Model Qwen-72B vo forme kvantizácie INT8 spracováva prichádzajúce požiadavky z dvoch hlavných kanálov: internej webovej aplikácie a e-mailového asistenta.
Proces začína extrakciou textu a presnou kategorizáciou dopytu. Systém využíva architektúru RAG (Retrieval-Augmented Generation) napojenú na internú databázu smerníc, kolektívnych zmlúv a odpovedí na časté otázky. Pri nárokovateľných žiadostiach, akými sú potvrdenia pre úrady alebo zmeny bankových účtov, model generuje finálne odpovede a zároveň cez API rozhranie pripravuje predvyplnené záznamy priamo v ERP systéme SAP.
Model bol doladený pomocou techniky LoRA (Low-Rank Adaptation) na vzorke 10 000 historických anonymizovaných e-mailov a ticketov. Vďaka tomu rozumie špecifickej terminológii nemeckého pracovného práva a interným skratkám podniku. Ak dopyt vyžaduje ľudské posúdenie, systém ho automaticky zatriedi, priradí mu prioritu a HR špecialistovi predpripraví návrh odpovede spolu s odkazom na relevantnú sekciu legislatívy.
Príklad z praxe
- Firma: Stredne veľká logistická firma (1 200 zamestnancov), Nemecko
- AI riešenie: Alibaba Qwen-72B (lokálne nasadená open-weight verzia)
- Problém: HR oddelenie bolo preťažené spracovaním viac ako 2 500 formulárov a opakujúcich sa administratívnych dopytov mesačne, pričom priemerná doba vybavenia požiadavky bola 4 pracovné dni.
- Výsledok: Automatické vyriešenie 78 % štandardných HR dopytov bez zásahu človeka, skrátenie času spracovania na 3 minúty a úspora 35 % pracovného času HR špecialistov.
Merateľný dopad na prevádzku a návratnosť investície
Výsledky nasadenia open-source riešenia predčili pôvodné očakávania manažmentu. Z celkového počtu 2 500 mesačných dopytov dokáže model samostatne a bezchybne vyriešiť 78 % prípadov. Priemerný čas potrebný na vybavenie štandardnej požiadavky sa skrátil zo 4 dní na iba 3 minúty, čo výrazne zvýšilo spokojnosť zamestnancov v teréne aj v skladoch.
HR špecialisti získali späť 35 % svojho celkového pracovného času, ktorý dovtedy spotrebovávalo rutinné prepisovanie údajov a odpovedanie na stále sa opakujúce otázky. Tento oslobodený čas teraz investujú do náboru nového personálu a priameho rozvoja zamestnancov. Celková investícia do hardvéru a integrácie sa firme vrátila za necelých šesť mesiacov prevádzky, pričom prísne prevádzkové náklady predstavujú len spotrebu elektrickej energie lokálnych serverov.
Ponaučenie pre stredne veľké podniky
Skúsenosť logistickej firmy ukazuje, že open-weight modely dosiahli úroveň, kedy dokážu plnohodnotne nahradiť uzavreté cloudové API pri výrazne vyššej úrovni bezpečnosti. Pre firmy pôsobiace v regulovaných odvetviach alebo v krajinách s prísnymi nárokmi na ochranu osobných údajov predstavuje lokálne nasadenie pokročilých modelov jedinú priechodnú cestu k automatizácii.
Kľúčom k úspechu nebolo hľadanie univerzálneho nástroja, ale úzka špecializácia modelu prostredníctvom RAG architektúry a presné prepojenie s existujúcim ERP systémom. Podniky so stovkami až tisíckami zamestnancov už nemusia platiť vysoké mesačné poplatky za externe hostované služby s neistým spracovaním dát. Vlastná infraštruktúra prináša okamžitú úsporu nákladov, plnú kontrolu nad dátami a škálovateľnosť bez dodatočných poplatkov za každý spracovaný dopyt.