Preťaženie zákazníckej linky počas sezónnych výpredajov a vysoká miera vratiek oblečenia priviedli nemeckého predajcu módy so 150 zamestnancami k nasadeniu vlastného open-weight AI asistenta na báze architektúry GLM a Llama. Spoločnosť narážala na limity komerčných modelov, ktoré pri miliónoch interakcií generovali neudržateľné API poplatky a neposkytovali dostatočnú kontrolu nad zákazníckymi dátami. Nasadením lokálne hostovaného otvoreného modelu e-shop vyriešil škálovanie zákazníckeho servisu aj presnosť odporúčania veľkostí bez odosielania citlivých údajov tretím stranám.
Technická architektúra a fine-tuning open-weight modelu
Inžiniersky tím e-shopu zvolil stratégiu nasadenia jemne doladeného (fine-tuned) open-weight modelu Llama v kombinácii s GLM pre špecifické jazykové úlohy. Tréningový súbor obsahoval pol milióna anonymizovaných konverzácií zo zákazníckej podpory, tabuľky rozmerov viac ako 50 000 produktov a historické dáta o nákupnom správaní a vratkách.
Proces spracovania požiadavky prebieha v troch krokoch:
- Sémantická analýza a zámer: Vstupná správa zákazníka prejde cez lightweight klasifikátor, ktorý určí zámer – či ide o sledovanie zásielky, reklamáciu alebo poradenskú službu pri výbere veľkosti.
- RAG s produktovou databázou: Pri odporúčaní veľkosti model využíva architektúru Retrieval-Augmented Generation (RAG). Asistent spája dáta o konkrétnom strihu značky s predošlými nákupmi a vratkami daného používateľa. Ak si zákazník kupuje značku s užším strihom, asistent automaticky odporučí väčšie číslo.
- Generovanie odpovede a akcií: Model generuje štruktúrovanú odpoveď v reálnom čase s latenciou pod 400 milisekúnd. Integrácia cez interné API umožňuje asistentovi priamo generovať návratové štítky alebo meniť doručovaciu adresu v systéme ERP bez zásahu ľudského operátora.
Pre optimalizáciu hardvérových nákladov prebieha inferencia na vlastnej infraštruktúre s využitím kvantizácie na NVIDIA H100 akcelerátoroch. Tým sa podarilo znížiť prevádzkové náklady na jednu interakciu o viac ako 80 % v porovnaní s proprietárnymi API ako GPT-4.
Príklad z praxe
- Firma: Stredne veľký e-commerce predajca módy (150 zamestnancov), Nemecko
- AI riešenie: Vlastný AI nákupný asistent postavený na jemne doladenom open-weight modeli GLM/Llama
- Problém: Preťaženie zákazníckej podpory počas sezónnych výpredajov, vysoká miera vratiek tovaru kvôli nesprávnemu výberu veľkostí a vysoké API náklady pri využívaní komerčných AI modelov
- Výsledok: Zníženie nákladov na zákaznícku podporu o 38 %, pokles miery vratiek tovaru o 16 % a zvýšenie konverzného pomeru odporúčaných produktov o 22 % v druhom polroku 2024
Merateľné prínosy v druhom polroku 2024
Nasadenie vlastného AI asistenta prinieslo okamžitý efekt na finančné ukazovatele aj operatívu spoločnosti. V druhom polroku 2024 dokázal systém plne automatizovať 64 % prichádzajúcich zákazníckych požiadaviek bez nutnosti prepojenia na ľudského operátora. Operátori sa vďaka tomu sústredili výhradne na komplexné reklamácie a špeciálne požiadavky.
Vďaka presnejšiemu odporúčaniu veľkostí na základe RAG architektúry klesla celková miera vratiek tovaru o 16 %. V segmente obuvi a priliehavého oblečenia bol pokles až 21 %. Tento posun znížil logistické náklady spojené so spracovaním vratiek a rebalansovaním skladových zásob.
Z pohľadu predaja priniesol personalizovaný nákupný asistent 22-percentný nárast konverzného pomeru pri odporúčaných produktoch. Zákazníci, ktorí interagovali s AI asistentom, do nákupného košíka vkladali o 14 % viac produktov než používatelia vyhľadávajúci cez štandardný vyhľadávací panel.
Celkový dopad na rozpočet predstavoval zníženie nákladov na prevádzku zákazníckej podpory o 38 %. Úspora vyplynula z kombinácie nižších personálnych nákladov na sezónnych brigádnikov a absencie poplatkov za komerčné tokeny.
Odporúčania pre e-commerce firmy
Prípad nemeckého predajcu ukazuje, že open-weight modely ako Llama či GLM dosiahli úroveň, kedy dokážu plne nahradiť drahé komerčné API pri špecifických doménových úlohách. Pre stredne veľké e-shopy z toho vyplývajú tri kľúčové stratégie:
- Investícia do vlastných dát: Hodnota AI asistenta nepochádza zo samotného univerzálneho modelu, ale z kvality tréningových dát a prepojenia na interné ERP a CRM systémy.
- Nezávislosť a bezpečnosť: Prevádzkou modelu na vlastnej infraštruktúre firma získava plnú kontrolu nad dátami zákazníkov a chráni sa pred náhlym zvýšením cien API poskytovateľov.
- Prepojenie podpory a predaja: Zákaznícky servis nefunguje len ako nákladové stredisko. Správne navrhnutý AI asistent dokáže v jednom dialógu vyriešiť problém a zároveň odporučiť vhodný doplnkový produkt.