Vysoké finančné náklady na proprietárne API rozhrania pri dennej kategorizácii produktov vyriešil nemecký e-shop s módou migráciou na open-weight model Llama 3 integrovaný cez platformu Databricks.
Tento stredne veľký predajca módy a doplnkov pôsobiaci na nemeckom trhu čelil neudržateľným poplatkom za spracovanie stoviek tisícov produktových položiek od desiatok externých dodávateľov. Každý deň prichádzali nové katalógy s nekonzistentnými popismi, chýbajúcimi atribútmi a chaotickou štruktúrou, ktoré bolo potrebné okamžite zaradiť do internej hierarchie e-shopu. Manuálna správa bola extrémne pomalá a pôvodné riešenie postavené na komerčných GPT modeloch generovalo neúnosné mesačné faktúry kvôli vysokým poplatkom za API volania. Firma preto potrebovala riešenie, ktoré by dramaticky znížilo jednotkové náklady na spracovanie jedného produktu bez straty presnosti.
Technická architektúra a integrácia cez Databricks
Technická implementácia nového riešenia prebieha priamo v izolovanej cloudovej infraštruktúre Databricks, čo zaručuje maximálnu kontrolu nad podnikovými dátami. Celý proces začína automatickým importom surových produktových dát od dodávateľov vo formátoch XML, CSV a JSON do dátového jazera Delta Lake. Následne špecializované ETL (Extract, Transform, Load) pipeline napísané v jazyku Python prečistia texty, odstránia HTML balast, zjednotia kódovanie znakov a pripravia štruktúrované prompty pre model Llama 3.
Samotný model Llama 3 s parametrami 70B je nasadený pomocou Databricks Model Serving na dedikovaných GPU inštanciách Nvidia A10G. Pre optimalizáciu pamäťovej náročnosti a rýchlosti odozvy bola zvolená 8-bitová kvantizácia modelu, ktorá zachováva presnosť generovania, no výrazne znižuje hardvérové požiadavky. Model analyzuje názov produktu, his textový popis, atribúty ako materiál, strih či farbu a na základe vopred definovanej taxonómie e-shopu priradí presnú produktovú kategóriu. Súčasne generuje normalizované tagy a extrahuje kľúčové vlastnosti pre filtre, čo uľahčuje interné vyhľadávanie na webe. Celý proces prebieha v dávkach (batch processing) počas hodín s nižšou návštevnosťou, čím sa efektívne vyvažuje záťaž infraštruktúry.
Kvantifikovateľné prínosy a úspora nákladov
Nasadenie open-weight modelu prinieslo okamžitú optimalizáciu prevádzkových výdavkov a zvýšenie celkovej efektivity tímu. Priame náklady na spracovanie a tagovanie dát klesli o 65 % v porovnaní s predchádzajúcim proprietárnym API rozhraním, kde platby rástli lineárne s každým dopytom. Okrem finančnej úspory zaznamenal nemecký predajca zásadné zrýchlenie zalistovania nových produktov od externých partnerov o 80 %. Kým predtým trvalo spracovanie novej kolekcie niekoľko dní, dnes sú produkty dostupné na e-shope v priebehu niekoľkých hodín.
Presnosť automatického zaraďovania dosiahla úroveň 94,5 %, čo je plne porovnateľné s výsledkami drahších komerčných modelov. Zvyšných 5,5 % produktov, pri ktorých model vykáže nízku mieru istoty (confidence score), systém automaticky presmeruje na rýchlu manuálnu kontrolu produktovým manažérom. Týmto spôsobom sa eliminovali chyby v katalógu a výrazne sa zlepšila zákaznícka skúsenosť pri vyhľadávaní tovaru.
Príklad z praxe
- Firma: Stredne veľký e-shop s módou a doplnkami, Nemecko
- AI riešenie: Llama 3 (open-weight model) integrovaný cez platformu Databricks
- Problém: Vysoké finančné náklady na API proprietárnych modelov pri dennom tagovaní a kategorizácii desiatok tisíc produktov od externých dodávateľov.
- Výsledok: Pokles nákladov na spracovanie dát o 65 % v porovnaní s predchádzajúcim proprietárnym riešením a zrýchlenie zalistovania nových produktov o 80 %.
Strategické ponaučenie pre e-commerce segment
Pre stredne veľkých hráčov v segmente e-commerce vyplýva z tejto prípadovej štúdie jednoznačný záver. Závislosť od uzavretých komerčných modelov s platbou za tisíc tokenov nie je jedinou cestou k pokročilej automatizácii spracovania dát. Hybridné riešenia postavené na open-weight modeloch, akým je Llama 3, poskytujú podnikom plnú kontrolu nad prevádzkovými nákladmi a zamedzujú efektu uzamknutia u jedného dodávateľa (vendor lock-in). Navyše, prevádzka modelov vo vlastnom cloudovom prostredí rieši prísne európske požiadavky na ochranu osobných údajov a bezpečnosť informácií. Investícia do vlastnej dátovej orchestrácie a nasadenia open-source alternatív sa vracia v podobe stabilných a predvídateľných nákladov, ktoré nezaťažujú rozpočet pri raste objemu predaja.