Az AI-integráció legnagyobb ismeretlenje nem a fejlesztés ára, hanem az üzemeltetésé. Egy egyszerű számolási módszer, amivel bevezetés előtt megbecsülheted a havi költséget.
Amikor AI-funkcióról beszélünk egy ügyféllel, a fejlesztés ára általában gyorsan tisztázható. A kérdés, ami mindenkit nyugtalanít: mennyibe fog kerülni havonta? Erre lehet becslést adni, méghozzá bevezetés előtt.
A képlet
A legtöbb nyelvi modell a feldolgozott szöveg mennyisége alapján számláz, külön a bemenetre és a kimenetre. A havi költség így áll össze:
havi hívásszám × [(átlagos input token × input tokenár) + (átlagos output token × output tokenár)]
A pontos árazás modellenként és szolgáltatónként eltérhet, például a cache-elt bemenet vagy egyes extra funkciók külön díjazást kaphatnak. A hívásszámot és a várható terhelést te tudod megbecsülni, a tényleges tokenfogyasztást pedig érdemes megmérni.
1. Hívásszám
Nem az oldalletöltés számít, hanem az, hányszor fut le ténylegesen a funkció. Egy dokumentumfeldolgozásnál ez a havonta feltöltött fájlok száma. Egy ügyfélszolgálati asszisztensnél a beérkező kérdések száma. Ez általában sokkal kevesebb, mint amire elsőre gondolnál.
2. Szövegméret
Itt szokott a becslés elcsúszni. A felhasználó kérdése rövid, de amit a modellnek elküldünk, az nem csak az: benne van a rendszerpromt, a kontextus és gyakran több oldalnyi kikeresett dokumentumrészlet is. Egy RAG-alapú keresőnél a bemenet tízszerese is lehet annak, amit a felhasználó begépelt.
3. Mérés, ne tippelés
Ezért szoktunk először egy szűk prototípust építeni: húsz valódi esetet lefuttatunk, és megnézzük a tényleges fogyasztást. Ebből a havi költség már nem becslés, hanem szorzás.
Amivel érdemben csökkenthető
- Kisebb modell a rutinfeladatokra. Osztályozásra, címkézésre, rövid összefoglalóra ritkán kell a legerősebb modell.
- Gyorsítótár. Az ismétlődő kérdésekre nem kell minden alkalommal újra fizetni.
- Rövidebb kontextus. Pontosabb keresés kevesebb, de relevánsabb szövegrészletet ad a modellnek.
- Költségfigyelés. Havi keret, riasztás és ahol támogatott, költési korlát, hogy egy hibás ciklus ne okozzon váratlanul magas számlát.
Mikor éri meg?
A kérdés soha nem az, hogy drága-e az AI, hanem hogy mihez képest. Ha egy folyamat havonta húsz munkaórát visz el, és ennek a felét kiváltja, akkor a döntés egyszerű. Ha viszont havi két órát spórolna, akkor a fejlesztés ára soha nem térül meg, és ezt jobb előre kimondani.
