Kuidas kujuneb keelemudeli hind

GPT 4 ja GPT 3.5, kasutavad sama algoritmi, kuid tokeni hind on erinev. davinci kasutab aga hoopis teist tokeni algoritmi

OpenAI pakub lõpptarbijatele ChatGPT vestlusroboti kasutamiseks kuutasulist paketti. Ettevõtetel on rohkem kasu keelemudeli integreerimisest oma äriprotsessidesse ja vestlusrobotist jääb väheks. Seepärast on oluline teada, kuidas kujuneb keelemudeli hind.

Ettevõtete kasutusmahud võivad vastavalt kampaaniatele, töömahtude kõikumisele ning kasutajate arvule suures ulatuses kõikuda ja neile pakub OpenAI tehingupõhist hinda. Tehingupõhise hinna kujunemisel arvutatakse kokku AI-le saadetud teksti maht ning vastuse maht – sellest kujuneb tehingu hind.

Nii OpenAI hinnad kui Azure OpenAI hinnad on samad.

SisseVälja
OpenAI GPT4$0.03 / 1K tokens$0.06 / 1K tokens
OpenAI GPT4 Turbo$0.01 / 1K tokens$0.03 / 1K tokens
OpenAI GPT4 32k$0.06 / 1K tokens$0.12 / 1K tokens
OpenAI GPT-3.5 Turbo$0.0005 / 1K tokens$0.0015 / 1K tokens

Sisse tähendab teksti, mille saadad OpenAI mudelile ja välja osa tähendab teksti, mille saad OpenAI mudelilt tagasi.

Kui AI keelemudeli (LLM) jaoks koosneks tekst ainult tähtedest, siis oles sisse ja välja mahtude arvutamine lihtne. Tegelikult on keelemudelitest teksti optimeeritud ja mudeli tokenid koosnevad tavaliselt tähekombinatsioonidest. Erinevalt mudelist võib tokenite arv erineda, sest iga mudel jagab teksti tükkideks erineva algoritmi alusel.

Näiteks GPT4 mudel ja GPT4 32k mudel kasutavad sama loogikat teksti tokeniteks jagamisel, kuid pikkade tekstide töötlemise mudel 32k on kaks korda kallim. Eks sama tokenite arvu juures on mudeli kasutamise kaks korda kallim.

GPT-4 keelemudeli hind kujuneb sisend-tokenite arvust ja tokeni hinnast. GPT4 väljastab ka oluliselt rohkem teksti kui GPT 3.5
GPT-4 32K keelemudeli hind on kõgem, sest tokeni hind on kõrgem, kuid mudel suudab korraga võtta sisse terve raamatu ja selle pealt järeldusi teha.

Davinci mudel, mis on mõeldud otsingus sarnaste dokumentide leidmiseks jagab teksti tükkideks veidi teistel alustel ning tokenite arv on 173.

Davinci algoritm tuvastab tekstis rohkem tokeneid, sest jaotamise põhimõtted on teised. Keelemudeli hind on aga madalam, sest token on väga odav.

Lisaks tasub arvesse võtta, et kuig näiteks GPT 4 ja GPT 3.5 mudelid jagavad teksti tükkideks samadel alustel, on GPT 4 mudel umbes 60 korda kallim teksti sisse lugemisel ja 40 korda kallim teksti väljutamisel. Lisaks peab arvestama, et GPT mudel on teksti väljutamisel oluliselt jutukam kui 3.5 mudel.

Seega on iga mudeli eelistamisel mõistlik esmalt töötada oma protsessid läbi, vaadata milline mudel annab kõige parema hinna ja kvaliteedi suhte ning siis otsustada.


Liitu Mentosteeri uudiskirjaga

Please enable JavaScript in your browser to complete this form.
Name