Chápání modelu platby za token
Účtování podle spotřeby tokenů znamená, že platíte pouze za to, co spotřebujete, nikoliv za nečinný přístup k serveru. Na rozdíl od tradičních měsíčních předplatných tento model přímo řídí náklady podle objemu využití. Platíte na základě skutečných vstupních a výstupních tokenů zpracovaných endpointem.
Většina poskytovatelů účtuje různé sazby za vstupní a výstupní tokeny. Například některé služby LLM bez omezení cení vstup na $0,15 za milion tokenů a výstup na $0,50 za milion tokenů. Tento rozdíl existuje proto, že generování textu vyžaduje výrazně více výpočetního výkonu než jeho čtení.
Počty tokenů byste měli pečlivě sledovat. Jedna dlouhá odpověď může překročit vaše náklady na vstup, pokud nezodpovídáte délku výstupu. Vždy kontrolujte metadata o využití vrácená v hlavičkách nebo těle odpovědi, abyste přesně sledovali své výdaje.
Proč se vám streamovaná odpověď ořezává příliš brzy
Streamované odpovědi jsou předčasně oříznuty, protože klienti často přestanou poslouchat po prvních několika blocích. Server odesílá data v reálném čase, ale vaše aplikace se může předčasně odpojit, pokud nesprávně zpracuje stream.
Každý chunk obsahuje částečný text. Tyto chunky musíte spojit, abyste vytvořili kompletní odpověď. Pokud prostřední chunky zahodíte, přijdete o data. Poslední chunk obvykle obsahuje kompletní statistiky využití.
Zkontrolujte nastavení časového limitu. Některé sítě přerušují spojení po několika sekundách nečinnosti. Ujistěte se, že váš klient zvládá přerušované pauzy ve streamu. To je běžné u velkých jazykových modelů, které generují dlouhé texty.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Správné zpracování kontextového okna 100k
Limit kontextového okna zahrnuje jak váš prompt, tak vygenerovanou odpověď. Nemůžete odeslat 100k tokenů v promptu a očekávat dalších 100k v odpovědi. Celková kombinovaná délka musí zůstat v rámci limitu.
Pokud odešlete velký prompt, máte méně místa pro odpověď. Například prompt o 90 000 tokenů ponechá pouze 10 000 tokenů pro výstup. To může vést k náhlému ořezu dlouhých odpovědí.
Implementujte počítání tokenů na své straně. Použijte tokenizátor, který odpovídá kódování modelu. To zajistí, že nepřekročíte limit během požadavku. Pokud ano, server vrátí chybu.
Zvažte ořezání starších zpráv v historiích chatu. Tím se zachová nejnovější kontext, aniž byste překročili limity. To je zásadní pro udržení souvislosti konverzace během dlouhých relací.
Nabíjení kryptoměnami: proč se neaktualizoval váš zůstatek
Dobytí kryptoměnami selže při aktualizaci, když pošlete tokeny na nesprávnou síť. Naše API přijímá USDT na TRC20 a USDC na Base. Odeslání USDT na Ethereum na adresu TRC20 povede ke ztrátě prostředků.
Vždy ověřte síťový prefix před odesláním. Stránka pro vklad zobrazuje konkrétní adresu a síť pro každou měnu. Nepředpokládejte, že všechny adresy USDT jsou zaměnitelné.
Počkejte na požadovaný počet potvrzení. Transakce nejsou okamžité. Systém přičte váš účet až po potvrzení převodu blockchainem. To zabraňuje problémům s dvojím utrácením.
Zkontrolujte hash transakce na průzkumník bloků. Pokud se zůstatek neaktualizuje, poskytněte hash podpoře. Mohou ručně ověřit převod. Toto je nejrychlejší způsob, jak vyřešit nesrovnalosti.
Oprava chyb při volání funkcí v modelech bez cenzury
Chyby volání funkcí často pramení z nestandardního formátování JSON v modelech bez omezení. Tyto modely dávají přednost kreativitě před přísnou strukturou, což může rozbít přísné parsery.
Nastavte formát odpovědi na json_object pro vynucení přísnějšího výstupu. To snižuje šanci na neplatný JSON. Může však mírně snížit kreativitu.
Ověřte odpověď před parsováním. Použijte blok try-catch k zpracování chyb dekódování JSON. Pokud parsování selže, opakujte požadavek s nižší hodnotou teploty. To podporuje determinističtější výstup.
from openai import OpenAI
client = OpenAI(base_url="https://api.aiapisubscription.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Omezení rychlosti: zvládání nárazů 300 RPM
Limity rychlosti omezují, kolik požadavků můžete odeslat za minutu. Naše API umožňuje 300 požadavků za minutu na klíč. Překročení tohoto limitu vrátí stavový kód 429.
Implementujte exponenciální zpomalování, když dosáhnete limitu. Opakujte požadavek po krátké prodlevě. Tím se zabrání přetížení serveru během špiček.
Sledujte frekvenci požadavků. Pokud odešlete požadavky příliš rychle, můžete spustit limit. Rozložte požadavky rovnoměrně. To zajišťuje konzistentní výkon.
Použijte více klíčů, pokud potřebujete vyšší propustnost. Každý klíč má vlastní limit. To vám umožňuje škálovat aplikaci bez narazení na jedno úzké hrdlo.
Selhání režimu JSON a formátování odpovědí
Selhání režimu JSON nastává, když model vrátí neplatnou syntaxi. To je běžné u uncensored modelů, které dávají přednost přirozenému jazyku před strukturovanými daty.
Použijte response_format parametr pro vynucení výstupu JSON. To říká modelu, aby strukturoval svou odpověď jako platný JSON. To však nezaručuje správnost.
Ověřte výstup pomocí schématu JSON. To zajišťuje, že data odpovídají vašemu očekávanému strukturování. Pokud validace selže, požádejte o opakování nebo upravte prompt.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.aiapisubscription.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Ladění nesrovnalostí v počítání tokenů
Nesrovnalosti v počítání tokenů vznikají, když váš klient používá jiný tokenizátor než model. To vede k nepřesným odhadům nákladů.
Použijte oficiální tokenizér poskytnutý dodavatelem modelu. To zajišťuje, že vaše počty odpovídají skutečnému využití. Tokenizéry třetích stran mohou jinak zpracovávat speciální znaky.
Zkontrolujte metadata využití v odpovědi. To poskytuje přesný počet tokenů. Porovnejte to s vaším lokálním počtem a identifikujte nesrovnalosti.
Zohledněte speciální tokeny. Patří sem systémové výzvy a definice funkcí. Spotřebovávají tokeny, ale nemusí být viditelné v surovém textu.
Kdy přejít z lokálního nasazení na API
Přepněte na API, když místní hardware nemůže splnit vaše požadavky na latenci nebo škálovatelnost. Spuštění velkého modelu lokálně vyžaduje drahé GPU a významnou spotřebu energie.
API nabízejí škálovatelnost bez údržby hardwaru. Můžete snadno zvládnout náhlé špičky provozu. To je ideální pro produkční prostředí.
Zvažte cenu. Pokud běžíte lokální model 24/7, náklady na elektřinu a hardware mohou přesáhnout náklady na použití API. Placení za token se vyplatí pouze tehdy, pokud je využití proměnlivé.
curl https://api.aiapisubscription.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU."}]
}'