Zrozumienie modelu płatności za token
Rozliczenie za token oznacza, że płacisz tylko za to, czego zużywasz, a nie za dostęp do serwera w stanie bezczynności. W przeciwieństwie do tradycyjnych subskrypcji miesięcznych, model ten wiąże koszty bezpośrednio z objętością użytkowania. Płacisz na podstawie faktycznie przetworzonych tokenów wejściowych i wyjściowych przez punkt końcowy.
Większość dostawców pobiera różne stawki za dane wejściowe versus dane wyjściowe. Na przykład niektóre usługi LLM uncensored wyceniają dane wejściowe na $0.15 za milion tokenów, a dane wyjściowe na $0.50 za milion tokenów. Ta dysproporcja wynika z faktu, że generowanie tekstu wymaga znacznie więcej mocy obliczeniowej niż jego odczyt.
Powinieneś dokładnie monitorować liczbę tokenów. Pojedyncza długa odpowiedź może przekroczyć koszt wejścia, jeśli nie oszacujesz długości wyjścia. Zawsze sprawdzaj metadane użycia zwracane w nagłówkach lub treści odpowiedzi, aby dokładnie śledzić wydatki.
Dlaczego twoja odpowiedź streamingowa odcina się za wcześnie
Odpowiedzi strumieniowe są przerywane zbyt wcześnie, ponieważ klienci często przestają nasłuchiwać po pierwszych kilku fragmentach. Serwer wysyła dane w czasie rzeczywistym, ale Twoja aplikacja może się odłączyć przedwcześnie, jeśli nie obsługuje strumienia poprawnie.
Każdy chunk zawiera częściowy tekst. Musisz połączyć te chunki, aby utworzyć kompletną odpowiedź. Jeśli odrzucisz chunki pośrednie, stracisz dane. Ostatni chunk zwykle zawiera kompletne statystyki zużycia.
Sprawdź ustawienia limitu czasu. Niektóre sieci zrywają połączenie po kilku sekundach bezczynności. Upewnij się, że Twój klient obsługuje okresowe pauzy w strumieniu. Jest to powszechne w przypadku dużych modeli językowych generujących długie teksty.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Prawidłowa obsługa okna kontekstowego 100k
Limit okna kontekstowego obejmuje zarówno Twój prompt, jak i wygenerowane uzupełnienie. Nie możesz wysłać 100k tokenów w promptie i oczekiwać kolejnych 100k w odpowiedzi. Łączna długość obu musi mieścić się w limicie.
Jeśli wyślesz duży prompt, masz mniej miejsca na odpowiedź. Na przykład prompt o długości 90k tokenów pozostawia tylko 10k tokenów na wyjście. Może to powodować nagłe przycinanie długich odpowiedzi.
Zaimplementuj liczenie tokenów po swojej stronie. Użyj tokenizera zgodnego z kodowaniem modelu. Zapewnia to, że nie przekroczysz limitu podczas żądania. Jeśli tak się stanie, serwer zwróci błąd.
Rozważ obcinanie starszych wiadomości w historiach czatu. Utrzymuje to najnowszy kontekst, pozostając w granicach. Jest to kluczowe dla utrzymania spójności rozmowy podczas długich sesji.
Doładowania: dlaczego Twoje saldo się nie zaktualizowało
Doładowania krypto nie aktualizują się, gdy wyślesz tokeny na niewłaściwą sieć. Nasze API akceptuje USDT na TRC20 i USDC na Base. Wysłanie USDT na Ethereum do adresu TRC20 spowoduje utratę środków.
Zawsze weryfikuj prefiks sieci przed wysłaniem. Strona depozytu pokazuje konkretny adres i sieć dla każdej waluty. Nie zakładaj, że wszystkie adresy USDT są wymienne.
Poczekaj na wymaganą liczbę potwierdzeń. Transakcje nie są natychmiastowe. System zalicza Twoje konto dopiero po potwierdzeniu przelewu przez blockchain. Zapobiega to problemom z podwójnym wydawaniem.
Sprawdź hash transakcji w eksploratorze bloków. Jeśli saldo się nie zaktualizuje, podaj hash wsparciu technicznemu. Mogą oni ręcznie zweryfikować transfer. Jest to najszybszy sposób na rozwiązanie rozbieżności.
Naprawianie błędów wywoływania funkcji w modelach uncensored
Błędy wywoływania funkcji często wynikają z niestandardowego formatowania JSON w modelach uncensored. Modele te priorytetyzują kreatywność nad ścisłą strukturą, co może zaburzać sztywne parserzy.
Ustaw format odpowiedzi na json_object do wymuszenia bardziej ścisłego wyjścia. Zmniejsza to szansę na niepoprawny JSON. Może jednak nieznacznie zmniejszyć kreatywność.
Zweryfikuj odpowiedź przed parsowaniem. Użyj bloku try-catch do obsługi błędów dekodowania JSON. Jeśli parsowanie się nie powiedzie, ponów żądanie przy niższej temperaturze. Zachęca to do bardziej deterministycznego wyjścia.
from openai import OpenAI
client = OpenAI(base_url="https://api.aiapisubscription.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Limity szybkości: obsługa burstów 300 RPM
Limity szybkości ograniczają liczbę żądań, które możesz wysyłać na minutę. Nasze API pozwala na 300 żądań na minutę na klucz. Przekroczenie tego limitu zwraca kod statusu 429.
Zaimplementuj wykładnicze zwalnianie, gdy osiągniesz limit. Ponów żądanie po krótkim opóźnieniu. To zapobiega przeciążeniu serwora podczas szczytowego użytkowania.
Monitoruj częstotliwość żądań. Jeśli wyślesz żądania zbyt szybko, możesz wyzwolić limit. Rozłóż żądania równomiernie. Zapewnia to stabilną wydajność.
Użyj wielu kluczy, jeśli potrzebujesz wyższej przepustowości. Każdy klucz ma swój własny limit. Pozwala to na skalowanie Twojej aplikacji bez napotkania pojedynczego wąskiego gardła.
Awarie trybu JSON i formatowanie odpowiedzi
Awarie trybu JSON występują, gdy model zwraca niepoprawną składnię. Jest to powszechne w modelach uncensored, które priorytetyzują język naturalny nad dane strukturalne.
Korzystaj z response_format parametr wymuszający output JSON. Informuje to model o strukturze odpowiedzi jako poprawnego JSON. Nie gwarantuje to jednak poprawności merytorycznej.
Zweryfikuj wynik za pomocą schematu JSON. Zapewnia to, że dane odpowiadają oczekiwanej strukturze. Jeśli walidacja się nie powiedzie, poproś o ponowienie lub dostosuj prompt.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.aiapisubscription.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Debugowanie rozbieżności w liczeniu tokenów
Rozbieżności w liczeniu tokenów pojawiają się, gdy klient używa innego tokenizatora niż model. Prowadzi to do niedokładnych szacunków kosztów.
Użyj oficjalnego tokenizera dostarczonego przez dostawcę modelu. Zapewnia to, że Twoje liczniki pokrywają się z faktycznym zużyciem. Tokenizery stron trzecich mogą inaczej obsługiwać znaki specjalne.
Sprawdź metadane użycia w odpowiedzi. Dostarczają one dokładnej liczby tokenów. Porównaj to z lokalnym licznikiem, aby zidentyfikować rozbieżności.
Uwzględnij tokeny specjalne. Obejmują one polecenia systemowe i definicje funkcji. Zużywają one tokeny, ale mogą nie być widoczne w surowym tekście.
Kiedy zmienić z lokalnego na API
Przełącz się na API, gdy lokalny sprzęt nie spełnia Twoich wymagań dotyczących opóźnień lub skalowalności. Uruchomienie dużego modelu lokalnie wymaga drogich GPU i znacznej mocy.
API oferują skalowalność bez konserwacji sprzętu. Możesz łatwo obsługiwać nagłe szczyty ruchu. Jest to idealne dla środowisk produkcyjnych.
Rozważ koszt. Jeśli uruchamiasz lokalny model 24/7, koszty prądu i sprzętu mogą przekroczyć koszty użycia API. Opłacalne jest tylko rozliczanie za tokeny, jeśli użycie jest zmienne.
curl https://api.aiapisubscription.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU."}]
}'