Понимание модели оплаты за токен
Оплата за токет означает, что вы платите только за то, что потребляете, а не за простой доступ к серверу. В отличие от традиционных ежемесячных подписок, эта модель напрямую связывает затраты с объемом использования. Вы платите на основе фактических входных и выходных токенов, обработанных конечной точкой.
Большинство провайдеров взимают разные ставки за входные и выходные токены. Например, некоторые услуги LLM без ограничений (uncensored) оценивают входные данные по $0.15 за миллион токенов, а выходные — по $0.50 за миллион токенов. Это различие существует, потому что генерация текста требует значительно больше вычислений, чем чтение.
Вам следует внимательно следить за подсчётом токенов. Один длинный ответ может превысить стоимость входных данных, если вы не оцените длину вывода. Всегда проверяйте метаданные использования, возвращаемые в заголовках или теле ответа, чтобы точно отслеживать свои расходы.
Почему ваш потоковый ответ обрезается слишком рано
Потоковые ответы часто обрываются раньше, потому что клиенты часто перестают слушать после первых нескольких фрагментов. Сервер отправляет данные в реальном времени, но ваше приложение может отключиться досрочно, если не правильно обрабатывает поток.
Каждый чанк содержит частичный текст. Вы должны объединить эти чанки, чтобы сформировать полный ответ. Если вы отбрасываете промежуточные чанки, вы теряете данные. Последний чанк обычно содержит полную статистику использования.
Проверьте настройки тайм-аута. Некоторые сети разрывают соединения после нескольких секунд бездействия. Убедитесь, что ваш клиент корректно обрабатывает временные паузы в потоке. Это часто встречается у больших языковых моделей, генерирующих длинные тексты.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Правильная работа с контекстным окном на 100k
Лимит контекстного окна включает как ваш промпт, так и сгенерированное завершение. Вы не можете отправить 100k токенов в промпте и ожидать еще 100k в ответе. Общая объединенная длина должна оставаться в пределах лимита.
Если вы отправите большой запрос, у вас останется меньше места для ответа. Например, запрос на 90 000 токенов оставляет только 10 000 токенов для вывода. Это может привести к резкому усечению длинных ответов.
Реализуйте подсчёт токенов на своей стороне. Используйте токенизатор, соответствующий кодировке модели. Это гарантирует, что вы не превысите лимит во время запроса. Если это произойдёт, сервер вернёт ошибку.
Рассмотрите возможность усечения старых сообщений в историях чатов. Это сохраняет наиболее актуальный контекст, оставаясь в пределах лимитов. Это критически важно для поддержания связности разговора в течение длительных сессий.
Пополнение криптой: почему баланс не обновился
Пополнения крипто-кредитов не обновляются, если вы отправляете токены не в ту сеть. Наш API принимает USDT в сети TRC20 и USDC в сети Base. Отправка USDT в сети Ethereum на адрес TRC20 приведет к потере средств.
Всегда проверяйте сетевой префикс перед отправкой. На странице депозита показан конкретный адрес и сеть для каждой валюты. Не предполагайте, что все адреса USDT взаимозаменяемы.
Дождитесь необходимого количества подтверждений. Транзакции не являются мгновенными. Система зачисляет средства на ваш счет только после подтверждения перевода блокчейном. Это предотвращает проблемы двойного расходования.
Проверьте хеш транзакции в обозревателе блоков. Если баланс не обновился, предоставьте хеш службе поддержки. Они могут вручную проверить перевод. Это самый быстрый способ разрешить несоответствия.
Исправление ошибок вызова функций в uncensored моделях
Ошибки вызова функций часто возникают из-за нестандартного формата JSON в моделях без цензуры. Эти модели отдают приоритет креативности строгой структуре, что может нарушить работу жестких парсеров.
Установите формат ответа на json_object для обеспечения более строгого вывода. Это снижает вероятность некорректного JSON. Однако это может немного снизить креативность.
Проверяйте ответ перед парсингом. Используйте блок try-catch для обработки ошибок декодирования JSON. Если парсинг не удался, повторите запрос с более низкой температурой. Это способствует более детерминированному выводу.
from openai import OpenAI
client = OpenAI(base_url="https://api.aiapisubscription.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Лимиты скорости: обработка всплесков 300 RPM
Лимиты ограничивают количество запросов, которые вы можете отправлять в минуту. Наш API позволяет 300 запросов в минуту на ключ. Превышение этого лимита возвращает статус-код 429.
Реализуйте экспоненциальное замедление при достижении лимита. Повторите запрос после короткой задержки. Это предотвращает перегрузку сервера в периоды пиковой нагрузки.
Отслеживайте частоту запросов. Если вы отправляете запросы слишком быстро, вы можете превысить лимит. Равномерно распределяйте запросы во времени. Это обеспечивает стабильную производительность.
Используйте несколько ключей, если вам нужна более высокая пропускная способность. У каждого ключа свой лимит. Это позволяет масштабировать ваше приложение, не сталкиваясь с единой точкой отказа.
Сбои режима JSON и форматирование ответов
Сбои режима JSON возникают, когда модель возвращает синтаксически некорректные данные. Это часто встречается в uncensored-моделях, которые отдают приоритет естественному языку над структурированными данными.
Используйте response_format параметр для принудительного вывода JSON. Это указывает модели структурировать ответ как действительный JSON. Однако это не гарантирует корректность.
Проверяйте вывод с помощью схемы JSON. Это гарантирует, что данные соответствуют ожидаемой структуре. Если проверка не пройдена, запросите повторную отправку или скорректируйте промпт.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.aiapisubscription.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Отладка расхождений в подсчете токенов
Расхождения в подсчёте токенов возникают, когда ваш клиент использует другой токенизатор, чем модель. Это приводит к неточным оценкам стоимости.
Используйте официальный токенизатор, предоставленный поставщиком модели. Это гарантирует, что ваши подсчеты совпадают с фактическим использованием. Сторонние токенизаторы могут по-разному обрабатывать специальные символы.
Проверьте метаданные использования в ответе. Это предоставляет точное количество токенов. Сравните это с вашим локальным подсчетом, чтобы выявить расхождения.
Учитывайте специальные токены. К ним относятся системные промпты и определения функций. Они потребляют токены, но могут быть не видны в исходном тексте.
Когда перейти с локальной модели на API
Переключитесь на API, когда локальное оборудование не может удовлетворить ваши требования к задержке или масштабу. Запуск большой модели локально требует дорогих GPU и значительного потребления энергии.
API обеспечивают масштабируемость без обслуживания оборудования. Вы можете легко обрабатывать внезапные всплески трафика. Это идеально подходит для производственных сред.
Рассмотрим стоимость. Если вы запускаете локальную модель 24/7, расходы на электроэнергию и оборудование могут превысить стоимость использования API. Оплата за токен экономически эффективна только при переменном объеме использования.
curl https://api.aiapisubscription.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU."}]
}'