Hiểu mô hình trả tiền theo token
Thanh toán theo token có nghĩa là bạn chỉ trả tiền cho những gì bạn tiêu thụ, không phải cho quyền truy cập máy chủ nhàn rỗi. Khác với các gói đăng ký hàng tháng truyền thống, mô hình này liên kết chi phí trực tiếp với khối lượng sử dụng. Bạn được tính phí dựa trên số lượng token đầu vào và đầu ra thực tế được xử lý bởi điểm cuối.
Hầu hết các nhà cung cấp tính phí khác nhau cho token đầu vào so với token đầu ra. Ví dụ, một số dịch vụ LLM không kiểm duyệt định giá đầu vào ở mức $0.15 cho mỗi triệu token và đầu ra ở mức $0.50 cho mỗi triệu token. Sự chênh lệch này tồn tại vì việc tạo văn bản đòi hỏi nhiều tài nguyên tính toán hơn đáng kể so với việc đọc nó.
Bạn nên theo dõi số lượng token của mình một cách cẩn thận. Một phản hồi dài đơn lẻ có thể vượt quá chi phí đầu vào của bạn nếu bạn không ước lượng độ dài đầu ra. Luôn kiểm tra siêu dữ liệu sử dụng được trả về trong tiêu đề hoặc thân phản hồi để theo dõi chi tiêu của bạn một cách chính xác.
Lý do phản hồi streaming của bạn bị cắt ngắn sớm
Các phản hồi dạng stream bị cắt ngắn sớm vì các client thường ngừng lắng nghe sau vài phần dữ liệu đầu tiên. Máy chủ gửi dữ liệu theo thời gian thực, nhưng ứng dụng của bạn có thể ngắt kết nối sớm nếu không xử lý luồng đúng cách.
Mỗi chunk chứa một phần văn bản. Bạn phải nối các chunk này để tạo thành phản hồi hoàn chỉnh. Nếu bạn loại bỏ các chunk trung gian, bạn sẽ mất dữ liệu. Chunk cuối cùng thường chứa thống kê sử dụng đầy đủ.
Kiểm tra cài đặt thời gian chờ của bạn. Một số mạng ngắt kết nối sau vài giây không hoạt động. Đảm bảo ứng dụng khách của bạn xử lý các khoảng dừng ngắt quãng trong luồng dữ liệu. Điều này phổ biến với các mô hình ngôn ngữ lớn tạo ra văn bản dài.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Xử lý đúng cửa sổ ngữ cảnh 100k
Giới hạn cửa sổ ngữ cảnh bao gồm cả lời nhắc và phần hoàn thành được tạo ra. Bạn không thể gửi 100k token trong lời nhắc và mong đợi thêm 100k token trong phản hồi. Tổng độ dài kết hợp phải nằm trong giới hạn.
Nếu bạn gửi một prompt lớn, bạn có ít không gian hơn cho phản hồi. Ví dụ: một prompt 90k token chỉ để lại 10k token cho đầu ra. Điều này có thể làm cắt ngang các câu trả lời dài một cách đột ngột.
Triển khai đếm token ở phía máy khách. Sử dụng bộ tokenizer khớp với bộ mã hóa của mô hình. Điều này đảm bảo bạn không vượt quá giới hạn trong khi gửi yêu cầu. Nếu có, máy chủ sẽ trả về lỗi.
Hãy xem xét việc cắt bớt các tin nhắn cũ trong lịch sử trò chuyện. Điều này giữ lại ngữ cảnh gần đây nhất trong khi vẫn nằm trong giới hạn. Điều này rất quan trọng để duy trì sự mạch lạc của cuộc trò chuyện trong các phiên dài.
Nạp tiền bằng crypto: lý do tại sao số dư của bạn không được cập nhật
Các khoản nạp tiền bằng crypto không cập nhật khi bạn gửi token vào mạng sai. API của chúng tôi chấp nhận USDT trên TRC20 và USDC trên Base. Gửi USDT trên Ethereum vào địa chỉ TRC20 sẽ dẫn đến mất tiền.
Luôn xác minh tiền tố mạng trước khi gửi. Trang gửi tiền hiển thị địa chỉ cụ thể và mạng cho mỗi loại tiền tệ. Đừng giả định tất cả các địa chỉ USDT đều có thể hoán đổi cho nhau.
Chờ số lượng xác nhận cần thiết. Các giao dịch không diễn ra ngay lập tức. Hệ thống ghi có tài khoản của bạn chỉ sau khi blockchain xác nhận việc chuyển khoản. Điều này ngăn ngừa các vấn đề chi tiêu kép.
Kiểm tra dấu vết giao dịch trên trình khám phá khối. Nếu số dư không được cập nhật, hãy cung cấp dấu vết cho bộ phận hỗ trợ. Họ có thể xác minh thủ công việc chuyển khoản. Đây là cách nhanh nhất để giải quyết các sai lệch.
Sửa lỗi gọi hàm trong các mô hình không kiểm duyệt
Lỗi gọi hàm thường bắt nguồn từ định dạng JSON không chuẩn trong các mô hình không kiểm duyệt. Những mô hình này ưu tiên sự sáng tạo hơn cấu trúc chặt chẽ, điều này có thể làm hỏng các trình phân tích cú pháp cứng nhắc.
Đặt định dạng phản hồi thành json_object để bắt buộc đầu ra nghiêm ngặt hơn. Điều này làm giảm khả năng JSON bị lỗi. Tuy nhiên, nó có thể làm giảm nhẹ tính sáng tạo.
Xác nhận phản hồi trước khi phân tích cú pháp. Sử dụng khối try-catch để xử lý lỗi giải mã JSON. Nếu phân tích cú pháp thất bại, hãy thử lại với nhiệt độ thấp hơn. Điều này khuyến khích đầu ra xác định hơn.
from openai import OpenAI
client = OpenAI(base_url="https://api.aiapisubscription.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Giới hạn tốc độ: Xử lý các đợt bùng nổ 300 RPM
Giới hạn tốc độ hạn chế số lượng yêu cầu bạn có thể gửi mỗi phút. API của chúng tôi cho phép 300 yêu cầu mỗi phút trên mỗi khóa. Vượt quá giới hạn này sẽ trả về mã trạng thái 429.
Triển khai cơ chế tăng dần thời gian chờ (exponential backoff) khi bạn đạt giới hạn. Thử lại yêu cầu sau một khoảng thời gian ngắn. Điều này ngăn làm quá tải máy chủ trong giờ cao điểm.
Theo dõi tần suất yêu cầu của bạn. Nếu bạn gửi yêu cầu quá nhanh, bạn có thể kích hoạt giới hạn. Chia đều các yêu cầu của bạn. Điều này đảm bảo hiệu suất nhất quán.
Sử dụng nhiều khóa nếu bạn cần thông lượng cao hơn. Mỗi khóa có giới hạn riêng. Điều này cho phép bạn mở rộng ứng dụng của mình mà không gặp phải nút cổ chai đơn lẻ.
Lỗi chế độ JSON và định dạng phản hồi
Lỗi chế độ JSON xảy ra khi mô hình trả về cú pháp không hợp lệ. Điều này thường gặp ở các mô hình không bị kiểm duyệt, những mô hình ưu tiên ngôn ngữ tự nhiên hơn dữ liệu có cấu trúc.
Sử dụng response_format tham số để buộc đầu ra JSON. Điều này cho biết mô hình nên cấu trúc phản hồi của nó dưới dạng JSON hợp lệ. Tuy nhiên, nó không đảm bảo tính chính xác.
Xác nhận đầu ra bằng lược đồ JSON. Điều này đảm bảo dữ liệu khớp với cấu trúc dự kiến của bạn. Nếu xác nhận thất bại, hãy yêu cầu thử lại hoặc điều chỉnh gợi ý.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.aiapisubscription.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Gỡ lỗi sự chênh lệch đếm token
Sự chênh lệch trong việc đếm token xảy ra khi client của bạn sử dụng bộ phân tích cú pháp khác với mô hình. Điều này dẫn đến các ước tính chi phí không chính xác.
Sử dụng bộ tokenizer chính thức do nhà cung cấp mô hình cung cấp. Điều này đảm bảo số đếm của bạn khớp với mức sử dụng thực tế. Các bộ tokenizer của bên thứ ba có thể xử lý các ký tự đặc biệt khác nhau.
Kiểm tra siêu dữ liệu sử dụng trong phản hồi. Điều này cung cấp số lượng token chính xác. So sánh điều này với số đếm cục bộ của bạn để xác định các sai lệch.
Tính đến các token đặc biệt. Bao gồm hệ thống prompt và định nghĩa hàm. Chúng tiêu thụ token nhưng có thể không hiển thị trong văn bản thô.
Khi nào nên chuyển từ cục bộ sang API
Chuyển sang API khi phần cứng tại chỗ không đáp ứng được yêu cầu về độ trễ hoặc khả năng mở rộng. Chạy một mô hình lớn tại chỗ yêu cầu GPU đắt tiền và tiêu thụ nhiều điện năng.
APIs cung cấp khả năng mở rộng mà không cần bảo trì phần cứng. Bạn có thể xử lý các đỉnh lưu lượng truy cập đột ngột một cách dễ dàng. Điều này rất lý tưởng cho các môi trường sản xuất.
Hãy xem xét chi phí. Nếu bạn chạy một mô hình cục bộ 24/7, chi phí điện và phần cứng có thể vượt quá việc sử dụng API. Thanh toán theo token chỉ hiệu quả về chi phí nếu mức sử dụng biến động.
curl https://api.aiapisubscription.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU."}]
}'