VI ▾
Lấy khóa API

Quy trình API LLM trong Python: Hướng dẫn từng bước

Định hướng SDK OpenAI đến một base URL mới, sử dụng model ID uncensored, và thêm retry, yêu cầu đồng thời và gọi hàm từng lớp một.

Cập nhật

Đường ống các khối phát sáng với các khối dữ liệu tách thành các làn song song, đại diện cho quy trình LLM Python

Điểm chính

  • Cài đặt openai, đặt base_url thành https://api.veo3apis.com/v1 và dùng model uncensored.
  • Xử lý 429 bằng cách chờ Retry-After; các yêu cầu thất bại không bị tính phí.
  • Điều chỉnh kích thước thread pool cho khóa của bạn: 8 worker cho khóa đầy đủ, 2 cho khóa dùng thử.
  • Đọc X-Balance-USD từ response headers để theo dõi chi phí cho mỗi lần chạy.

Phiên bản ngắn

Để xây dựng một tập lệnh quy trình llm api python, hãy cài đặt SDK OpenAI chính thức, đặt base URL thành https://api.veo3apis.com/v1, sử dụng khóa của bạn làm API key và gọi mô hình uncensored. Không có gì thay đổi khác. Dịch vụ tương thích với OpenAI, vì vậy mọi mẫu bạn đã biết từ SDK đều hoạt động: gọi chat đơn giản, streaming, chế độ JSON và gọi công cụ.

Bài viết này xây dựng một quy trình nhỏ theo từng lớp. Bạn bắt đầu với một lệnh gọi đơn, sau đó thêm cấu hình từ các biến môi trường, một wrapper retry, một trình chạy song song, một lệnh gọi công cụ và theo dõi số dư. Mỗi lớp đều ngắn gọn và bạn có thể dừng lại ở bất kỳ lớp nào phù hợp với nhu cầu của bạn.

Mô hình là một mô hình open-weight được chạy bởi một nhà cung cấp độc lập. Đây không phải là API chính thức của bất kỳ nhà cung cấp lớn nào và nó không phải là một router, vì vậy chỉ có một model ID cần ghi nhớ. Nó chỉ xử lý văn bản. Không có tạo hình ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning.

Cài đặt SDK và thực hiện lệnh gọi đầu tiên

Bạn cần Python 3.9 trở lên. Cài đặt SDK:

pip install openai

Tạo khóa từ trang API key sau khi đăng ký bằng Google hoặc bằng email và mật khẩu. Trang này cũng có một nút bấm để nhận $0.50 tín dụng dùng thử, có hiệu lực trong 7 ngày, một người dùng một lần, không cần thẻ. Sau đó, hãy chạy lệnh gọi nhỏ nhất có thể:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "List three uses for a hosted text API."},
    ],
)

print(resp.choices[0].message.content)
print(resp.usage)

Nếu lệnh này in ra văn bản và một đối tượng usage, xác thực, định tuyến và model ID đều chính xác. SDK gửi khóa của bạn dưới dạng Authorization: Bearer, và yêu cầu được gửi đến POST /v1/chat/completions. Bạn có thể kiểm tra các model ID mà khóa của bạn có thể sử dụng bằng client.models.list(), gọi GET /v1/models.

Phiên bản curl thô rất hữu ích khi bạn gỡ lỗi từ một máy chủ không có Python:

curl https://api.veo3apis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello."}]}'

Giữ cấu hình trong một client

Viết cứng một khóa trong một tập lệnh là cách nhanh nhất để làm rò rỉ khóa vào một kho lưu trữ. Đọc cả hai giá trị từ môi trường, và tạo client ở một nơi để mọi bước của quy trình đều chia sẻ nó.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.veo3apis.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
    max_retries=0,
    timeout=120,
)

MODEL = "uncensored"


def ask(system: str, user: str, **kwargs) -> str:
    resp = client.chat.completions.create(
        model=MODEL,
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user},
        ],
        **kwargs,
    )
    return resp.choices[0].message.content

Hai lựa chọn ở đây là có chủ đích. max_retries=0 tắt các retry tích hợp của SDK để logic retry trong phần tiếp theo là logic duy nhất, giúp dễ dàng suy luận về hành vi. Thời gian chờ 120 giây để dành chỗ cho các câu hoàn thành dài; cửa sổ ngữ cảnh là 100,000 token cho prompt và completion, và một câu trả lời lớn mất thời gian để streaming ra. Các tham số lấy mẫu như temperature, top_p, stop, seed và các hình phạt được chuyển qua **kwargs như bình thường.

Retry các lỗi phù hợp

Mọi quy trình thực tế đều chạm vào giới hạn tốc độ sớm hay muộn. Một khóa đầy đủ cho phép 300 yêu cầu mỗi phút và 8 yêu cầu cùng lúc. Một khóa dùng thử cho phép 60 yêu cầu mỗi phút và 2 yêu cầu cùng lúc. Vượt quá bất kỳ giới hạn nào và API sẽ trả về HTTP 429. Mã lỗi cho bạn biết giới hạn nào bạn đã chạm: rate_limited cho số yêu cầu mỗi phút, concurrency cho quá nhiều yêu cầu cùng lúc. Trong thời gian quá tải tạm thời, API cũng gửi 429 với tiêu đề Retry-After: 5.

Cả ba trường hợp đều có cùng một cách khắc phục: chờ, sau đó thử lại. Wrapper này tôn trọng tiêu đề và giảm tốc độ khi tiêu đề không có mặt.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from openai import RateLimitError, APIConnectionError, APIStatusError


def call_with_retry(messages, tries=5, **kwargs):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, **kwargs
            )
        except RateLimitError as err:
            wait = err.response.headers.get("Retry-After")
            time.sleep(int(wait) if wait else delay)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
        except APIStatusError as err:
            if err.status_code < 500:
                raise
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("request failed after retries")

Chỉ retry các lỗi có thể thay đổi. Lỗi 400 có nghĩa là yêu cầu của bạn bị sai định dạng, và gửi lại nó sẽ thất bại theo cách tương tự, vì vậy wrapper sẽ ném lại bất kỳ lỗi client nào khác ngoài 429. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí, vì vậy retry không tốn thêm chi phí.

Chạy nhiều đầu vào song song

Đối với một vòng lặp qua nhiều đầu vào, một thread pool là đủ. SDK client an toàn để chia sẻ qua các thread. Điều chỉnh kích thước pool cho khóa của bạn: 8 worker cho khóa đầy đủ, 2 cho khóa dùng thử.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError


def summarize(text: str) -> str:
    for _ in range(5):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": "Summarize the text in two sentences."},
                    {"role": "user", "content": text},
                ],
                max_tokens=150,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            time.sleep(int(err.response.headers.get("Retry-After", "5")))
    return ""


documents = ["First long text...", "Second long text...", "Third long text..."]

with ThreadPoolExecutor(max_workers=8) as pool:
    summaries = list(pool.map(summarize, documents))

for s in summaries:
    print(s)

Kích thước pool không giống với tốc độ yêu cầu. Tám worker mỗi người hoàn thành một lệnh gọi trong nửa giây sẽ tạo ra 960 yêu cầu mỗi phút, vượt xa 300. Nếu các lệnh gọi của bạn nhanh, hãy thêm một khoảng thời gian ngủ nhỏ hoặc một bộ giới hạn token-bucket để bạn vẫn nằm dưới giới hạn mỗi phút. Nếu các lệnh gọi của bạn chậm, concurrency là giới hạn bạn sẽ gặp phải trước tiên. Các yêu cầu đã stream giữ slot của chúng cho đến khi stream kết thúc.

Đầu ra có cấu trúc và gọi công cụ

Hai tính năng biến một lệnh gọi chat thành một bước quy trình mà các mã khác có thể dựa vào. Chế độ JSON đảm bảo đầu ra có thể phân tích cú pháp. Gọi hàm cho phép mô hình yêu cầu mã của bạn làm điều gì đó và sau đó sử dụng câu trả lời.

Chế độ JSON

Đặt response_format thành một đối tượng JSON và mô tả các khóa trong prompt.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON: {\"title\": string, \"tags\": [string]}"},
        {"role": "user", "content": "A short post about nightly backups."},
    ],
)
post = json.loads(resp.choices[0].message.content)
print(post["title"], post["tags"])

Gọi hàm

Khai báo các công cụ bằng tools, tùy chọn ép buộc một lựa chọn bằng tool_choice, chạy hàm của bạn và gửi kết quả lại dưới dạng một thông điệp với role: "tool".

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

tools = [{
    "type": "function",
    "function": {
        "name": "word_count",
        "description": "Count the words in a piece of text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in 'the quick brown fox'?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"words": len(args["text"].split())}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Luôn kiểm tra xem tool_calls có tồn tại trước khi đọc nó. Mô hình có thể trả lời trực tiếp, và mã của bạn nên xử lý cả hai kết quả.

Nối các bước thành một pipeline

Các quy trình thực tế hiếm khi dừng lại ở một lệnh gọi. Một hình dạng phổ biến là phác thảo, xem xét, viết lại: lệnh gọi đầu tiên tạo ra thứ gì đó, lệnh gọi thứ hai chỉ ra những điểm cần cải thiện dựa trên một danh sách kiểm tra, và lệnh gọi thứ ba áp dụng những chỉ trích đó. Mỗi bước là một yêu cầu riêng biệt với thông báo hệ thống riêng, giúp giữ các hướng dẫn ngắn gọn và dễ dàng xác định các lỗi.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

def step(system: str, user: str, temperature: float = 0.7) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user},
        ],
        temperature=temperature,
        max_tokens=800,
    )
    return resp.choices[0].message.content.strip()


topic = "a changelog entry for a new export feature"

draft = step("Write the requested text in under 120 words.", topic)
review = step(
    "List at most three concrete problems with this text: vague wording, missing detail, wrong tone.",
    draft,
    temperature=0.2,
)
final = step(
    "Rewrite the text so it fixes every listed problem. Reply with the text only.",
    "TEXT:\n" + draft + "\n\nPROBLEMS:\n" + review,
)
print(final)

Lưu ý nhiệt độ thấp hơn ở bước xem xét. Phê bình nên nhất quán từ lần chạy này sang lần chạy khác, trong khi phác thảo có lợi từ một số biến đổi. Nếu bạn chạy pipeline qua nhiều đầu vào, hãy đặt toàn bộ hàm ba bước bên trong worker của thread-pool từ phần trước, để mỗi worker sở hữu một mục từ đầu đến cuối và giới hạn 8 yêu cầu được tôn trọng.

Giữ các kết quả trung gian. Khi văn bản cuối cùng sai, bản phác thảo và bản xem xét cho bạn biết bước nào đã thất bại, và bạn có thể sửa một thông báo hệ thống thay vì viết lại toàn bộ pipeline. Ghi mỗi bước vào một tệp JSON-lines với đầu vào, ba đầu ra và các request ID giúp việc này dễ dàng, và nó cung cấp cho bạn một điểm tiếp tục nếu quá trình dừng lại giữa chừng.

Theo dõi số dư và ID yêu cầu

Mỗi phản hồi đều có các header đáng để ghi lại: X-Request-Id xác định cuộc gọi nếu bạn liên hệ hỗ trợ, X-Balance-USD hiển thị số tiền tín dụng còn lại của bạn, và hai header X-RateLimit-Limit báo cáo giới hạn tốc độ và giới hạn đồng thời cho khóa của bạn. SDK ẩn các header theo mặc định; hãy dùng wrapper response thô để đọc chúng.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with the single word ready."}],
    max_tokens=10,
)

print("request id:", raw.headers.get("X-Request-Id"))
print("balance usd:", raw.headers.get("X-Balance-USD"))
print("req limit:", raw.headers.get("X-RateLimit-Limit-Requests"))
print("concurrency limit:", raw.headers.get("X-RateLimit-Limit-Concurrency"))

resp = raw.parse()
print(resp.choices[0].message.content)

Giá là $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra, vì vậy một yêu cầu với 1.000 token đầu vào và 500 token đầu ra tốn $0.00015 + $0.00025 = $0.0004. Một quy trình chạy 5.000 yêu cầu như vậy tốn $2,00. In số dư ở đầu và cuối một lần chạy, bạn sẽ biết chi phí của mỗi lô mà không cần thêm công cụ. Để biết tỷ lệ và ưu đãi nạp tiền, xem trang giá; với mọi tham số được hỗ trợ, đọc tài liệu API.

Một thói quen nữa đáng để áp dụng: giữ các prompt ra khỏi logs của bạn trừ khi bạn cần chúng. Các prompt gửi đến API này không được sử dụng để huấn luyện, nhưng các tệp log của chính bạn là trách nhiệm của bạn.

Khắc phục sự cố cho thiết lập mới

Hầu hết các vấn đề chạy lần đầu đều đến từ một danh sách ngắn các nguyên nhân.

  • Lệnh gọi bị treo hoặc gặp lỗi khi kết nối. Kiểm tra base URL. Nó phải kết thúc bằng /v1, và SDK tự thêm /chat/completions. Một đường dẫn bị lặp lại là lỗi thường gặp.
  • Lỗi xác thực. Khóa bị thiếu, bị cắt ngắn hoặc có một khoảng trắng hoặc ký tự xuống dòng thừa từ sao chép và dán. In độ dài của nó, không phải chính khóa đó, và so sánh nó với những gì trang khóa hiển thị.
  • Không tìm thấy mô hình. Model ID là uncensored, viết thường. Gọi endpoint models để xem chính xác những gì khóa của bạn có thể sử dụng.
  • 429 liên tục trên một tập lệnh nhỏ. Bạn có thể đang dùng khóa dùng thử, cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Giảm pool xuống 2 worker, hoặc top up để nhận khóa đầy đủ.
  • Câu trả lời bị cắt ngang. Một max_tokens thấp kết thúc câu trả lời sớm. Tăng nó lên, hoặc bỏ nó đi và để completion sử dụng phần còn lại của cửa sổ.
  • Yêu cầu quá lớn. Giới hạn body là 8 MB, và cửa sổ token là 100,000 token cho prompt và completion cộng lại. Chia các đầu vào lớn thành các phần và xử lý chúng dưới dạng các lệnh gọi riêng biệt.

Khi có sự cố ở phía dịch vụ, hãy gửi giá trị từ X-Request-Id cho người liên hệ trên trang web. Một ID yêu cầu giúp nhà điều hành tìm đúng yêu cầu của bạn, hữu ích hơn nhiều so với mô tả những gì bạn thấy.

01

Hỏi đáp

Tôi có cần SDK đặc biệt không?

Không cần. SDK Python chính thức của OpenAI hoạt động khi bạn thiết lập base URL và khóa của bạn.

Tôi nên dùng model ID nào?

Sử dụng uncensored. Bạn có thể liệt kê các ID có sẵn bằng lệnh GET /v1/models.

Có bao nhiêu yêu cầu có thể chạy song song?

Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Khóa dùng thử cho phép 2 và 60.

Streaming có hoạt động trong SDK Python không?

Có. Truyền stream=True và lặp qua các chunk. Việc sử dụng được báo cáo ở cuối luồng.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa APIĐọc tài liệu