Рабочий процесс LLM API в Python: пошаговая настройка
Направьте OpenAI SDK на новый базовый URL, используйте идентификатор модели uncensored и постепенно добавляйте повторные попытки, параллельные запросы и вызовы функций.
Обновлено

Ключевые моменты
- Установите openai, установите base_url равным https://api.veo3apis.com/v1 и используйте модель uncensored.
- Обрабатывайте 429, ожидая заголовок Retry-After; неудачные запросы не оплачиваются.
- Настройте размер пула потоков в зависимости от ключа: 8 рабочих для полного ключа, 2 для пробного ключа.
- Читайте X-Balance-USD из заголовков ответа, чтобы отслеживать расходы за один запуск.
Краткая версия
Чтобы создать скрипт рабочего процесса LLM API на Python, установите официальный OpenAI SDK, укажите базовый URL как https://api.veo3apis.com/v1, используйте свой ключ в качестве API-ключа и вызовите модель uncensored. Больше ничего менять не нужно. Сервис совместим с OpenAI, поэтому все шаблоны, которые вы уже знаете из SDK, работают: обычные вызовы чата, потоковая передача, JSON-режим и вызов инструментов.
В этой статье рабочий процесс строится послойно. Вы начинаете с одного вызова, затем добавляете конфигурацию из переменных окружения, обёртку для повторных попыток, параллельный исполнитель, вызов инструмента и отслеживание баланса. Каждый слой короткий, и вы можете остановиться на любом из них, если он покрывает ваши потребности.
Это одна модель с открытыми весами, запущенная независимым провайдером. Это не официальный API какого-либо крупного вендора и не маршрутизатор, поэтому нужно запомнить только один идентификатор модели. Она обрабатывает только текст. Нет генерации изображений, аудио или видео, нет эмбеддингов и нет тонкой настройки.
Установка SDK и первый вызов
Вам нужен Python 3.9 или новее. Установите SDK:
pip install openai
Создайте ключ на странице API-ключ после регистрации с помощью Google или с помощью электронной почты и пароля. На этой странице также доступна одноразовая активация пробного кредита в размере $0.50, действительного в течение 7 дней, по одному на человека, без привязки карты. Затем выполните минимальный вызов:
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses for a hosted text API."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
Если этот код выводит текст и объект со статистикой использования, аутентификация, маршрутизация и идентификатор модели указаны правильно. SDK отправляет ваш ключ как Authorization: Bearer, а запрос отправляется на POST /v1/chat/completions. Вы можете проверить, какие идентификаторы моделей видит ваш ключ, с помощью client.models.list(), который вызывает GET /v1/models.
Версия с raw curl полезна, когда вы отлаживаете с сервера без Python:
curl https://api.veo3apis.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello."}]}'
Храните конфигурацию в одном клиенте
Ключ, прописанный прямо в скрипте, — самый быстрый путь к его утечке в репозиторий. Читайте оба значения из среды и создавайте клиент в одном месте, чтобы каждый шаг рабочего процесса использовал его совместно.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.veo3apis.com/v1"),
api_key=os.environ["LLM_API_KEY"],
max_retries=0,
timeout=120,
)
MODEL = "uncensored"
def ask(system: str, user: str, **kwargs) -> str:
resp = client.chat.completions.create(
model=MODEL,
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
**kwargs,
)
return resp.choices[0].message.content
Здесь два выбора сделаны осознанно. max_retries=0 отключает встроенные повторные попытки SDK, так что логика повторных попыток в следующем разделе является единственной, что упрощает понимание поведения. Время ожидания 120 секунд оставляет запас для длинных завершений; контекстное окно составляет 100 000 токенов для промпта плюс завершение, и большой ответ занимает время для потоковой передачи. Параметры сэмплирования, такие как temperature, top_p, stop, seed и штрафы, передаются через **kwargs как обычно.
Повторяйте запросы при правильных ошибках
Каждый реальный рабочий процесс рано или поздно сталкивается с лимитами запросов. Полный ключ позволяет 300 запросов в минуту и 8 одновременно. Пробный ключ позволяет 60 в минуту и 2 одновременно. Превышение любого из них приводит к возврату API HTTP 429. Код ошибки указывает, какой лимит вы превысили: rate_limited для запросов в минуту, concurrency для слишком многих одновременно. Во время временной перегрузки API также отправляет 429 с заголовком Retry-After: 5.
Для всех трех случаев одно и то же решение: подождите, затем попробуйте снова. Эта обертка учитывает заголовок и увеличивает задержку, когда он отсутствует.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from openai import RateLimitError, APIConnectionError, APIStatusError
def call_with_retry(messages, tries=5, **kwargs):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, **kwargs
)
except RateLimitError as err:
wait = err.response.headers.get("Retry-After")
time.sleep(int(wait) if wait else delay)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
except APIStatusError as err:
if err.status_code < 500:
raise
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("request failed after retries")
Повторяйте запрос только при ошибках, которые могут исчезнуть при повторе. 400 означает, что ваш запрос некорректен, и повторная отправка приведет к той же ошибке, поэтому обертка вызывает исключение для любой клиентской ошибки, кроме 429. Неудачные или отклоненные запросы не оплачиваются, поэтому повторные попытки не стоят ничего дополнительно.
Запускайте множество входов параллельно
Для цикла по многим входам достаточно пула потоков. Клиент SDK безопасен для использования в нескольких потоках. Настройте размер пула в зависимости от ключа: 8 рабочих для полного ключа, 2 для пробного ключа.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
def summarize(text: str) -> str:
for _ in range(5):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarize the text in two sentences."},
{"role": "user", "content": text},
],
max_tokens=150,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
time.sleep(int(err.response.headers.get("Retry-After", "5")))
return ""
documents = ["First long text...", "Second long text...", "Third long text..."]
with ThreadPoolExecutor(max_workers=8) as pool:
summaries = list(pool.map(summarize, documents))
for s in summaries:
print(s)
Размер пула не равен частоте запросов. Восемь рабочих, завершающих вызов за полсекунды, сделают 960 запросов в минуту, что значительно превышает 300. Если ваши вызовы быстрые, добавьте небольшой sleep или ограничитель запросов по алгоритму token bucket, чтобы оставаться ниже лимита в минуту. Если ваши вызовы медленные, параллельность — это лимит, который вы достигнете первым. Потоковые запросы удерживают свой слот до завершения потока.
Структурированный вывод и вызовы инструментов
Две функции превращают вызов чата в шаг рабочего процесса, на который может положиться другой код. JSON-режим гарантирует вывод, пригодный для разбора. Вызов инструментов позволяет модели попросить ваш код сделать что-то, а затем использовать ответ.
JSON-режим
Установите response_format в JSON-объект и опишите ключи в промпте.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON: {\"title\": string, \"tags\": [string]}"},
{"role": "user", "content": "A short post about nightly backups."},
],
)
post = json.loads(resp.choices[0].message.content)
print(post["title"], post["tags"])
Вызов инструментов
Объявите инструменты с помощью tools, при необходимости принудительно выберите инструмент с помощью tool_choice, запустите функцию самостоятельно и отправьте результат обратно как сообщение с role: "tool".
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
tools = [{
"type": "function",
"function": {
"name": "word_count",
"description": "Count the words in a piece of text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in 'the quick brown fox'?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"words": len(args["text"].split())}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
Всегда проверяйте, присутствует ли tool_calls, прежде чем читать его. Модель может ответить напрямую, и ваш код должен обрабатывать оба исхода.
Связывайте шаги в конвейер
Реальные рабочие процессы редко останавливаются на одном вызове. Общая форма — черновик, проверка, переписывание: первый вызов создает что-то, второй критикует его по контрольному списку, а третий применяет критику. Каждый шаг — отдельный запрос со своим системным сообщением, что делает инструкции короткими, а ошибки легкими для локализации.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
def step(system: str, user: str, temperature: float = 0.7) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
temperature=temperature,
max_tokens=800,
)
return resp.choices[0].message.content.strip()
topic = "a changelog entry for a new export feature"
draft = step("Write the requested text in under 120 words.", topic)
review = step(
"List at most three concrete problems with this text: vague wording, missing detail, wrong tone.",
draft,
temperature=0.2,
)
final = step(
"Rewrite the text so it fixes every listed problem. Reply with the text only.",
"TEXT:\n" + draft + "\n\nPROBLEMS:\n" + review,
)
print(final)
Обратите внимание на более низкую температуру на этапе проверки. Критика должна быть последовательной от запуска к запуску, тогда как черновик выигрывает от некоторого разнообразия. Если вы запускаете конвейер по многим входам, поместите всю трехшаговую функцию внутрь рабочего потока пула из предыдущего раздела, чтобы каждый рабочий обрабатывал один элемент от начала до конца и соблюдался предел в 8 одновременных запросов.
Сохраняйте промежуточные результаты. Когда окончательный текст неверен, черновик и проверка показывают, какой шаг дал сбой, и вы можете исправить одно системное сообщение вместо переписывания всего конвейера. Запись каждого шага в файл JSON-lines с входом, тремя выводами и идентификаторами запросов делает это простым, и это дает вам точку возобновления, если процесс останавливается посередине.
Отслеживайте баланс и идентификаторы запросов
Каждый ответ содержит заголовки, которые стоит логировать: X-Request-Id идентифицирует вызов, если вы свяжетесь с поддержкой, X-Balance-USD показывает, сколько осталось от вашего предоплаченного баланса, а два заголовка X-RateLimit-Limit сообщают о лимитах запросов и параллельности для вашего ключа. SDK скрывает заголовки по умолчанию; используйте обертку raw-response для их чтения.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with the single word ready."}],
max_tokens=10,
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance usd:", raw.headers.get("X-Balance-USD"))
print("req limit:", raw.headers.get("X-RateLimit-Limit-Requests"))
print("concurrency limit:", raw.headers.get("X-RateLimit-Limit-Concurrency"))
resp = raw.parse()
print(resp.choices[0].message.content)
Стоимость составляет $0,15 за миллион входных токенов и $0,50 за миллион выходных токенов, поэтому запрос с 1 000 входными и 500 выходными токенами стоит $0,00015 + $0,00025 = $0,0004. Рабочий процесс, выполняющий 5 000 таких запросов, обойдется в $2,00. Выводите баланс в начале и в конце выполнения, и вы будете знать стоимость каждого пакета без использования дополнительного инструментария. По ставкам и бонусам за пополнение см. страницу с ценами; по каждому поддерживаемому параметру читайте документацию API.
Еще одна привычка, которую стоит принять: не включайте промпты в свои журналы, если только они вам не нужны. Промпты, отправленные в этот API, не используются для обучения, но ваши собственные файлы журналов находятся на вашей ответственности.
Устранение неполадок новой настройки
Большинство проблем первого запуска вызваны коротким списком причин.
- Вызов зависает или выдает ошибку при подключении. Проверьте базовый URL. Он должен заканчиваться на
/v1, а SDK сам добавляет/chat/completions. Дублирование пути — обычная ошибка. - Ошибка аутентификации. Ключ отсутствует, обрезан или содержит лишний пробел или новую строку из копирования и вставки. Выведите его длину, а не сам ключ, и сравните с тем, что показывает страница ключей.
- Модель не найдена. Идентификатор модели —
uncensored, в нижнем регистре. Вызовите эндпоинт моделей, чтобы увидеть, что именно может использовать ваш ключ. - Постоянные 429 в небольшом скрипте. Возможно, вы используете пробный ключ, который позволяет 2 параллельных запроса и 60 запросов в минуту. Уменьшите пул до 2 рабочих или пополните баланс, чтобы получить полный ключ.
- Обрезанные ответы. Низкий
max_tokensзавершает ответ рано. Увеличьте его или удалите и позвольте завершению использовать оставшуюся часть окна. - Запрос слишком большой. Лимит тела запроса составляет 8 МБ, а контекстное окно — 100 000 токенов для промпта и ответа вместе. Разделите большие входные данные на части и обрабатывайте их как отдельные запросы.
Если на стороне сервиса что-то выглядит неправильно, отправьте значение из X-Request-Id контактному лицу на сайте. Идентификатор запроса позволяет оператору найти ваш точный вызов, что гораздо полезнее, чем описание того, что вы увидели.
Дополнительные руководства
Вопросы и ответы
Мне нужен специальный SDK?
Нет. Официальный Python SDK для OpenAI работает, если вы укажете базовый URL и свой ключ.
Какой ID модели использовать?
Используйте uncensored. Вы можете получить список доступных идентификаторов с помощью GET /v1/models.
Сколько запросов может выполняться параллельно?
Полный ключ позволяет 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет 2 и 60.
Работает ли потоковая передача в Python SDK?
Да. Передайте stream=True и итерируйте по чанкам. Использование фиксируется в конце потока.
До вашего ключа — одна форма
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.