Python LLM API 워크플로우: 단계별 설정
OpenAI SDK의 베이스 URL을 새 주소로 지정하고, 모델 ID를 uncensored로 설정한 후 재시도, 병렬 실행, 도구 호출을 한 번에 한 레이어씩 추가하세요.
업데이트

주요 포인트
- openai를 설치하고 base_url을 https://api.veo3apis.com/v1로 설정한 후 uncensored 모델을 사용하세요.
- 429 오류 시 Retry-After를 기다리세요. 실패한 요청은 요금이 부과되지 않습니다.
- 스레드 풀 크기를 키에 맞게 조정하세요: 전체 키는 8개 워커, 체험 키는 2개 워커입니다.
- 실행당 지출을 추적하려면 응답 헤더에서 X-Balance-USD를 읽으세요.
짧은 버전
llm api workflow python 스크립트를 구축하려면 공식 OpenAI SDK를 설치하고, 베이스 URL을 https://api.veo3apis.com/v1로 설정하며, API 키로 키를 사용하고 모델 uncensored를 호출하세요. 다른 변경 사항은 없습니다. 이 서비스는 OpenAI와 호환되므로 SDK에서 이미 알고 있는 모든 패턴이 작동합니다: 일반 채팅 호출, 스트리밍, JSON 모드 및 도구 호출.
이 글은 작은 워크플로우를 계층적으로 구축합니다. 단일 호출로 시작하여 환경 변수 구성, 재시도 래퍼, 병렬 실행기, 도구 호출 및 잔액 추적을 추가합니다. 각 계층은 짧으며 필요에 따라 중단할 수 있습니다.
이 모델은 독립적인 제공자가 운영하는 하나의 오픈 웨이트 모델입니다. 주요 벤더의 공식 API가 아니며 라우터도 아니므로 기억해야 할 모델 ID가 하나뿐입니다. 텍스트만 처리합니다. 이미지, 오디오 또는 비디오 생성, 임베딩, 파인튜닝은 없습니다.
SDK 설치 및 첫 번째 호출 수행
Python 3.9 이상이 필요합니다. SDK를 설치하세요:
pip install openai
Google 또는 이메일과 비밀번호로 가입한 후 API 키 페이지에서 키를 생성하세요. 이 페이지에서는 인원당 1개에 한해 7일 동안 유효한 $0.50의 체험 크레딧을 원클릭으로 클레임할 수 있으며, 카드가 필요하지 않습니다. 그런 다음 가장 작은 호출을 실행하세요:
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses for a hosted text API."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
이것이 텍스트와 사용량 객체를 출력하면 인증, 라우팅 및 모델 ID가 모두 올바릅니다. SDK는 키를 Authorization: Bearer로 전송하며, 요청은 POST /v1/chat/completions로 전송됩니다. 키가 볼 수 있는 모델 ID는 client.models.list()로 확인할 수 있으며, 이는 GET /v1/models를 호출합니다.
Python 없이 서버에서 디버깅할 때 원시 curl 버전이 유용합니다:
curl https://api.veo3apis.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello."}]}'
설정을 하나의 클라이언트에 유지하세요
스크립트에 키를 하드코딩하면 저장소로 유출되는 가장 빠른 방법입니다. 환경에서 두 값을 읽고 워크플로우의 모든 단계가 공유할 수 있도록 클라이언트를 한 곳에 만드세요.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.veo3apis.com/v1"),
api_key=os.environ["LLM_API_KEY"],
max_retries=0,
timeout=120,
)
MODEL = "uncensored"
def ask(system: str, user: str, **kwargs) -> str:
resp = client.chat.completions.create(
model=MODEL,
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
**kwargs,
)
return resp.choices[0].message.content
여기서 두 가지 선택은 의도적입니다. max_retries=0은 SDK의 내장 재시도를 비활성화하여 다음 섹션의 재시도 로직만 유일한 재시도 로직이 되게 하여 동작을 더 쉽게 추론할 수 있게 합니다. 120초의 타임아웃은 긴 응답 생성을 위한 여유를 남깁니다. 컨텍스트 창은 프롬프트와 완성 텍스트를 합쳐 100,000 토큰이며, 큰 답변은 스트리밍하는 데 시간이 걸립니다. temperature, top_p, stop, seed 및 패널티와 같은 샘플링 매개변수는 일반적으로 **kwargs로 전달됩니다.
적절한 오류만 재시도하세요
모든 실제 워크플로우는 결국 속도 제한에 부딪힙니다. 전체 키는 분당 300개, 동시 8개 요청을 허용합니다. 체험 키는 분당 60개, 동시 2개를 허용합니다. 제한을 초과하면 API는 HTTP 429를 반환합니다. 오류 코드로 어떤 제한에 부딪혔는지 알 수 있습니다: 분당 요청의 경우 rate_limited, 동시에 너무 많은 요청의 경우 concurrency입니다. 일시적 과부하 시 API는 Retry-After: 5 헤더와 함께 429도 전송합니다.
세 경우 모두 동일한 해결책이 있습니다: 기다렸다가 다시 시도합니다. 이 래퍼는 헤더를 준수하고 헤더가 없을 때 백오프합니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from openai import RateLimitError, APIConnectionError, APIStatusError
def call_with_retry(messages, tries=5, **kwargs):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, **kwargs
)
except RateLimitError as err:
wait = err.response.headers.get("Retry-After")
time.sleep(int(wait) if wait else delay)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
except APIStatusError as err:
if err.status_code < 500:
raise
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("request failed after retries")
변경될 수 있는 오류만 재시도하세요. 400은 요청이 잘못되었음을 의미하며, 다시 보내면 같은 방식으로 실패하므로 래퍼는 429를 제외한 모든 클라이언트 오류를 다시 발생시킵니다. 실패하거나 거부된 요청은 요금이 부과되지 않으므로 재시도해도 추가 비용이 들지 않습니다.
여러 입력을 병렬로 실행하세요
여러 입력에 대한 루프에는 스레드 풀이 충분합니다. SDK 클라이언트는 스레드 간에 공유해도 안전합니다. 풀 크기를 키에 맞게 조정하세요: 전체 키는 8개 워커, 체험 키는 2개 워커입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
def summarize(text: str) -> str:
for _ in range(5):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarize the text in two sentences."},
{"role": "user", "content": text},
],
max_tokens=150,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
time.sleep(int(err.response.headers.get("Retry-After", "5")))
return ""
documents = ["First long text...", "Second long text...", "Third long text..."]
with ThreadPoolExecutor(max_workers=8) as pool:
summaries = list(pool.map(summarize, documents))
for s in summaries:
print(s)
풀 크기는 요청 속도와 다릅니다. 각 호출에 0.5초가 걸리는 8개의 워커는 분당 960개의 요청을 생성하여 300을 훨씬 초과합니다. 호출이 빠른 경우 작은 sleep 또는 토큰 버킷 제한기를 추가하여 분당 제한을 넘지 않도록 하세요. 호출이 느린 경우 동시성이 먼저 도달하는 제한입니다. 스트리밍된 요청은 스트리밍이 완료될 때까지 슬롯을 유지합니다.
구조화된 출력 및 도구 호출
두 가지 기능은 채팅 호출을 다른 코드가 의존할 수 있는 워크플로우 단계로 전환합니다. JSON 모드는 구문 분석 가능한 출력을 보장합니다. 도구 호출은 모델이 코드에 무언가를 수행하도록 요청한 후 답변을 활용하게 합니다.
JSON 모드
response_format을 JSON 객체로 설정하고 프롬프트 내에 있는 키를 설명하세요.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON: {\"title\": string, \"tags\": [string]}"},
{"role": "user", "content": "A short post about nightly backups."},
],
)
post = json.loads(resp.choices[0].message.content)
print(post["title"], post["tags"])
도구 호출
tools로 도구를 선언하고, 필요시 tool_choice로 선택을 강제하며, 함수를 직접 실행한 후 role: "tool"로 결과를 메시지 형태로 전송하세요.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
tools = [{
"type": "function",
"function": {
"name": "word_count",
"description": "Count the words in a piece of text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in 'the quick brown fox'?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"words": len(args["text"].split())}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
tool_calls이 존재하는지 항상 확인하세요. 모델이 직접 응답할 수 있으므로 코드에서 두 경우 모두 처리해야 합니다.
단계를 파이프라인으로 연결하세요
실제 워크플로우는 한 번의 호출로 끝나지 않습니다. 일반적인 형태는 초안 작성, 검토, 수정입니다. 첫 호출은 결과를 생성하고, 두 번째 호출은 체크리스트에 따라 비판하며, 세 번째 호출은 비판을 적용합니다. 각 단계는 자체 시스템 메시지가 있는 별도 요청이므로 지침이 짧아지고 실패 원인을 쉽게 찾을 수 있습니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
def step(system: str, user: str, temperature: float = 0.7) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
temperature=temperature,
max_tokens=800,
)
return resp.choices[0].message.content.strip()
topic = "a changelog entry for a new export feature"
draft = step("Write the requested text in under 120 words.", topic)
review = step(
"List at most three concrete problems with this text: vague wording, missing detail, wrong tone.",
draft,
temperature=0.2,
)
final = step(
"Rewrite the text so it fixes every listed problem. Reply with the text only.",
"TEXT:\n" + draft + "\n\nPROBLEMS:\n" + review,
)
print(final)
검토 단계의 낮은 온도 값을 확인하세요. 비판은 실행 간에 일관되어야 하지만, 초안 작성에는 출력의 다양성이 필요합니다. 여러 입력에 대해 파이프라인을 실행할 경우, 이전 섹션의 스레드 풀 워커 안에 전체 3단계 함수를 넣으세요. 각 워커가 시작부터 끝까지 하나의 항목을 소유하게 하면 8개 요청 한도를 준수할 수 있습니다.
중간 결과를 유지하세요. 최종 텍스트가 틀렸을 때 초안과 검토로 어떤 단계가 실패했는지 알 수 있으며, 전체 파이프라인을 다시 작성하는 대신 시스템 메시지 하나만 수정하면 됩니다. 입력, 세 가지 출력 및 요청 ID를 JSON-lines 파일에 기록하면 쉽게 처리할 수 있으며, 프로세스가 중간에 중단될 경우 재개 지점을 제공합니다.
잔액 및 요청 ID를 추적하세요
각 응답에는 로깅할 가치가 있는 헤더가 포함되어 있습니다: X-Request-Id는 지원팀 문의 시 호출을 식별하고, X-Balance-USD은 남은 크레딧을 보여주며, 두 개의 X-RateLimit-Limit 헤더는 각각 키의 요청 제한과 동시성 제한을 보고합니다. SDK는 기본적으로 헤더를 숨기므로 읽으려면 raw-response 래퍼를 사용하세요.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with the single word ready."}],
max_tokens=10,
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance usd:", raw.headers.get("X-Balance-USD"))
print("req limit:", raw.headers.get("X-RateLimit-Limit-Requests"))
print("concurrency limit:", raw.headers.get("X-RateLimit-Limit-Concurrency"))
resp = raw.parse()
print(resp.choices[0].message.content)
가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 따라서 입력 1,000개, 출력 500개의 호출 비용은 $0.00015 + $0.00025 = $0.0004입니다. 이러한 호출을 5,000번 실행하는 워크플로우는 $2.00이 소요됩니다. 실행 시작과 종료 시 잔액을 출력하면 추가 도구 없이도 각 배치 비용을 알 수 있습니다. 요금 및 충전 보너스는 가격 페이지를, 지원되는 모든 매개변수는 API 문서를 참조하세요.
하나 더 추천할 습관: 필요하지 않다면 프롬프트를 로그에 남기지 마세요. 이 API로 전송된 프롬프트는 학습에 사용되지 않지만, 로그 파일은 귀하의 책임입니다.
새로운 설정의 문제 해결
대부분의 첫 실행 문제는 짧은 원인 목록에서 비롯됩니다.
- 호출이 멈추거나 연결 오류가 발생합니다. 베이스 URL을 확인하세요.
/v1로 끝나야 하며, SDK는/chat/completions을 자체적으로 추가합니다. 경로 중복이 일반적인 실수입니다. - 인증 오류입니다. 키가 누락되었거나 잘렸거나, 복사 및 붙여넣기 과정에서 우연히 공백이나 줄바꿈이 섞여 있을 수 있습니다. 키 자체 대신 길이를 출력하고 키 페이지에 표시된 값과 비교하세요.
- 모델을 찾을 수 없습니다. 모델 ID는
uncensored입니다. 모델 엔드포인트를 호출하여 키가 사용할 수 있는 정확한 내용을 확인하세요. - 작은 스크립트에서 지속적인 429 오류. 체험 키를 사용 중일 수 있으며, 이는 동시에 2개의 요청과 분당 60개의 요청을 허용합니다. 풀을 2개 워커로 줄이거나 충전하여 전체 키를 받으세요.
- 잘린 답변. 낮은
max_tokens은 응답을 조기에 종료합니다. 높게 설정하거나 제거하여 생성 프로세스가 나머지 컨텍스트 창을 사용하도록 하세요. - 요청이 너무 큽니다. 본문 제한은 8 MB이며, 토큰 창은 프롬프트와 생성을 합쳐 100,000 토큰입니다. 큰 입력을 조각으로 나누어 별도 호출로 처리하세요.
서비스 측에서 문제가 발생하면 사이트의 연락처로 X-Request-Id의 값을 보내세요. 요청 ID는 운영자가 당신의 정확한 요청을 찾는 데 도움이 되며, 당신이 본 현상에 대한 설명보다 훨씬 유용합니다.
더 많은 가이드
질문과 답변
특별한 SDK가 필요한가요?
아닙니다. 베이스 URL과 API 키를 설정하면 공식 OpenAI Python SDK가 작동합니다.
어떤 모델 ID를 사용해야 하나요?
uncensored를 사용하세요. 사용 가능한 ID 목록은 GET /v1/models로 확인할 수 있습니다.
동시 요청은 몇 개까지 가능한가요?
전체 키는 동시 8개 요청과 분당 300개 요청을 허용합니다. 체험 키는 동시 2개와 분당 60개를 허용합니다.
Python SDK에서 스트리밍이 작동하나요?
네. stream=True를 전달하고 청크를 반복하세요. 사용량은 스트림 종료 시 보고됩니다.