Python ile LLM API İş Akışı: Adım Adım Kurulum
OpenAI SDK'nın temel URL'sini yeni bir adrese yönlendirin, model kimliği olarak uncensored'ı kullanın ve yeniden denemeleri, paralel çalıştırmaları ve araç çağrılarını katman katman ekleyin.
güncellendi

Temel noktalar
- openai paketini yükleyin, base_url'yi https://api.veo3apis.com/v1 olarak ayarlayın ve uncensored modelini kullanın.
- 429 hatasını Retry-After başlığına bakarak bekleyerek çözün; başarısız istekler ücretlendirilmez.
- İş parçacığı havuzunu anahtarınıza göre ayarlayın: tam anahtar için 8 iş parçacığı, deneme anahtarı için 2 iş parçacığı.
- Harcanan bakiyeyi takip etmek için yanıt başlıklarından X-Balance-USD değerini okuyun.
Kısa özet
Bir LLM API iş akışı Python betiği oluşturmak için resmi OpenAI SDK'sını yükleyin, base URL'yi https://api.veo3apis.com/v1 olarak ayarlayın, anahtarınızı API anahtarı olarak kullanın ve uncensored modelini çağırın. Başka hiçbir şey değişmez. Servis OpenAI ile uyumlu olduğu için SDK'dan bildiğiniz her desen çalışır: düz sohbet çağrıları, streaming, JSON modu ve fonksiyon çağırma.
Bu makale, iş akışını katman katman oluşturur. Tek bir çağrı ile başlarsınız, ardından ortam değişkenlerinden yapılandırma, bir yeniden deneme sarmalayıcısı, paralel bir çalıştırıcı, bir araç çağrısı ve bakiye takibi eklersiniz. Her katman kısadır ve ihtiyaçlarınızı karşılayan herhangi bir adımda durabilirsiniz.
Model, bağımsız bir sağlayıcı tarafından çalıştırılan tek bir açık ağırlıklı modeldir. Büyük bir satıcının resmi API'si değildir ve bir yönlendirici de değildir, bu nedenle akılda tutulacak tek bir model ID vardır. Yalnızca metin işler. Görsel, ses veya video üretimi, gömme (embedding) veya ince ayar (fine-tuning) yoktur.
SDK'yi yükleyin ve ilk çağrıyı yapın
Python 3.9 veya daha yeni bir sürüme ihtiyacınız var. SDK'yı yükleyin:
pip install openai
Google veya e-posta ve şifre ile kayıt olduktan sonra API anahtarı sayfasından bir anahtar oluşturun. Sayfada ayrıca 7 gün geçerli, kişi başı bir kez, kart gerekmeden geçerli olan $0,50 deneme kredisi için tek tıkla talep etme seçeneği de bulunur. Ardından en küçük olası çağrıyı çalıştırın:
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses for a hosted text API."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
Bu metni ve bir kullanım nesnesini yazdırıyorsa kimlik doğrulama, yönlendirme ve model kimliği doğrudur. SDK anahtarınızı Authorization: Bearer olarak gönderir ve istek POST /v1/chat/completions adresine gider. Anahtarınızın hangi model kimliklerini gördüğünü client.models.list() ile kontrol edebilirsiniz; bu GET /v1/models çağrısını yapar.
Python olmadan bir sunucudan hata ayıklarken ham bir curl sürümü faydalıdır:
curl https://api.veo3apis.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello."}]}'
Yapılandırmayı tek bir istemcide tutun
Bir anahtarı betikte sabit kodlamak, onu bir depoya sızdırmanın en hızlı yoludur. Her iki değeri de ortamdan okuyun ve istemciyi tek bir yerde oluşturun böylece iş akışının her adımı onu paylaşsın.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.veo3apis.com/v1"),
api_key=os.environ["LLM_API_KEY"],
max_retries=0,
timeout=120,
)
MODEL = "uncensored"
def ask(system: str, user: str, **kwargs) -> str:
resp = client.chat.completions.create(
model=MODEL,
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
**kwargs,
)
return resp.choices[0].message.content
Buradaki iki seçenek bilinçlidir. max_retries=0, SDK'nın yerleşik yeniden denemelerini kapatır, böylece bir sonraki bölümdeki yeniden deneme mantığı tek kaynak olur ve davranışları daha kolay analiz edebilirsiniz. 120 saniyelik zaman aşımı, uzun tamamlamalar için yer bırakır; bağlam penceresi istem ve tamamlama için 100.000 token'dır ve büyük bir yanıtın akışla gönderilmesi zaman alır. temperature, top_p, stop, seed gibi örnekleme parametreleri ve cezalar, usual olduğu gibi **kwargs üzerinden iletilir.
Doğru hataları yeniden deneyin
Her gerçek iş akışı bir gün hız sınırlarına takılır. Tam anahtar dakikada 300 istek ve aynı anda 8 istek izni verir. Deneme anahtarı dakikada 60 istek ve aynı anda 2 istek izni verir. Bunlardan herhangi birini aşarsanız API HTTP 429 döndürür. Hata kodu hangi limite takıldığınızı gösterir: dakikada istekler için rate_limited, aynı anda çok fazla istek için concurrency. Geçici aşırı yüklenme sırasında API ayrıca Retry-After: 5 başlığıyla 429 döndürür.
Üç durumun da tek çaresi beklemek ve tekrar denemektir. Bu sarmalayıcı başlığı dikkate alır ve başlık yoksa geri çekilme (backoff) yapar.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from openai import RateLimitError, APIConnectionError, APIStatusError
def call_with_retry(messages, tries=5, **kwargs):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, **kwargs
)
except RateLimitError as err:
wait = err.response.headers.get("Retry-After")
time.sleep(int(wait) if wait else delay)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
except APIStatusError as err:
if err.status_code < 500:
raise
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("request failed after retries")
Yalnızca değişebilecek hataları yeniden deneyin. 400 hatası isteğinizin bozuk olduğunu gösterir ve tekrar göndermek aynı hatayı verecektir, bu nedenle sarmalayıcı 429 dışındaki tüm istemci hatalarını yeniden fırlatır. Başarısız veya reddedilen istekler ücretlendirilmez, bu nedenle yeniden denemek ekstra maliyet yaratmaz.
Paralel olarak birçok girdi çalıştırın
Çok sayıda girdi üzerinden bir döngü için bir iş parçacığı havuzu yeterlidir. SDK istemcisi iş parçacıkları arasında paylaşmak için güvenlidir. Havuz boyutunu anahtarınıza göre ayarlayın: tam anahtar için 8 iş parçacığı, deneme anahtarı için 2 iş parçacığı.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
def summarize(text: str) -> str:
for _ in range(5):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarize the text in two sentences."},
{"role": "user", "content": text},
],
max_tokens=150,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
time.sleep(int(err.response.headers.get("Retry-After", "5")))
return ""
documents = ["First long text...", "Second long text...", "Third long text..."]
with ThreadPoolExecutor(max_workers=8) as pool:
summaries = list(pool.map(summarize, documents))
for s in summaries:
print(s)
Havuz boyutu, istek hızı ile aynı şey değildir. Her biri yarı saniyede bir çağrı tamamlayan sekiz işçi dakikada 960 istek yapabilir ki bu 300'ün çok üzerindedir. Eğer çağrılarınız hızlıysa, dakikalık limite uymak için küçük bir bekleme süresi veya token-havuzu sınırlayıcısı ekleyin. Eğer çağrılarınız yavaşsa, karşılaşacağınız sınır eşzamanlılık sınırıdır. Akışlı istekler, akış bitene kadar slotlarını tutar.
Yapılandırılmış çıktı ve araç çağrıları
İki özellik, bir sohbet çağrısını diğer kodların güvenebileceği bir iş akışı adımına dönüştürür. JSON modu, ayrıştırılabilir bir çıktı garanti eder. Fonksiyon çağırma, modelin kodunuzdan bir şey yapmasını istemesini ve ardından cevabı kullanmasını sağlar.
JSON modu
response_format değerini bir JSON nesnesine ayarlayın ve anahtarları istemde açıklayın.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON: {\"title\": string, \"tags\": [string]}"},
{"role": "user", "content": "A short post about nightly backups."},
],
)
post = json.loads(resp.choices[0].message.content)
print(post["title"], post["tags"])
Araç çağırma
tools ile araçları tanımlayın, isteğe bağlı olarak bir seçim zorlayın tool_choice ile, fonksiyonu kendiniz çalıştırın ve sonucu role: "tool" ile bir mesaj olarak gönderin.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
tools = [{
"type": "function",
"function": {
"name": "word_count",
"description": "Count the words in a piece of text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in 'the quick brown fox'?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"words": len(args["text"].split())}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
Okumadan önce tool_calls'ün mevcut olduğundan emin olun. Model doğrudan yanıt verebilir ve kodunuz her iki sonucu da işlemelidir.
Adımları bir boru hattına bağlayın
Gerçek iş akışları nadiren tek bir çağrıda biter. Yaygın bir şekil taslak, inceleme, yeniden yazma şeklindedir: ilk çağrı bir şey üretir, ikinci bir kontrol listesiyle eleştirir ve üçüncü bu eleştiriyi uygular. Her adım, talimatların kısa kalmasını ve hataların kolayca bulunmasını sağlayan kendi sistem mesajı ile ayrı bir istektir.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
def step(system: str, user: str, temperature: float = 0.7) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": system},
{"role": "user", "content": user},
],
temperature=temperature,
max_tokens=800,
)
return resp.choices[0].message.content.strip()
topic = "a changelog entry for a new export feature"
draft = step("Write the requested text in under 120 words.", topic)
review = step(
"List at most three concrete problems with this text: vague wording, missing detail, wrong tone.",
draft,
temperature=0.2,
)
final = step(
"Rewrite the text so it fixes every listed problem. Reply with the text only.",
"TEXT:\n" + draft + "\n\nPROBLEMS:\n" + review,
)
print(final)
İnceleme adımındaki daha düşük sıcaklık değerine dikkat edin. Eleştiri, çalışmadan çalışmaya tutarlı olmalıdır; taslak hazırlama ise çeşitlilikten yararlanır. Pipeline'ı birçok girdi üzerinde çalıştırıyorsanız, tüm üç adımlı fonksiyonu önceki bölümdeki iş parçacığı havuzu işçisinin içine yerleştirin; böylece her işçi baştan sona bir öğeyi yönetir ve 8 isteklik sınırına uyulur.
Ara sonuçları saklayın. Son metin yanlışsa, taslak ve inceleme hangi adımın başarısız olduğunu gösterir ve tüm boru hattını yeniden yazmak yerine tek bir sistem mesajını düzeltebilirsiniz. Her adımı, girdiyi, üç çıktıyı ve istek ID'lerini içeren bir JSON-lines dosyasına yazmak bunu kolaylaştırır ve işlem yarıda kalırsa devam edebileceğiniz bir nokta sağlar.
Bakiyeyi ve istek ID'lerini takip edin
Her yanıt, günlüğe kaydedilmeye değer başlıklar taşır: X-Request-Id, destekle iletişime geçtiğinizde çağrıyı tanımlar; X-Balance-USD kalan kredinizi gösterir; ve iki X-RateLimit-Limit başlığı anahtarınız için istek ve eşzamanlılık sınırlarını bildirir. SDK başlıkları varsayılan olarak gizler; okumak için ham-yanıt sarmalayıcısını kullanın.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with the single word ready."}],
max_tokens=10,
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance usd:", raw.headers.get("X-Balance-USD"))
print("req limit:", raw.headers.get("X-RateLimit-Limit-Requests"))
print("concurrency limit:", raw.headers.get("X-RateLimit-Limit-Concurrency"))
resp = raw.parse()
print(resp.choices[0].message.content)
Fiyatlandırma, milyon giriş tokenı başına $0,15 ve milyon çıktı tokenı başına $0,50'dir; bu nedenle 1.000 giriş ve 500 çıktı tokenı içeren bir çağrı $0,00015 + $0,00025 = $0,0004 tutarındadır. Böyle 5.000 çağrı yapan bir iş akışı $2,00 harcar. Bir çalıştırmanın başında ve sonunda bakiyeyi yazdırın ve her toplu işin neye mal olduğunu ekstra araç kullanmadan bileceksiniz. Oranlar ve bakiye yükleme bonusları için fiyatlandırma sayfasına bakın; desteklenen her parametre için API belgelerine okuyun.
Benimsenecek bir alışkanlık daha: Gerekmedikçe istemleri günlüklerinize yazmayın. Bu API'ye gönderilen istemler eğitim için kullanılmaz, ancak kendi günlük dosyalarınız sizin sorumluluğunuzdadır.
Yeni kurulumu halletme
Çoğu ilk çalıştırma sorunu kısa bir nedenler listesinden kaynaklanır.
- Çağrı takılır veya bağlantıda hata verir. Base URL'yi kontrol edin.
/v1ile bitmelidir ve SDK/chat/completions'i kendisi ekler. Çift yol genellikle yapılan hatadır. - Kimlik doğrulama hatası. Anahtar eksik, kesik veya kopyala-yapıştır sırasında gelen bir boşluk veya satır sonu karakteri içerir. Anahtarın kendisini değil uzunluğunu yazdırın ve anahtar sayfasında gösterilenle karşılaştırın.
- Model bulunamadı. Model kimliği
uncensoredşeklindedir ve küçük harfle yazılır. Anahtarınızın kullanabileceği modelleri tam olarak görmek için modeller uç noktasını çağırın. - Küçük bir betikte sürekli 429 hatası. Deneme anahtarı kullanıyor olabilirsiniz; bu aynı anda 2 istek ve dakikada 60 istek izni verir. Havuzu 2 işçiye düşürün veya tam anahtar almak için bakiye yükleyin.
- Kesik yanıtlar. Düşük bir
max_tokensyanıtı erken sonlandırır. Bu değeri artırın veya kaldırın ve tamamlamanın pencerenin geri kalanını kullanmasına izin verin. - İstek çok büyük. Gövde sınırı 8 MB'tır ve token penceresi istem ve tamamlama birlikte 100.000 token içindir. Büyük girdileri parçalara ayırın ve bunları ayrı çağrılar olarak işleyin.
Servis tarafında bir şeyler yanlış görünüyorsa, sitedeki iletişim kişisine X-Request-Id değerini gönderin. Bir istek ID'si operatörün tam çağrınızı bulmasını sağlar; bu, gördüğünüz şeyin bir açıklamasından çok daha faydalıdır.
Daha fazla kılavuz
Sorular ve cevaplar
Özel bir SDK'ya ihtiyacım var mı?
Hayır. Base URL'yi ve anahtarınızı ayarladıktan sonra resmi OpenAI Python SDK'sı çalışır.
Hangi model ID'sini kullanıyorum?
uncensored kullanın. Mevcut ID'leri GET /v1/models ile listeleyebilirsiniz.
Paralel olarak kaç istek çalıştırılabilir?
Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı ise dakikada 60 istek ve aynı anda 2 eşzamanlı istek izni verir.
Python SDK'sında streaming çalışıyor mu?
Evet. stream=True parametresini geçin ve parçalarda döngü kurun. Kullanım bilgisi akışın sonunda raporlanır.
Anahtarınız yalnızca bir form uzağınızda
Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum işte bu kadar.