İstemler için LLM API'si: Kodda Yazın ve İyileştirin
Bu kılavuz, tek bir çağrıdan binlerce toplu işe kadar, diğer araçlar için istemleri yazma, genişletme ve yeniden yazma konusunda nasıl metin API'si kullanacağınızı gösterir.
güncellendi

Temel noktalar
- Tek bir sohbet çağrısı, ham bir fikri bitmiş bir isteme dönüştürür; model kimliği uncensored'dır.
- JSON modu, betiğinizin kaydedip arayabileceği alanları döndürür.
- Tam anahtar aynı anda 8 istek ve dakikada 300 istek çalıştırır; 429 hatalarını Retry-After kullanarak yeniden deneyin.
- API yalnızca metin yazar; istemi video veya görüntü aracınıza yapıştırın.
LLM API'si istem işi için ne yapar
İstemler için bir LLM API'si, istem işinin insanları yoran kısmında iyidir: üç kelimelik bir fikri tam bir açıklamaya dönüştürmek, aynı sahnenin on varyantını yazmak veya bir istemi bir ev formatını takip edecek şekilde yeniden yazmak. Ham fikri ve bir dizi kuralı gönderirsiniz ve bitmiş istem metnini alırsınız. Uç nokta OpenAI uyumlu olduğu için kod, başka herhangi bir model için yazacağınız aynı sohbet çağrısıdır.
Önce bir sınır. Bu hizmet yalnızca metin döndürür. Video, görsel veya ses işlemez. Son hedefiniz bir metinden-video aracından bir klibi ise, API istemi yazar ve bu istemi kullandığınız herhangi bir oluşturucuya yapıştırır veya pipe ile aktarırsınız. Bu ayrım başlı başına faydalıdır, çünkü istem yazımı yavaş ve tekrarlayan bir adımdır ve metin tokenları ucuzdur.
Model, yasal yetişkin kullanım için içerik reddi olmadan cevap vermeye göre ayarlanmış bir açık ağırlıklı modeldir, bu nedenle karanlık bir gerilim sahnesi veya şiddetli bir fantezi savaşına dair bir istem yazma işi bir dersle geri çevrilmez. Tek katı sınır, cinsel içerikte reşit olmayanlar içeren hiçbir şeyin üretilmeyecek olmasıdır.
Python'da ilk istem yazıcı çağrısı
SDK'yı pip install openai ile yükleyin ve base URL'ye işaret edin. Model kimliği uncensored'dir ve anahtar, SDK sizin için halleden bir Bearer token olarak girilir.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = (
"You write prompts for a text-to-video tool. "
"Given a rough idea, reply with one prompt of 60 to 90 words. "
"Name the subject, the camera movement, the lighting and the mood. "
"Reply with the prompt only, no preamble."
)
def expand(idea: str) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
temperature=0.8,
max_tokens=300,
)
return resp.choices[0].message.content.strip()
print(expand("a lighthouse during a storm, seen from a drone"))
Bu işi ilk denemeden daha iyi hale getiren üç ayrıntı vardır. Sistem mesajı uzunluğu ve her istemin adlandırması gereken öğeleri tanımlar, böylece çıktılar karşılaştırılabilir kalır. temperature'i yaklaşık 0.8'e ayarlamak, fikirden sapmadan çalışmalar arasında çeşitlilik sağlar. Ve max_tokens burada isteğe bağlıdır, ancak 300'lük bir sınır, konuşkan bir yanıtın gerekenden fazla maliyet oluşturmasını önler. Eğer onu bırakırsanız, tamamlama 100.000 token penceresinin kalanını kullanabilir.
Bir fikir üzerinde on farklı varyasyon istiyorsanız, aynı ayarlarla on kez döngü kurup umut etmeyin. Her çağrıda farklı bir seed değeri belirleyerek sıcaklığı artırın veya tek bir yanıtta on numaralı istemler isteyip bunları kodda ayırın. İkinci seçenek daha ucuzdur çünkü talimatlar yalnızca bir kez gönderilir.
JSON modu ile yapılandırılmış istemler döndürün
Bir insan için serbest metin iyidir. Bir betik çıktıyı tükettiğinde, alanlar istersiniz. JSON modu, yanıtı geçerli bir JSON nesnesi yapar, böylece istemi, hariç tutmak istediğiniz öğeleri ve bazı etiketleri kırılgan bir ayrıştırıcı yazmadan okuyabilirsiniz. Sistem mesajında JSON kelimesini ve beklediğiniz anahtarları belirtin ve response_format ayarlayın.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": (
"Return a JSON object with the keys prompt (string), "
"avoid (string) and tags (list of at most five short strings)."
),
},
{"role": "user", "content": "a night market in the rain, handheld camera"},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])
Nesneyi, yalnızca metni değil kaydedin. Fikir, bitmiş istem, etiketler ve tarih için sütunları olan bir tablo, kendi geçmişinizi daha sonra aramanıza olanak tanır ve hangi talimatların seçtiğiniz istemleri ürettiğini görmek kolaydır.
Çıktının JSON'un yakalayamadığı bir biçimi takip etmesi gerektiğinde, örneğin etiketli satırların sabit bir sırası, bunu sistem mesajı içinde tek bir somut örnekle belirtin. Modeller soyut açıklamalardan daha güvenilir bir şekilde örnekleri kopyalar.
Etkileşimli araçlar için sonucu akışla gönderin
Bir kişi sonucu bekliyorsa, örneğin dahili bir istem aracında veya bir sohbet panelinde, ilk kelimelerin hemen görünmesi için yanıtı akışla gönderin. stream: true ayarlayın; yanıt sunucu tarafından gönderilen olaylar olarak gelir ve kullanım akışın sonunda bildirilir.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
{"role": "user", "content": "a man walking through a foggy forest"},
],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
Akışlı bir isteğin, akış bitene kadar eşzamanlılık slotunu tuttuğunu unutmayın. Tam anahtar aynı anda 8 istek yapmanıza izin verir, bu nedenle yavaş akışları aynı anda okuyan sekiz kullanıcı, dokuzuncu isteği bloke edecektir. Küçük bir dahili araç için bu yeterlidir. Herhangi bir halka açık şey için, istekleri kendi tarafınızda kuyruğa alın.
Hız limitleri içinde bir toplu iş çalıştırın
En çok zaman kazandıran istem yazma işleri toplu işlemdir: 500 ürün çekimi, bir senaryodan 200 sahne fikri, bir tablodaki tüm taslak diyaloglar. Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir; deneme anahtarı ise 2 ve 60 izin verir. Anahtara uygun boyutta bir iş parçacığı havuzu, bu iki sınıra uymak için en basit yoldur.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."
def expand(idea: str) -> str:
for attempt in range(4):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
max_tokens=300,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
wait = int(err.response.headers.get("Retry-After", "5"))
time.sleep(wait)
raise RuntimeError("gave up on: " + idea)
ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]
with ThreadPoolExecutor(max_workers=8) as pool:
prompts = list(pool.map(expand, ideas))
for idea, prompt in zip(ideas, prompts):
print(idea, "->", prompt[:80])
429 iki şey ifade edebilir. Hata kodu rate_limited dakikada isteklerin üzerine çıktığınızı belirtir; concurrency aynı anda çok fazla isteğin çalıştığını belirtir. Geçici aşırı yüklenme de Retry-After: 5 başlığıyla 429 döndürür. Yukarıdaki döngü, başlık ne kadar süre belirtirse o kadar bekler ve tekrar dener. Başarısız veya reddedilen istekler ücretlendirilmez, bu nedenle yeniden deneme maliyeti iki katına çıkarmaz.
İlerledikçe sonuçları diske yazın, her bitmiş istem için bir satır. Bir JSON-lines dosyası iyi çalışır: fikir, istem ve zamanı tutan bir nesne satır başına, böylece bir çalıştırma çöktüğünde, tekrar başlattığınızda zaten biten olanı atlayabilir. Birkaç bin çağrıdan oluşan bir toplu iş, nihayetinde kötü bir ağ anına çarpacak ve en baştan başlatmak istemezsiniz.
Stil rehberinizi 100k bağlam penceresine yerleştirin
Model kurallarınızı bildiğinde istemler daha iyi hale gelir. 100.000 tokenlık pencerede (istem ve tamamlama dahil) sistem mesajına çok şey sığdırabilirsiniz: bir stil kılavuzu, yasaklanmış ifadeler listesi, yirmi onaylanmış örnek istem ve ekibinizin kamera hareketlerini nasıl adlandırdığına dair bir sözlük.
Bu alanı amaçlı kullanın ve bir kuralı aklınızda tutun: model yazılanı takip eder, bu yüzden kuralları yeni bir meslektaşınıza talimat veriyormuş gibi yazın. Beş mükemmel örneğin kısa listesi, elli karışık olandan iyidir, çünkü model gördüklerini ortalar. Örnekleri istediğiniz biçimde yazın. Bir projede tekrarlayan bir karakter varsa, karakter sayfasını bir kez yazın, saç, kıyafet ve yaş (yalnızca yetişkin karakterler) sabit bir ifadeyle tanımlanır ve modele bu kelimeleri her isteme kelimesi kelimesine kopyalamasını söyleyin. Bu mevcut en ucuz tutarlılık hilesidir: aynı ifade her istemde görünür, bu nedenle aşağıdaki oluşturucu her seferinde aynı açıklamayı görür.
Uzun talimatlar her çağrıyla yeniden gönderilir, bu nedenle her çağrıyla faturalandırılırlar. Milyon giriş tokenı başına $0.15 ile, 3.000 tokenlik bir stil rehberi, yalnızca girdi için istek başına $0.00045 maliyetine sahiptir. Bu küçüktür, ancak 10.000 istek boyunca $4.50'dir, bu nedenle rehber çalıştığında kısaltın. fiyatlandırma sayfası kendi sayılarınızı çalıştırmak istiyorsanız tam oranları içerir.
Yaygın sorunlar ve nasıl çözülecekleri
İstem yazma hatlarında birkaç hata tekrar tekrar ortaya çıkar.
- Çıktıda ön söz. "İşte isteminiz:" ile başlayan yanıtlar oluşturucu içinde sona erer. Sistem mesajını "Yalnızca istemi yanıtla" ile sonlandırın ve sonucu temizleyin.
- Çok uzun istemler. Daha fazla kelime her zaman daha iyi video veya görüntüler vermez. Talimatlarda bir kelime aralığı ayarlayın ve kodda kontrol edin.
- Aynı fikir, aynı çıktı. Sabit bir değerle
seedgeçerseniz, çalışmalar tekrar eder. Çeşitlilik istediğinizde seed'i her öğe için değiştirin veya onu bırakın. - Rollerin karıştırılması. Kuralları sistem mesajında tutun ve fikri kullanıcı mesajında tutun. İkisini bir blokta koymak, modelin kurallarınızı yeniden yazılacak içerik olarak işlemesine neden olur.
- Uzun bir toplu işte kayma yaşanabilir. Aynı talimatlar binlerce kez çalıştırıldığında kalite düşebilir. Çalışmanın başından, ortasından ve sonundan örnekleri kontrol edin ve hangi ifadenin hangi toplu işi ürettiğini belirleyebilmek için sistem mesajını sürüm kontrolünde tutun.
- İnceleme adımı yok. Pahalı bir aşağı akış aracına istemler göndermeden önce her toplu işin bir örneğini okuyun. On dakikalık okuma, çok sayıda israf edilen render işlemlerinden tasarruf sağlar.
Başlamak için bir hesap oluşturun, API anahtarı sayfası üzerinde $0.50 deneme kredisi talep edin ve yukarıdaki ilk betiği çalıştırın. Deneme kredisi kişi başı bir kez alınabilir, 7 gün sürer ve kart gerektirmez. dokümantasyon, top_p, stop ve ceza değerleri dahil olmak üzere geçirilen tüm parametreleri listeler.
Daha fazla kılavuz
Sorular ve cevaplar
Bu API videoyu kendisi oluşturabilir mi?
Hayır. Sadece metin üretir. İstem yazmak için kullanın, ardından bu istemi seçtiğiniz video aracına verin.
Dakikada kaç istem yazabilirim?
Tam anahtar dakikada 300 istek ve eşzamanlı olarak 8 istek yapmanıza izin verir. Deneme anahtarı dakikada 60 ve eşzamanlı olarak 2 istek yapmanıza izin verir.
Çok fazla istek gönderirsem ne olur?
rate_limited veya concurrency koduyla HTTP 429 alırsınız. Retry-After değerini bekleyin, ardından isteği tekrar gönderin.
İstemlerim eğitim için kullanılıyor mu?
Hayır. İstemler eğitim için kullanılmaz.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.