API LLM untuk Prompt: Tulis dan Sempurnakan dalam Kode
Panduan ini menunjukkan cara menggunakan API teks untuk menulis, mengembangkan, dan menulis ulang prompt untuk alat lain, dari satu panggilan hingga batch ribuan.
Diperbarui

Poin utama
- Satu panggilan chat mengubah ide kasar menjadi prompt yang selesai; ID model adalah uncensored.
- Mode JSON mengembalikan bidang yang dapat disimpan dan dicari oleh skrip Anda.
- Kunci penuh menjalankan 8 permintaan sekaligus dan 300 per menit; coba ulang kesalahan 429 menggunakan Retry-After.
- API hanya menulis teks; Anda menempelkan prompt ke alat video atau gambar Anda.
Apa yang dilakukan API LLM untuk pekerjaan prompt
API LLM untuk prompt sangat baik dalam bagian pekerjaan prompt yang melelahkan: mengubah ide tiga kata menjadi deskripsi lengkap, menulis sepuluh variasi adegan yang sama, atau menulis ulang prompt agar mengikuti format rumah. Anda mengirimkan ide kasar dan seperangkat aturan, dan Anda mendapatkan teks prompt yang selesai. Karena endpoint kompatibel dengan OpenAI, kodenya adalah panggilan chat yang sama yang akan Anda tulis untuk model lain mana pun.
Satu batas terlebih dahulu. Layanan ini hanya mengembalikan teks. Ini tidak merender video, gambar, atau audio. Jika tujuan akhir Anda adalah klip dari alat teks-ke-video, API menulis prompt, dan Anda menempelkan atau mengalirkan prompt tersebut ke generator mana pun yang Anda gunakan. Pemisahan ini berguna sendiri, karena penulisan prompt adalah langkah yang lambat dan berulang, dan token teks murah.
Model adalah model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, sehingga pekerjaan penulisan prompt tentang adegan thriller gelap atau pertempuran fantasi yang penuh kekerasan tidak akan dibatalkan dengan ceramah. Satu batas kerasnya adalah bahwa apa pun yang melibatkan anak di bawah umur dalam konten seksual tidak akan dihasilkan.
Panggilan penulis prompt pertama dalam Python
Instal SDK dengan pip install openai dan arahkan ke base URL. ID model adalah uncensored, dan kunci dimasukkan sebagai token Bearer, yang ditangani oleh SDK untuk Anda.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = (
"You write prompts for a text-to-video tool. "
"Given a rough idea, reply with one prompt of 60 to 90 words. "
"Name the subject, the camera movement, the lighting and the mood. "
"Reply with the prompt only, no preamble."
)
def expand(idea: str) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
temperature=0.8,
max_tokens=300,
)
return resp.choices[0].message.content.strip()
print(expand("a lighthouse during a storm, seen from a drone"))
Tiga hal membuat ini bekerja lebih baik daripada percobaan pertama pada umumnya. Pesan sistem menentukan panjang dan elemen yang harus disebutkan setiap prompt, sehingga output tetap dapat dibandingkan. Mengatur temperature sekitar 0,8 memberikan variasi antar run tanpa menyimpang dari ide. Dan max_tokens bersifat opsional di sini, tetapi batas 300 menghentikan balasan yang terlalu panjang agar tidak memakan biaya lebih dari yang seharusnya. Jika Anda tidak mengaturnya, hasil generate dapat menggunakan sisa dari jendela 100.000 token.
Jika Anda menginginkan sepuluh versi dari satu ide, jangan melakukan loop sepuluh kali dengan pengaturan yang sama dan berharap. Naikkan suhu dan berikan seed yang berbeda untuk setiap panggilan, atau minta sepuluh prompt bernomor dalam satu balasan dan pisahkan dalam kode. Opsi kedua lebih murah karena instruksi dikirim sekali saja.
Kembalikan prompt terstruktur dengan mode JSON
Teks bebas bagus untuk manusia. Setelah skrip mengonsumsi output, Anda menginginkan bidang. Mode JSON membuat balasan menjadi objek JSON yang valid, sehingga Anda dapat membaca prompt, elemen yang ingin Anda kecualikan, dan beberapa tag tanpa menulis parser yang rapuh. Sebutkan kata JSON dan kunci yang Anda harapkan dalam pesan sistem, dan atur response_format.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": (
"Return a JSON object with the keys prompt (string), "
"avoid (string) and tags (list of at most five short strings)."
),
},
{"role": "user", "content": "a night market in the rain, handheld camera"},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])
Simpan objek, bukan hanya teks. Tabel dengan kolom untuk ide, prompt akhir, tag, dan tanggal memungkinkan Anda mencari riwayat Anda sendiri nanti, dan memudahkan untuk melihat instruksi mana yang menghasilkan prompt yang Anda simpan.
Ketika output harus mengikuti format yang tidak ditangkap oleh JSON, seperti urutan baris berlabel yang tetap, katakan dengan satu contoh konkret di dalam pesan sistem. Model menyalin contoh lebih andal daripada mengikuti deskripsi abstrak.
Alirkan hasil untuk alat interaktif
Jika seseorang menunggu hasil, misalnya di alat prompt internal atau panel obrolan, alirkan jawaban agar kata-kata pertama muncul sekaligus. Atur stream: true; balasan tiba sebagai acara yang dikirim server, dan penggunaan dilaporkan di akhir stream.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
{"role": "user", "content": "a man walking through a foggy forest"},
],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
Ingat bahwa permintaan yang dialirkan memegang slot konkurensinya hingga stream berakhir. Kunci penuh mengizinkan 8 permintaan sekaligus, sehingga delapan pengguna yang membaca stream lambat pada saat yang sama akan memblokir kesembilan. Untuk alat internal kecil, itu cukup. Untuk apa pun yang publik, antrikan permintaan di sisi Anda.
Jalankan batch dalam batas laju
Pekerjaan penulisan prompt yang menghemat waktu paling banyak adalah batch: 500 bidikan produk, 200 ide adegan dari skrip, seluruh spreadsheet baris kasar. Kunci penuh mengizinkan 8 permintaan konkuren dan 300 permintaan per menit, dan kunci uji coba mengizinkan 2 dan 60. Thread pool yang disesuaikan dengan kunci adalah cara paling sederhana untuk tetap berada di dalam kedua angka tersebut.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."
def expand(idea: str) -> str:
for attempt in range(4):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
max_tokens=300,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
wait = int(err.response.headers.get("Retry-After", "5"))
time.sleep(wait)
raise RuntimeError("gave up on: " + idea)
ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]
with ThreadPoolExecutor(max_workers=8) as pool:
prompts = list(pool.map(expand, ideas))
for idea, prompt in zip(ideas, prompts):
print(idea, "->", prompt[:80])
429 bisa berarti dua hal. Kode kesalahan rate_limited berarti Anda melebihi permintaan per menit; concurrency berarti terlalu banyak permintaan yang berjalan sekaligus. Beban berlebih sementara juga mengembalikan 429 dengan header Retry-After: 5. Loop di atas menunggu selama yang dikatakan header dan mencoba lagi. Permintaan yang gagal atau ditolak tidak dibebankan, sehingga coba ulang tidak menggandakan biaya.
Tulis hasil ke disk saat berjalan, satu baris per prompt yang selesai. File JSON-lines bekerja dengan baik: satu objek per baris berisi ide, prompt, dan waktu, sehingga run yang gagal dapat melewati apa yang sudah dilakukan saat Anda memulai ulang. Sekumpulan beberapa ribu panggilan akan akhirnya mengalami momen jaringan buruk, dan Anda tidak ingin memulai ulang dari awal.
Masukkan panduan gaya Anda ke dalam jendela konteks 100k
Prompt menjadi lebih baik ketika model mengetahui aturan Anda. Dengan jendela konteks 100.000 token, prompt plus penyelesaian, Anda dapat memasukkan banyak ke dalam pesan sistem: panduan gaya, daftar frasa yang dilarang, dua puluh contoh prompt yang disetujui, dan glosari tentang bagaimana tim Anda menamai gerakan kamera.
Gunakan ruang itu dengan sengaja, dan pegang satu aturan dalam pikiran: model mengikuti apa yang ditulis, jadi tulis aturan seperti cara Anda memberi instruksi kepada rekan baru. Daftar pendek lima contoh terbaik mengalahkan lima puluh contoh campuran, karena model merata apa yang dilihatnya. Masukkan contoh dalam format yang sama dengan yang Anda inginkan kembali. Jika sebuah proyek memiliki karakter yang berulang, tulis lembar karakter sekali, dengan rambut, pakaian, dan usia (hanya karakter dewasa) yang dijelaskan dengan kata-kata tetap, dan beri tahu model untuk menyalin kata-kata itu secara harfiah ke setiap prompt. Ini adalah trik konsistensi termurah yang tersedia: frasa yang sama muncul di setiap prompt, sehingga generator di hilir melihat deskripsi yang sama setiap kali.
Instruksi panjang dikirim ulang dengan setiap panggilan, sehingga mereka ditagih dengan setiap panggilan. Pada $0,15 per juta token input, panduan gaya 3.000 token berharga $0,00045 per permintaan hanya untuk input. Itu kecil, tetapi melintasi 10.000 permintaan menjadi $4,50, jadi pangkas panduan tersebut setelah berfungsi. Halaman harga memiliki tarif lengkap jika Anda ingin menjalankan angka Anda sendiri.
Masalah umum dan cara memperbaikinya
Beberapa kesalahan muncul lagi dan lagi di pipeline penulisan prompt.
- Preambul dalam output. Balasan yang dimulai dengan "Berikut adalah prompt Anda:" berakhir di dalam generator. Akhiri pesan sistem dengan "Balas hanya dengan prompt" dan pangkas spasi di hasilnya.
- Prompt yang terlalu panjang. Lebih banyak kata tidak selalu memberikan video atau gambar yang lebih baik. Tetapkan rentang kata dalam instruksi dan periksa dalam kode.
- Sama ide, sama hasil. Jika Anda meneruskan
seeddengan nilai tetap, run akan berulang. Ubah seed per item, atau abaikan saat Anda menginginkan variasi. - Mencampur peran. Simpan aturan di pesan sistem dan ide di pesan pengguna. Menempatkan keduanya dalam satu blok membuat model memperlakukan aturan Anda sebagai konten untuk ditulis ulang.
- Penyimpangan melintasi batch panjang. Kualitas dapat turun ketika instruksi yang sama berjalan ribuan kali. Periksa item dari awal, tengah, dan akhir eksekusi, dan jaga pesan sistem di bawah kontrol versi sehingga Anda dapat mengetahui kata-kata mana yang membuat batch mana.
- Tidak ada langkah tinjauan. Baca sampel dari setiap batch sebelum mengirim prompt ke alat hilir yang mahal. Sepuluh menit membaca menghemat banyak render yang terbuang.
Untuk memulai, buat akun, klaim kredit uji coba $0,50 di halaman kunci API, dan jalankan skrip pertama di atas. Uji coba adalah satu klaim per orang, berlangsung 7 hari dan tidak memerlukan kartu. dokumentasi mencantumkan setiap parameter yang diteruskan, termasuk top_p, stop dan penalti.
Panduan lainnya
Tanya jawab
Dapatkah API ini menghasilkan video itu sendiri?
Tidak. API ini hanya menghasilkan teks. Gunakan untuk menulis prompt, lalu berikan prompt tersebut ke alat video pilihan Anda.
Berapa banyak prompt yang dapat saya tulis per menit?
Kunci penuh mengizinkan 300 permintaan per menit dan 8 sekaligus. Kunci uji coba mengizinkan 60 per menit dan 2 sekaligus.
Apa yang terjadi jika saya mengirim terlalu banyak permintaan?
Anda mendapatkan HTTP 429 dengan kode rate_limited atau concurrency. Tunggu nilai Retry-After, lalu kirimkan permintaan lagi.
Apakah prompt saya digunakan untuk pelatihan?
Tidak. Prompt tidak digunakan untuk pelatihan.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.