TH ▾
รับคีย์ API

API LLM สำหรับพรอมต์: เขียนและปรับปรุงในโค้ด

คู่มือนี้แสดงวิธีใช้ API ข้อความเพื่อเขียน ขยาย และเขียนใหม่ซึ่งพรอมต์สำหรับเครื่องมืออื่น ๆ ตั้งแต่หนึ่งคำขอไปจนถึงแบทช์หลายพันรายการ

อัปเดต

เทอร์มินัลป้อนการ์ดพรอมต์ที่เรืองแสงไปตามสายพานเข้าสู่เครื่องรูปกล้อง

ประเด็นสำคัญ

  • หนึ่งการเรียกแชทเปลี่ยนไอเดียหยาบเป็นพรอมต์ที่สมบูรณ์; model ID คือ uncensored
  • โหมด JSON คืนค่าฟิลด์ที่สคริปต์ของคุณสามารถเก็บและค้นหาได้
  • คีย์เต็มรัน 8 คำขอพร้อมกันและ 300 ต่อนาที; ลองใหม่เมื่อเกิดข้อผิดพลาด 429 โดยใช้ Retry-After
  • API เขียนเฉพาะข้อความ; คุณวางพรอมต์ลงในเครื่องมือวิดีโอหรือภาพของคุณ

LLM API ทำอะไรกับงานเขียนพรอมต์

LLM API สำหรับงานพรอมต์ทำได้ดีในส่วนของงานเขียนพรอมต์ที่ทำให้คนเหนื่อยล้า: การเปลี่ยนไอเดียสามคำให้กลายเป็นคำอธิบายเต็มรูปแบบ การเขียนสิบรูปแบบของฉากเดียวกัน หรือการเขียนใหม่เพื่อให้พรอมต์เป็นไปตามรูปแบบขององค์กร คุณส่งไอเดียแบบร่างและชุดกฎ แล้วได้รับข้อความพรอมต์ที่เสร็จแล้วกลับคืนมา เนื่องจากเอนด์พอยต์เข้ากันได้กับ OpenAI โค้ดจึงเป็นการเรียกแชทแบบเดียวกันที่คุณจะเขียนสำหรับโมเดลอื่นใดก็ตาม

ขอบเขตหนึ่งก่อน บริการนี้ส่งคืนเฉพาะข้อความเท่านั้น มันไม่เรนเดอร์วิดีโอ รูปภาพ หรือเสียง หากเป้าหมายสุดท้ายของคุณคือคลิปจากเครื่องมือสร้างวิดีโอจากข้อความ API จะเขียนพรอมต์ และคุณก็วางหรือส่งต่อพรอมต์นั้นไปยังตัวสร้างที่คุณใช้ การแยกส่วนนี้มีประโยชน์ในตัวเอง เพราะการเขียนพรอมต์เป็นขั้นตอนที่ช้าและซ้ำซาก และโทเคนข้อความมีราคาถูก

โมเดลเป็นโมเดลแบบเปิดน้ำหนักที่ปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดังนั้นงานเขียนพรอมต์เกี่ยวกับฉากThriller ดาร์กหรือการต่อสู้แฟนตาซีที่รุนแรงจะไม่ถูกปฏิเสธพร้อมคำบรรยายสอนใจ ขีดจำกัดเดียวที่แข็งกร้าวคือจะไม่มีการผลิตเนื้อหาที่เกี่ยวข้องกับผู้เยาว์ในบริบททางเพศ

การเรียกพรอมต์ครั้งแรกด้วย Python

ติดตั้ง SDK ด้วย pip install openai และชี้ไปที่ URL ฐาน โมเดล ID คือ uncensored และคีย์จะถูกใส่เป็นโทเคน Bearer ซึ่ง SDK จัดการให้คุณ

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = (
    "You write prompts for a text-to-video tool. "
    "Given a rough idea, reply with one prompt of 60 to 90 words. "
    "Name the subject, the camera movement, the lighting and the mood. "
    "Reply with the prompt only, no preamble."
)

def expand(idea: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": idea},
        ],
        temperature=0.8,
        max_tokens=300,
    )
    return resp.choices[0].message.content.strip()

print(expand("a lighthouse during a storm, seen from a drone"))

รายละเอียดสามประการทำให้การทำงานนี้ดีกว่าความพยายามครั้งแรกโดยทั่วไป ข้อความระบบกำหนดความยาวและองค์ประกอบที่พรอมต์ทุกตัวต้องระบุ ทำให้ผลลัพธ์มีความเปรียบเทียบกันได้ การตั้งค่า temperature ประมาณ 0.8 ให้ความหลากหลายระหว่างการรันโดยไม่เบี่ยงเบนจากไอเดีย และ max_tokens เป็นตัวเลือกที่นี่ แต่การจำกัดที่ 300 หยุดการตอบที่ยืดยาวไม่ให้เสียค่าใช้จ่ายมากกว่าที่ควร หากคุณละเว้น การสร้างข้อความสามารถใช้โทเคนที่เหลือของหน้าต่าง 100,000 โทเคนได้

หากคุณต้องการผลลัพธ์สิบแบบจากไอเดียเดียว อย่าทำลูปสิบครั้งด้วยการตั้งค่าเดิมแล้วหวังผล หรือเพิ่มค่า temperature และส่งค่า seed ที่แตกต่างกันในแต่ละคำขอ หรือขอพรอมต์สิบรายการที่มีหมายเลขในคำตอบเดียวแล้วแยกใช้ในโค้ด ตัวเลือกหลังถูกกว่าเพราะส่งคำสั่งเพียงครั้งเดียว

ส่งคืนพรอมต์ที่มีโครงสร้างด้วยโหมด JSON

ข้อความธรรมดาใช้ได้สำหรับมนุษย์ เมื่อสคริปต์บริโภคผลลัพธ์ คุณต้องการฟิลด์ โหมด JSON ทำให้การตอบเป็นวัตถุ JSON ที่ถูกต้อง ดังนั้นคุณสามารถอ่านพรอมต์ องค์ประกอบที่คุณต้องการยกเว้น และแท็กบางตัวโดยไม่ต้องเขียนโปรแกรมวิเคราะห์ที่เปราะบาง กล่าวถึงคำว่า JSON และคีย์ที่คุณคาดหวังในข้อความระบบ และตั้งค่า response_format

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": (
                "Return a JSON object with the keys prompt (string), "
                "avoid (string) and tags (list of at most five short strings)."
            ),
        },
        {"role": "user", "content": "a night market in the rain, handheld camera"},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])

เก็บวัตถุ ไม่ใช่แค่ข้อความ ตารางที่มีคอลัมน์สำหรับไอเดีย พรอมต์สุดท้าย แท็ก และวันที่ช่วยให้คุณค้นหาประวัติของคุณเองได้ในภายหลัง และทำให้เห็นได้ง่ายว่าคำแนะนำใดผลิตพรอมต์ที่คุณเก็บไว้

เมื่อผลลัพธ์ต้องเป็นไปตามรูปแบบที่ JSON ไม่จับได้ เช่น ลำดับคงที่ของบรรทัดที่มีป้ายกำกับ ให้บอกสิ่งนั้นด้วยตัวอย่างที่ชัดเจนหนึ่งตัวอย่างภายในข้อความระบบ โมเดลคัดลอกตัวอย่างได้เชื่อถือได้มากกว่าการปฏิบัติตามคำอธิบายนามธรรม

สตรีมผลลัพธ์สำหรับเครื่องมือแบบโต้ตอบ

หากมีคนรอผลลัพธ์ ตัวอย่างเช่น ในเครื่องมือเขียนพรอมต์ภายในหรือแผงแชท ให้สตรีมคำตอบเพื่อให้คำแรกปรากฏทันที ตั้งค่า stream: true; การตอบจะมาถึงเป็นเหตุการณ์ที่ส่งโดยเซิร์ฟเวอร์ และการใช้งานจะถูกรายงานที่ท้ายสตรีม

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
        {"role": "user", "content": "a man walking through a foggy forest"},
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

จำไว้ว่าการร้องขอแบบสตรีมจะยึดช่องคำขอพร้อมกันไว้จนกว่าสตรีมจะสิ้นสุด คีย์แบบเต็มอนุญาตให้ 8 คำขอพร้อมกัน ดังนั้นผู้ใช้แปดคนที่อ่านสตรีมช้าๆ พร้อมกันจะบล็อกผู้ใช้คนที่เก้า สำหรับเครื่องมือภายในขนาดเล็กนั้นเพียงพอ สำหรับสิ่งใดๆ ที่สาธารณะ ให้คิวคำขอทางด้านของคุณ

รันชุดภายในขีดจำกัดอัตรา

งานเขียนพรอมต์ที่ประหยัดเวลาได้มากที่สุดคือชุด: ภาพผลิตภัณฑ์ 500 ภาพ ไอเดียฉาก 200 รายการจากสคริปต์ ตารางข้อมูลทั้งหมดของบรรทัดแบบร่าง คีย์แบบเต็มอนุญาตให้ 8 คำขอพร้อมกันและ 300 คำขอต่อนาที และคีย์ทดลองอนุญาตให้ 2 และ 60 การตั้งค่าพูลเธรดให้ตรงกับคีย์เป็นวิธีที่ง่ายที่สุดในการอยู่ภายในตัวเลขทั้งสอง

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError

SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."

def expand(idea: str) -> str:
    for attempt in range(4):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": SYSTEM},
                    {"role": "user", "content": idea},
                ],
                max_tokens=300,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            wait = int(err.response.headers.get("Retry-After", "5"))
            time.sleep(wait)
    raise RuntimeError("gave up on: " + idea)

ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]

with ThreadPoolExecutor(max_workers=8) as pool:
    prompts = list(pool.map(expand, ideas))

for idea, prompt in zip(ideas, prompts):
    print(idea, "->", prompt[:80])

429 อาจหมายถึงสองสิ่ง รหัสข้อผิดพลาด rate_limited หมายถึงคุณเกินคำขอต่อนาที; concurrency หมายถึงมีคำขอมากเกินไปที่กำลังรันอยู่พร้อมกัน การโอเวอร์โหลดชั่วคราวยังส่งคืน 429 พร้อมส่วนหัว Retry-After: 5 ลูปด้านบนจะรอตามเวลาที่ส่วนหัวระบุแล้วลองอีกครั้ง คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นการลองใหม่จึงไม่เพิ่มต้นทุนเป็นสองเท่า

บันทึกผลลัพธ์ลงดิสก์ขณะทำงาน บรรทัดเดียวต่อพรอมต์ที่เสร็จ ไฟล์ JSON-lines ทำงานได้ดี: หนึ่งออบเจ็กต์ต่อบรรทัดเก็บไอเดีย พรอมต์ และเวลา เพื่อให้เมื่อรันอีกครั้งสามารถข้ามส่วนที่ทำเสร็จแล้วได้ การเรียกใช้หลายพันครั้งอาจเจอปัญหาเครือข่ายได้ และคุณไม่ต้องการเริ่มใหม่ตั้งแต่ต้น

ใส่คู่มือสไตล์ของคุณลงในหน้าต่างบริบท 100k

พรอมต์ดีขึ้นเมื่อโมเดลรู้จักกฎของคุณ ด้วยหน้าต่าง 100,000 โทเคน พรอมต์รวมกับการสร้างข้อความ คุณสามารถใส่สิ่งต่างๆ จำนวนมากลงในข้อความระบบ: คู่มือสไตล์ รายการวลีต้องห้าม พรอมต์ตัวอย่างที่ผ่านการอนุมัติยี่สิบตัว และคำศัพท์ของวิธีที่ทีมของคุณตั้งชื่อการเคลื่อนไหวของกล้อง

ใช้พื้นที่นั้นอย่างมีจุดมุ่งหมาย และจดจำกฎข้อหนึ่ง: โมเดลปฏิบัติตามสิ่งที่เขียน ดังนั้นจงเขียนกฎเหมือนที่คุณอธิบายงานให้เพื่อนร่วมงานใหม่ รายการสั้น ๆ ที่มีตัวอย่างยอดเยี่ยมห้าตัวอย่างดีกว่าตัวอย่างปนกันห้าสิบตัวอย่าง เพราะโมเดลจะหาค่าเฉลี่ยจากสิ่งที่เห็น วางตัวอย่างในรูปแบบเดียวกับที่คุณต้องการได้กลับมา หากโปรเจกต์มีตัวละครที่ปรากฏซ้ำ ให้เขียนแผ่นข้อมูลตัวละครหนึ่งครั้ง โดยอธิบายผม เสื้อผ้า และอายุ (เฉพาะตัวละครผู้ใหญ่) ด้วยถ้อยคำที่คงที่ และบอกโมเดลให้คัดลอกถ้อยคำเหล่านั้นแบบคำต่อคำลงในทุกพรอมต์ นี่คือเทคนิคสร้างความสม่ำเสมอที่ถูกที่สุด: วลีเดียวกันปรากฏในทุกพรอมต์ ดังนั้นตัวสร้างปลายน้ำจึงเห็นคำอธิบายเดียวกันทุกครั้ง

คำแนะนำที่ยาวจะถูกส่งใหม่กับการเรียกแต่ละครั้ง ดังนั้นจึงถูกเรียกเก็บค่าใช้บริการกับการเรียกแต่ละครั้ง ที่ $0.15 ต่อล้านโทเคนอินพุต คู่มือสไตล์ 3,000 โทเคนมีค่าใช้จ่าย $0.00045 ต่อคำขอในอินพุตเพียงอย่างเดียว นั่นเล็กน้อย แต่ข้าม 10,000 คำขอคือ $4.50 ดังนั้นตัดคู่มือออกเมื่อมันทำงานแล้ว หน้าราคา มีอัตราเต็มหากคุณต้องการคำนวณตัวเลขของคุณเอง

ปัญหาที่พบบ่อยและวิธีแก้ไข

ข้อผิดพลาดบางประการปรากฏซ้ำแล้วซ้ำอีกในสายการผลิตการเขียนพรอมต์

  • ข้อความนำในผลลัพธ์ คำตอบที่ขึ้นต้นด้วย "นี่คือพรอมต์ของคุณ:" จะถูกส่งเข้าไปในตัวสร้างข้อความ ให้ลงท้ายข้อความระบบด้วย "ตอบกลับโดยใส่เฉพาะพรอมต์" แล้วตัดผลลัพธ์ออก
  • พรอมต์ที่ยาวเกินไป จำนวนคำมากขึ้นไม่ได้แปลว่าวิดีโอหรือรูปภาพจะดีขึ้น กำหนดช่วงจำนวนคำในคำแนะนำและตรวจสอบด้วยโค้ด
  • แนวคิดเดียวกัน ผลลัพธ์เหมือนกัน หากคุณส่ง seed ด้วยค่าคงที่ การรันจะซ้ำกัน เปลี่ยน seed สำหรับแต่ละรายการ หรือละไว้เมื่อต้องการความหลากหลาย
  • การผสมบทบาท เก็บกฎไว้ในข้อความระบบและไอเดียไว้ในข้อความผู้ใช้ การใส่ทั้งสองอย่างในบล็อกเดียวจะทำให้โมเดลมองว่ากฎของคุณเป็นเนื้อหาที่ต้องเขียนใหม่
  • การเบี่ยงเบนในชุดงานยาว คุณภาพอาจลดลงเมื่อใช้คำแนะนำชุดเดิมหลายพันครั้ง ให้ตรวจสอบตัวอย่างจากจุดเริ่มต้น กลาง และท้ายของการรัน และเก็บข้อความระบบภายใต้การควบคุมเวอร์ชันเพื่อให้ทราบว่าคำพูดใดทำให้เกิดชุดงานใด
  • ไม่มีขั้นตอนการตรวจสอบ อ่านตัวอย่างของทุกชุดงานก่อนส่งพรอมต์ไปยังเครื่องมือ downstream ที่มีราคาแพง การอ่านสิบนาทีช่วยประหยัดการเรนเดอร์ที่สูญเปล่าได้มาก

เริ่มต้นโดยสร้างบัญชี รับเครดิตทดลองใช้ $0.50 ที่หน้า คีย์ API แล้วรันสคริปต์ด้านบน เครดิตทดลองใช้ได้หนึ่งครั้งต่อบุคคล ใช้งานได้ 7 วัน และไม่จำเป็นต้องใช้บัตร หน้า เอกสารประกอบ ระบุพารามิเตอร์ทั้งหมดที่ส่งผ่าน รวมถึง top_p, stop และค่าปรับ

01

ถาม-ตอบ

API นี้สามารถสร้างวิดีโอได้เองหรือไม่?

ไม่ มันสร้างเฉพาะข้อความ ใช้เพื่อเขียนพรอมต์ แล้วนำพรอมต์นั้นไปใช้กับเครื่องมือสร้างวิดีโอที่คุณเลือก

ฉันสามารถเขียนพรอมต์ได้กี่รายการต่อนาที?

คีย์แบบเต็มอนุญาตให้ทำคำขอได้ 300 คำขอต่อนาที และ 8 คำขอพร้อมกัน คีย์แบบทดลองอนุญาตให้ทำคำขอได้ 60 คำขอต่อนาที และ 2 คำขอพร้อมกัน

เกิดอะไรขึ้นถ้าฉันส่งคำขอมากเกินไป?

คุณได้รับ HTTP 429 พร้อมรหัส rate_limited หรือ concurrency รอค่า Retry-After แล้วส่งคำขออีกครั้ง

พรอมต์ของฉันถูกนำไปใช้ในการฝึกโมเดลหรือไม่?

ไม่ พรอมต์ไม่ถูกนำไปใช้ฝึกโมเดล

คีย์ของคุณอยู่ห่างแค่ขั้นตอนเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ APIอ่านเอกสาร