VI ▾
Lấy khóa API

API LLM cho prompt: Viết và tinh chỉnh trong code

Hướng dẫn này chỉ cách dùng API văn bản để viết, mở rộng và viết lại prompt cho các công cụ khác, từ một lệnh gọi đến hàng nghìn lệnh gọi hàng loạt.

Cập nhật

Terminal truyền các thẻ prompt phát sáng dọc theo băng chuyền vào một cỗ máy hình máy ảnh

Điểm chính

  • Một lệnh gọi chat chuyển ý tưởng thô thành prompt hoàn chỉnh; model ID là uncensored.
  • Chế độ JSON trả về các trường mà script của bạn có thể lưu và tìm kiếm.
  • Key đầy đủ chạy 8 yêu cầu đồng thời và 300 mỗi phút; thử lại lỗi 429 bằng Retry-After.
  • API chỉ tạo văn bản; bạn dán prompt vào công cụ video hoặc ảnh của bạn.

API LLM làm gì cho công việc viết prompt

API LLM cho prompt rất giỏi phần công việc viết prompt gây mệt mỏi: chuyển ý tưởng ba từ thành mô tả đầy đủ, viết mười biến thể của cùng một cảnh, hoặc viết lại prompt để tuân theo một quy chuẩn định dạng. Bạn gửi ý tưởng thô và bộ quy tắc, và nhận lại văn bản prompt hoàn chỉnh. Vì endpoint tương thích OpenAI, code là lệnh gọi chat giống hệt bạn viết cho bất kỳ model nào khác.

Trước tiên, một ranh giới. Dịch vụ này chỉ trả về văn bản. Nó không tạo video, hình ảnh hay âm thanh. Nếu mục tiêu cuối cùng của bạn là một đoạn video từ công cụ chuyển văn bản thành video, API sẽ viết prompt, và bạn dán hoặc đưa prompt đó vào bất kỳ công cụ tạo nào bạn dùng. Sự phân chia này hữu ích ngay cả khi đứng một mình, vì việc viết prompt là bước chậm và lặp đi lặp lại, còn token văn bản thì rẻ.

Model là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, nên công việc viết prompt về cảnh phim kinh dị tối hoặc trận chiến fantasy bạo lực không bị từ chối kèm bài giảng. Giới hạn cứng duy nhất là không tạo nội dung liên quan đến người chưa thành niên trong bối cảnh tình dục.

Lời gọi viết prompt đầu tiên bằng Python

Cài đặt SDK với pip install openai và trỏ nó vào endpoint. Model ID là uncensored, và key được đưa vào dưới dạng Bearer token, SDK xử lý việc này cho bạn.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = (
    "You write prompts for a text-to-video tool. "
    "Given a rough idea, reply with one prompt of 60 to 90 words. "
    "Name the subject, the camera movement, the lighting and the mood. "
    "Reply with the prompt only, no preamble."
)

def expand(idea: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": idea},
        ],
        temperature=0.8,
        max_tokens=300,
    )
    return resp.choices[0].message.content.strip()

print(expand("a lighthouse during a storm, seen from a drone"))

Ba chi tiết giúp công việc này tốt hơn lần thử đầu tiên thường làm. System message xác định độ dài và các phần tử mỗi prompt phải đề cập, để đầu ra có thể so sánh được. Đặt temperature khoảng 0.8 tạo sự đa dạng giữa các lần chạy mà không lệch khỏi ý tưởng. Và max_tokens là tùy chọn ở đây, nhưng giới hạn 300 ngăn phản hồi dài dòng tốn nhiều hơn mức cần thiết. Nếu bạn bỏ qua nó, kết quả có thể dùng bất kỳ token nào còn lại trong cửa sổ 100.000 token.

Nếu bạn muốn mười phiên bản của một ý tưởng, đừng lặp lại mười lần với cùng cài đặt và hy vọng. Hoặc tăng temperature và truyền seed khác nhau cho mỗi request, hoặc yêu cầu mười prompt được đánh số trong một phản hồi và tách chúng trong code. Tùy chọn thứ hai rẻ hơn vì hướng dẫn được gửi một lần.

Trả về prompt có cấu trúc với chế độ JSON

Văn bản tự do ổn cho con người. Khi script tiêu thụ đầu ra, bạn cần các trường. Chế độ JSON làm cho phản hồi thành một đối tượng JSON hợp lệ, để bạn đọc prompt, các phần tử bạn muốn loại trừ và một số thẻ mà không cần viết parser không ổn định. Đề cập từ JSON và các khóa bạn mong đợi trong system message, và đặt response_format.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": (
                "Return a JSON object with the keys prompt (string), "
                "avoid (string) and tags (list of at most five short strings)."
            ),
        },
        {"role": "user", "content": "a night market in the rain, handheld camera"},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])

Lưu đối tượng, không chỉ văn bản. Một bảng với các cột cho ý tưởng, prompt cuối cùng, các thẻ và ngày cho phép bạn tìm kiếm lịch sử của mình sau này, và nó giúp dễ dàng xem hướng dẫn nào tạo ra các prompt bạn giữ lại.

Khi đầu ra phải tuân theo định dạng mà JSON không nắm bắt được, chẳng hạn như thứ tự cố định của các dòng có nhãn, hãy nói rõ với một ví dụ cụ thể bên trong system message. Các mô hình sao chép ví dụ đáng tin cậy hơn là tuân theo mô tả trừu tượng.

Truyền phát kết quả cho công cụ tương tác

Nếu một người đang chờ kết quả, chẳng hạn trong công cụ prompt nội bộ hoặc bảng chat, hãy truyền phát câu trả lời để những từ đầu tiên xuất hiện ngay lập tức. Đặt stream: true; phản hồi đến dưới dạng SSE, và việc sử dụng được báo cáo ở cuối stream.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
        {"role": "user", "content": "a man walking through a foggy forest"},
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Nhớ rằng một yêu cầu stream giữ vị trí đồng thời của nó cho đến khi stream kết thúc. Key đầy đủ cho phép 8 yêu cầu đồng thời, vì vậy tám người dùng đọc stream chậm cùng lúc sẽ chặn người thứ chín. Đối với công cụ nội bộ nhỏ thì đủ. Đối với bất kỳ thứ gì công cộng, hãy xếp hàng yêu cầu ở phía bạn.

Chạy hàng loạt trong giới hạn tốc độ

Các công việc viết prompt tiết kiệm thời gian nhất là hàng loạt: 500 ảnh chụp sản phẩm, 200 ý tưởng cảnh từ kịch bản, toàn bộ bảng tính các dòng thô. Key đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, và key dùng thử cho phép 2 và 60. Một thread pool có kích thước phù hợp với key là cách đơn giản nhất để ở trong cả hai con số.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError

SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."

def expand(idea: str) -> str:
    for attempt in range(4):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": SYSTEM},
                    {"role": "user", "content": idea},
                ],
                max_tokens=300,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            wait = int(err.response.headers.get("Retry-After", "5"))
            time.sleep(wait)
    raise RuntimeError("gave up on: " + idea)

ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]

with ThreadPoolExecutor(max_workers=8) as pool:
    prompts = list(pool.map(expand, ideas))

for idea, prompt in zip(ideas, prompts):
    print(idea, "->", prompt[:80])

429 có thể có hai nghĩa. Mã lỗi rate_limited có nghĩa là bạn vượt quá yêu cầu mỗi phút; concurrency có nghĩa là quá nhiều yêu cầu đang chạy đồng thời. Quá tải tạm thời cũng trả về 429 với tiêu đề Retry-After: 5. Vòng lặp trên chờ lâu như tiêu đề nói và thử lại. Các yêu cầu bị lỗi hoặc từ chối không được tính phí, vì vậy việc thử lại không làm tăng chi phí gấp đôi.

Ghi kết quả vào đĩa khi thực hiện, một dòng cho mỗi prompt hoàn thành. File JSON-lines hoạt động tốt: một đối tượng mỗi dòng chứa ý tưởng, prompt và thời gian, để một lần chạy bị hỏng có thể bỏ qua những gì đã hoàn thành khi bạn bắt đầu lại. Một lô vài nghìn lời gọi cuối cùng sẽ gặp thời điểm mạng xấu, và bạn không muốn bắt đầu lại từ đầu.

Đặt hướng dẫn phong cách vào cửa sổ ngữ cảnh 100k

Prompt tốt hơn khi mô hình biết quy tắc của bạn. Với cửa sổ 100.000 token, prompt cộng phần hoàn thành, bạn có thể đưa nhiều thứ vào system message: hướng dẫn phong cách, danh sách các cụm từ bị cấm, hai mươi prompt ví dụ đã được phê duyệt, và bảng từ vựng về cách nhóm của bạn đặt tên cho các chuyển động máy quay.

Dùng không gian đó có chủ đích và nhớ một quy tắc: mô hình làm theo những gì được viết, vì vậy hãy viết quy tắc theo cách bạn hướng dẫn một đồng nghiệp mới. Một danh sách ngắn năm ví dụ xuất sắc vượt trội năm mươi cái trộn lẫn, vì mô hình trung bình hóa những gì nó thấy. Đặt các ví dụ cùng định dạng bạn muốn nhận lại. Nếu một dự án có nhân vật lặp lại, hãy viết bảng nhân vật một lần, với tóc, quần áo và tuổi (chỉ nhân vật người lớn) được mô tả bằng từ ngữ cố định, và bảo mô hình sao chép những từ đó nguyên văn vào mọi prompt. Đây là thủ thuật nhất quán rẻ nhất có sẵn: cùng một cụm từ xuất hiện trong mọi prompt, vì vậy generator phía sau thấy cùng mô tả mỗi lần.

Các hướng dẫn dài được gửi lại với mỗi lần gọi, nên chúng được tính phí với mỗi lần gọi. Với giá $0.15 cho mỗi triệu token đầu vào, một hướng dẫn phong cách 3.000 token tốn $0.00045 cho phần đầu vào mỗi yêu cầu. Điều này nhỏ, nhưng với 10.000 yêu cầu, nó là $4.50, nên hãy cắt ngắn hướng dẫn khi nó hoạt động. Trang định giá có các mức giá đầy đủ nếu bạn muốn tự tính toán.

Các vấn đề thường gặp và cách khắc phục

Một vài lỗi xuất hiện lại và lại trong các pipeline viết prompt.

  • Preamble trong đầu ra. Các phản hồi bắt đầu bằng "Đây là prompt của bạn:" kết thúc bên trong generator. Kết thúc system message bằng "Trả lời chỉ với prompt" và strip kết quả.
  • Prompt quá dài. Nhiều từ hơn không phải lúc nào cũng cho video hoặc ảnh tốt hơn. Đặt phạm vi từ trong hướng dẫn và kiểm tra nó trong code.
  • Cùng ý tưởng, cùng đầu ra. Nếu bạn truyền seed với giá trị cố định, các lần chạy sẽ lặp lại. Thay đổi seed cho mỗi mục, hoặc bỏ qua nó khi bạn muốn đa dạng.
  • Trộn vai trò. Giữ quy tắc trong system message và ý tưởng trong thông báo người dùng. Đặt cả hai vào một khối làm cho mô hình coi quy tắc của bạn là nội dung để viết lại.
  • Lệch hướng qua một lô dài. Chất lượng có thể trượt khi cùng hướng dẫn chạy hàng nghìn lần. Kiểm tra ngẫu nhiên các mục từ đầu, giữa và cuối lần chạy, và giữ system message dưới kiểm soát phiên bản để bạn biết từ ngữ nào tạo ra lô nào.
  • Không có bước xem lại. Đọc một mẫu của mọi hàng loạt trước khi gửi prompt đến công cụ downstream đắt tiền. Mười phút đọc tiết kiệm rất nhiều render bị lãng phí.

Để bắt đầu, hãy tạo tài khoản, nhận tín dụng dùng thử miễn phí $0.50 trên trang khóa API và chạy script đầu tiên ở trên. Tín dụng dùng thử được nhận một lần mỗi người, có thời hạn 7 ngày và không cần thẻ. tài liệu liệt kê mọi tham số được chuyển tiếp, bao gồm top_p, stop và các hình phạt.

01

Hỏi đáp

API này có tự tạo video không?

Không. API chỉ tạo văn bản. Bạn dùng nó để viết prompt, rồi đưa prompt đó vào công cụ video bạn chọn.

Tôi có thể viết bao nhiêu prompt mỗi phút?

Key tiêu chuẩn cho phép 300 yêu cầu mỗi phút và 8 đồng thời. Key dùng thử cho phép 60 mỗi phút và 2 đồng thời.

Điều gì xảy ra nếu bạn gửi quá nhiều yêu cầu?

Bạn nhận HTTP 429 với mã lỗi rate_limited hoặc concurrency. Chờ giá trị Retry-After rồi gửi lại yêu cầu.

Các prompt của tôi có được sử dụng để huấn luyện không?

Không. Các prompt không được dùng để huấn luyện.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa APIĐọc tài liệu