繁中 ▾
取得 API 金鑰

LLM API 用於提示詞:在程式碼中撰寫與優化

本指南展示如何使用文字 API 撰寫、擴展和重寫其他工具的提示詞,從單一呼叫到數千個的批次處理。

更新於

終端機沿著輸送帶將發光的提示詞卡片送入相機形狀的機器

重點摘要

  • 一次聊天呼叫將初步構想轉化為完成的提示詞;模型 ID 為 uncensored。
  • JSON 模式回傳你的腳本能儲存和搜尋的欄位。
  • 完整金鑰允許同時執行 8 個請求,每分鐘 300 個;使用 Retry-After 重試 429 錯誤。
  • API 僅生成文字;你將提示詞貼上到你的影片或影像工具中。

LLM API 在提示詞工作中的作用

用於提示詞的 LLM API 擅長提示詞工作中令人疲憊的部分:將三個字的構想轉化為完整描述、為同一場景撰寫十個變體,或重寫提示詞以符合特定格式。你發送初步構想和一組規則,然後獲得完成的提示詞文字。由於端點相容於 OpenAI,程式碼與你為其他模型撰寫的聊天呼叫相同。

首先明確一個界限。此服務僅回傳文字。它不渲染影片、影像或音訊。如果你的最終目標是來自文字轉影片工具的片段,API 會撰寫提示詞,你將該提示詞貼上或透過管道輸入到你使用的任何生成器中。這種分工本身就很有用,因為提示詞撰寫是緩慢且重複的步驟,而文字 token 成本很低。

該模型是一個開放權重模型,經過調校以在合法成人用途下回答問題時不會拒絕生成內容,因此關於黑暗驚悚場景或暴力奇幻戰鬥的提示詞工作不會被退回並附上說教。唯一的硬性限制是,不會生成涉及未成年人性內容的內容。

Python 中的首次提示詞撰寫呼叫

使用 pip install openai 安裝 SDK,並將其指向 Base URL。模型 ID 為 uncensored,金鑰作為 Bearer token 輸入,SDK 會為你處理。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = (
    "You write prompts for a text-to-video tool. "
    "Given a rough idea, reply with one prompt of 60 to 90 words. "
    "Name the subject, the camera movement, the lighting and the mood. "
    "Reply with the prompt only, no preamble."
)

def expand(idea: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": idea},
        ],
        temperature=0.8,
        max_tokens=300,
    )
    return resp.choices[0].message.content.strip()

print(expand("a lighthouse during a storm, seen from a drone"))

三個細節讓這個方法比初次嘗試通常做得更好。系統訊息定義了長度以及每個提示詞必須包含的元素,讓輸出保持可比較性。將 temperature 設定為 0.8 左右,可在不同執行之間提供變化,同時不偏離構想。這裡 max_tokens 是選配的,但將上限設為 300 可防止話多的回應產生過高的費用。如果你不設定它,完成內容可以使用 100,000-token 視窗中剩餘的任何 token。

如果你想要一個構想的十個版本,不要以相同設定循環十次並寄望於好運。要麼提高溫度並為每次呼叫傳遞不同的 seed,要麼在一次回覆中要求十個編號的提示詞並在程式碼中分割它們。第二種選項更便宜,因為指令只發送一次。

使用 JSON 模式回傳結構化提示詞

自由文本對人類來說沒問題。一旦腳本消耗輸出,你需要欄位。JSON 模式使回覆成為有效的 JSON 物件,因此你可以讀取提示詞、你希望排除的元素和一些標籤,而無需編寫脆弱的解析器。在系統訊息中提及 JSON 字詞和你預期的鍵,並設定 response_format。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": (
                "Return a JSON object with the keys prompt (string), "
                "avoid (string) and tags (list of at most five short strings)."
            ),
        },
        {"role": "user", "content": "a night market in the rain, handheld camera"},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])

儲存物件,而不僅是文字。具有構想、最終提示詞、標籤和日期欄位的表格讓你可以稍後搜尋自己的歷史記錄,並輕鬆查看哪些指令產生了你保留的提示詞。

當輸出必須遵循 JSON 無法捕捉的格式時,例如標籤行的固定順序,請在系統訊息中用一個具體範例說明。模型比遵循抽象描述更可靠地複製範例。

串流輸出結果以用於互動式工具

如果有人在等待結果,例如在內部提示詞工具或聊天面板中,請串流輸出答案,以便第一個字詞立即出現。設定 stream: true;回覆以伺服器發送事件的形式到達,並在串流結束時報告用量。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
        {"role": "user", "content": "a man walking through a foggy forest"},
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

請記住,串流請求會佔用並行槽位,直到串流結束為止。完整金鑰允許同時進行 8 個請求,因此如果八個使用者同時讀取緩慢的串流,就會封鎖第九個請求。對於小型內部工具來說已經足夠。對於任何公開服務,請在你的側邊對請求進行排隊。

在速率限制內執行批次請求

節省最多時間的提示詞工作是批次:500 個產品鏡頭、200 個來自腳本的場景構想、整個電子表格的初稿行。完整金鑰允許 8 個並行請求和每分鐘 300 個請求,試用金鑰允許 2 個和 60 個。針對金鑰限制調整大小的執行緒池是保持在兩個限制內的最簡單方法。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError

SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."

def expand(idea: str) -> str:
    for attempt in range(4):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": SYSTEM},
                    {"role": "user", "content": idea},
                ],
                max_tokens=300,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            wait = int(err.response.headers.get("Retry-After", "5"))
            time.sleep(wait)
    raise RuntimeError("gave up on: " + idea)

ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]

with ThreadPoolExecutor(max_workers=8) as pool:
    prompts = list(pool.map(expand, ideas))

for idea, prompt in zip(ideas, prompts):
    print(idea, "->", prompt[:80])

429 狀態碼可能代表兩種情況。錯誤代碼 rate_limited 表示你超過了每分鐘請求數限制;concurrency 表示同時運行的請求過多。暫時過載也會返回 429 狀態碼,並附上 Retry-After: 5 標頭。上述迴圈會等待標頭指定的時間後再重試。失敗或被拒絕的請求不會收費,因此重試不會導致費用加倍。

請邊處理邊將結果寫入磁碟,每個完成的提示詞佔一行。JSON Lines 格式檔案非常適合此用途:每行一個物件,包含構想、提示詞和時間,這樣當執行中斷後重新啟動時,可以跳過已完成的項目。數千次呼叫的批次作業最終會遇到網路問題,你不想從頭開始重新執行。

將你的風格指南放入 100k 上下文視窗

當模型知道你的規則時,提示詞會更好。擁有 100,000-token 視窗(包含提示詞和完成內容),你可以將大量內容放入系統訊息:風格指南、禁用詞彙列表、二十個批准的提示詞範例,以及你的團隊如何命名鏡頭移動的詞彙表。

善用這個空間,並記住一條規則:模型會遵循寫下的內容,因此請像向新同事簡報一樣撰寫規則。五個優秀範例的短清單勝過五十個混合範例,因為模型會平均化它所看到的內容。將範例放在你希望回傳的相同格式中。如果專案有重複出現的角色,請撰寫一次角色設定表,以固定詞彙描述髮型、服裝和年齡(僅限成年角色),並指示模型將這些詞彙逐字複製到每個提示詞中。這是成本最低的保持一致性的技巧:相同的詞彙出現在每個提示詞中,因此下游的生成器每次都會看到相同的描述。

長指令會在每次呼叫時重新傳送,因此每次呼叫都會計費。每百萬個輸入 token 費用為 $0.15,因此 3,000 token 的風格指南僅輸入部分每次請求就需 $0.00045。這筆金額很小,但如果是 10,000 次請求,總計就是 $4.50,所以一旦指南運作正常就請將其精簡。價格頁面 有完整的費率,讓你可以自行計算。

常見問題與解決方法

提示詞撰寫管道中反覆出現一些錯誤。

  • 輸出中的前言。 以「這是你的提示詞:」開頭的回應會進入生成器。在系統訊息末尾加上「僅回傳提示詞」,並移除結果中的前言。
  • 過長的提示詞。 更多的詞彙並不總是能提供更好的影片或影像。在指令中設定字數範圍並在程式碼中檢查。
  • 相同的構想,相同的輸出。 如果你傳遞具有固定值的 seed,執行結果會重複。為每個項目更改種子,或者在你想要多樣性時省略它。
  • 角色混用。 將規則保留在系統訊息中,將構想保留在使用者訊息中。將兩者放在一個區塊中會使模型將你的規則視為要重寫的內容。
  • 長批次中的品質漂移。 當相同的指令執行數千次時,質量可能會下降。抽查執行開始、中間和結束的項目,並將系統訊息保持在版本控制下,以便你了解哪種措辭產生了哪個批次。
  • 無審核步驟。 在將提示詞發送到昂貴的下游工具之前,請閱讀每個批次的樣本。花十分鐘閱讀可節省大量浪費的生成請求。

要開始,請建立帳戶,在 API 金鑰頁面 領取 $0.50 試用額度,並執行上述第一個腳本。試用額度每人限領一次,有效期為 7 天,且無需信用卡。文件 列出了所有傳遞的參數,包括 top_p、stop 以及懲罰參數。

01

問答

此 API 能直接生成影片嗎?

不行。它僅生成文字。請用它撰寫提示詞,然後將該提示詞提供給你選擇的影片工具。

我一分鐘可以寫多少個提示詞?

完整金鑰每分鐘允許 300 個請求,同時並行請求數為 8。試用金鑰每分鐘允許 60 個請求,同時並行請求數為 2。

如果我發送太多請求會發生什麼事?

你會收到 HTTP 429 狀態碼,代碼為 rate_limited 或 concurrency。請等待 Retry-After 的值,然後再次發送請求。

我的提示詞會用於訓練嗎?

不會。提示詞不會用於訓練。

只需填寫一張表單即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件