LLM API 用于提示词:在代码中编写和优化
本指南展示如何使用文本 API 编写、扩展和重写其他工具的提示词,从一次调用到数千次的批量处理。
更新于

要点
- 一次聊天调用将粗略想法转化为完整的提示词;模型 ID 为 uncensored。
- JSON 模式返回你的脚本可以存储和搜索的字段。
- 完整密钥同时运行 8 个请求,每分钟 300 个;使用 Retry-After 重试 429 错误。
- API 仅生成文本;你将提示词粘贴到你的视频或图像工具中。
LLM API 在提示词工作中的作用
用于提示词的 LLM API 擅长提示词工作中让人疲惫的部分:将三个词的想法转化为完整描述,为同一场景编写十个变体,或重写提示词以遵循特定格式。你发送粗略想法和一组规则,然后获得完整的提示词文本。由于接口兼容 OpenAI,代码与你为任何其他模型编写的聊天调用相同。
首先明确一点。该服务仅返回文本。它不渲染视频、图像或音频。如果你的最终目标是从文本转视频工具生成片段,API 编写提示词,你将该提示词粘贴或管道传输到你使用的任何生成器中。这种分离本身就有用,因为提示词编写是缓慢且重复的步骤,而文本 token 很便宜。
该模型为开放权重模型,经过调优可在合法成人用途下不拒绝回答,因此关于黑暗惊悚场景或暴力奇幻战斗的提示词不会被打回并附带说教。唯一的硬性限制是:不会生成任何涉及未成年人性内容的结果。
Python 中的首次提示词编写调用
使用 pip install openai 安装 SDK,并将其指向 Base URL。模型 ID 为 uncensored,密钥作为 Bearer token 输入,SDK 会为你处理。
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = (
"You write prompts for a text-to-video tool. "
"Given a rough idea, reply with one prompt of 60 to 90 words. "
"Name the subject, the camera movement, the lighting and the mood. "
"Reply with the prompt only, no preamble."
)
def expand(idea: str) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
temperature=0.8,
max_tokens=300,
)
return resp.choices[0].message.content.strip()
print(expand("a lighthouse during a storm, seen from a drone"))
三个细节使这项工作比通常的首次尝试效果更好。系统消息定义了长度和每个提示词必须包含的元素,因此输出保持一致。将 temperature 设置为约 0.8 可在不同运行之间提供多样性,同时不偏离想法。max_tokens 在此处是可选的,但 300 的上限可防止冗长的回复产生不必要的费用。如果省略它,完成部分可以使用 100,000-token 窗口中的剩余部分。
如果你想对一个想法进行十次尝试,不要以相同的设置循环十次并碰运气。要么提高 temperature 并为每次调用传递不同的 seed,要么在一次回复中要求十个编号的提示词并在代码中拆分它们。第二种选项更便宜,因为指令只发送一次。
使用 JSON 模式返回结构化提示词
对于人类来说,自由文本是可以的。一旦脚本消耗输出,你需要字段。JSON 模式使回复成为有效的 JSON 对象,因此你可以读取提示词、你希望排除的元素和一些标签,而无需编写脆弱的解析器。在系统消息中提到 JSON 这个词和你期望的键,并设置 response_format。
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": (
"Return a JSON object with the keys prompt (string), "
"avoid (string) and tags (list of at most five short strings)."
),
},
{"role": "user", "content": "a night market in the rain, handheld camera"},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])
存储对象,而不仅仅是文本。一个包含想法、最终提示词、标签和日期的表格列,让你以后可以搜索自己的历史记录,并轻松查看哪些指令生成了你保留的提示词。
当输出必须遵循 JSON 无法捕获的格式时,例如带标签行的固定顺序,请在系统消息中用一个具体示例说明。模型比遵循抽象描述更可靠地复制示例。
流式输出结果以用于交互式工具
如果有人在等待结果,例如在内部提示词工具或聊天面板中,流式输出答案以便第一个单词立即出现。设置 stream: true;回复以 server-sent events 形式到达,使用情况在流结束时报告。
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
{"role": "user", "content": "a man walking through a foggy forest"},
],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
请记住,流式请求会占用其并发槽位,直到流结束。完整密钥允许同时 8 个请求,因此八个用户同时读取慢速流将阻塞第九个。对于小型内部工具来说已经足够。对于任何公开服务,请在你的侧面对请求进行排队。
在速率限制内运行批量任务
最节省时间的提示词编写工作是批量处理:500 张产品图、从脚本生成 200 个场景创意、整张表格的粗略台词。完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 和 60。将线程池大小设置为与密钥匹配是同时满足这两个数字限制的最简单方法。
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."
def expand(idea: str) -> str:
for attempt in range(4):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
max_tokens=300,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
wait = int(err.response.headers.get("Retry-After", "5"))
time.sleep(wait)
raise RuntimeError("gave up on: " + idea)
ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]
with ThreadPoolExecutor(max_workers=8) as pool:
prompts = list(pool.map(expand, ideas))
for idea, prompt in zip(ideas, prompts):
print(idea, "->", prompt[:80])
429 错误可能意味着两件事。错误代码 rate_limited 表示你超过了每分钟请求数;concurrency 表示同时运行的请求太多。临时过载也返回带有 Retry-After: 5 头的 429。上面的循环等待头中指定的时间并再次尝试。失败或拒绝的请求不收费,因此重试不会使成本翻倍。
在运行时将结果写入磁盘,每个完成的提示词一行。JSON-lines 文件效果很好:每行一个对象,包含想法、提示词和时间,这样当再次启动时,崩溃的运行可以跳过已完成的部分。几千次调用的批量最终会遇到网络问题,你不想从头开始重新开始。
将风格指南放入 100k 上下文窗口
当模型知道你的规则时,提示词会更好。使用 100,000-token 窗口(提示词加完成部分),你可以将很多内容放入系统消息:风格指南、禁止短语列表、二十个批准的示例提示词,以及你的团队命名镜头移动的方式词汇表。
有目的地使用这些空间,并牢记一条规则:模型遵循所写的内容,所以以你向新同事简报的方式编写规则。五个优秀示例的简短列表胜过五十个混合列表,因为模型会平均化它看到的内容。将示例放在你希望返回的相同格式中。如果项目有重复出现的角色,编写一次角色表,以固定措辞描述头发、服装和年龄(仅限成人角色),并告诉模型将这些词逐字复制到每个提示词中。这是最便宜的 一致性 技巧:相同的短语出现在每个提示词中,因此下游生成器每次看到相同的描述。
长指令在每次调用时重新发送,因此每次调用都会计费。每百万输入 token $0.15,3,000-token 风格指南每次请求仅输入成本为 $0.00045。这很小,但在 10,000 次请求中是 $4.50,所以一旦指南有效就对其进行修剪。定价页面 有完整费率,如果你想运行自己的数字。
常见问题及解决方法
在提示词编写管道中,一些错误反复出现。
- 输出中的前言。 以“这是你的提示词:”开头的回复最终会进入生成器。以“仅回复提示词”结束系统消息并剥离结果。
- 提示词太长。 更多的单词并不总是带来更好的视频或图像。在指令中设置单词范围并在代码中检查。
- 相同的想法,相同的输出。 如果你传递具有固定值的
seed,运行会重复。为每个项目更改种子,或者当你想要多样性时省略它。 - 混合角色。 将规则保留在系统消息中,将想法保留在用户消息中。将两者放在一个块中会使模型将你的规则视为要重写的内容。
- 长批量中的漂移。 当相同的指令运行数千次时,质量可能会下降。检查运行开始、中间和结束的项目,并保持系统消息的版本控制,以便你可以知道哪种措辞生成了哪个批量。
- 没有审查步骤。 在将提示词发送到昂贵的下游工具之前,阅读每个批量的样本。十分钟的阅读可以节省大量浪费的渲染。
要开始,创建一个账户,在 API 密钥页面 领取 $0.50试用额度,并运行上面的第一个脚本。每人限领一次,持续 7 天,无需卡片。文档 列出了传递的每个参数,包括 top_p、stop 和惩罚。
更多指南
问答
该 API 能直接生成视频吗?
不能。它仅生成文本。用它编写提示词,然后将该提示词提供给你选择的视频工具。
我每分钟可以编写多少条提示词?
完整密钥允许每分钟 300 个请求,同时 8 个。试用密钥允许每分钟 60 个,同时 2 个。
如果我发送的请求过多会发生什么?
你会收到 HTTP 429 错误,代码为 rate_limited 或 concurrency。等待 Retry-After 值,然后重新发送请求。
我的提示词会用于训练吗?
不会。提示词不用于训练。