LLM API для промптов: пишите и дорабатывайте их в коде
Это руководство показывает, как использовать текстовый API для написания, расширения и переписывания промптов для других инструментов, от одного вызова до пакета из тысяч.
Обновлено

Ключевые моменты
- Один вызов чата превращает черновую идею в готовый промпт; идентификатор модели — uncensored.
- JSON-режим возвращает поля, которые ваш скрипт может сохранить и искать.
- Полный ключ выполняет 8 запросов одновременно и 300 в минуту; повторяйте запросы при ошибках 429, используя заголовок Retry-After.
- API пишет только текст; вы вставляете промпт в свой видео или графический инструмент.
Что делает LLM API для работы с промптами
LLM API для промптов отлично справляется с той частью работы с промптами, которая утомляет людей: превращение трехсловной идеи в полное описание, написание десяти вариантов одной сцены или переписывание промпта так, чтобы он соответствовал формату компании. Вы отправляете черновую идею и набор правил, а в ответ получаете готовый текст промпта. Поскольку эндпоинт совместим с OpenAI, код представляет собой тот же вызов чата, который вы написали бы для любой другой модели.
Сначала одно ограничение. Этот сервис возвращает только текст. Он не рендерит видео, изображения или аудио. Если ваша конечная цель — клип из текстового видеоинструмента, API пишет промпт, а вы вставляете или передаете этот промпт в любой генератор, который вы используете. Это разделение полезно само по себе, потому что написание промптов — медленный, повторяющийся шаг, а текстовые токены дешевы.
Модель — это модель с открытыми весами, настроенная на ответы без отказов по контенту для законного использования взрослыми, поэтому задание по написанию промпта для мрачной сцены триллера или жестокого фэнтези-сражения не будет отклонено с лекцией. Единственное жесткое ограничение заключается в том, что ничего, связанного с несовершеннолетними в сексуальном контенте, не будет создано.
Первый вызов генератора промптов на Python
Установите SDK с помощью pip install openai и укажите базовый URL. Идентификатор модели — uncensored, а ключ передается как Bearer токен, который SDK обрабатывает за вас.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = (
"You write prompts for a text-to-video tool. "
"Given a rough idea, reply with one prompt of 60 to 90 words. "
"Name the subject, the camera movement, the lighting and the mood. "
"Reply with the prompt only, no preamble."
)
def expand(idea: str) -> str:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
temperature=0.8,
max_tokens=300,
)
return resp.choices[0].message.content.strip()
print(expand("a lighthouse during a storm, seen from a drone"))
Три детали делают это лучше, чем обычно получается с первого раза. Системное сообщение задаёт длину и элементы, которые должен содержать каждый промпт, чтобы результаты оставались сопоставимыми. Установка temperature около 0.8 даёт разнообразие между запусками, не отклоняясь от идеи. А max_tokens здесь необязателен, но ограничение в 300 токенов не даёт болтливому ответу стоить дороже, чем нужно. Если вы не укажете его, завершение может использовать всё оставшееся пространство в 100 000 токенов.
Если вы хотите десять вариантов одной идеи, не делайте десять циклов с теми же настройками и не надейтесь. Либо повысьте температуру и передайте другой seed для каждого вызова, либо запросите десять пронумерованных промптов в одном ответе и разделите их в коде. Второй вариант дешевле, потому что инструкции отправляются один раз.
Возврат структурированных промптов в JSON-режиме
Свободный текст хорош для человека. Когда скрипт потребляет вывод, вам нужны поля. JSON-режим делает ответ валидным объектом JSON, так что вы можете прочитать промпт, элементы, которые вы хотите исключить, и некоторые теги, не написав хрупкий парсер. Упомяните слово JSON и ожидаемые ключи в системном сообщении и установите response_format.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": (
"Return a JSON object with the keys prompt (string), "
"avoid (string) and tags (list of at most five short strings)."
),
},
{"role": "user", "content": "a night market in the rain, handheld camera"},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])
Сохраняйте объект, а не только текст. Таблица с колонками для идеи, финального промпта, тегов и даты позволяет вам искать свою историю позже, и это позволяет легко увидеть, какие инструкции привели к промптам, которые вы сохранили.
Когда вывод должен следовать формату, который JSON не захватывает, например, фиксированный порядок помеченных строк, укажите это одним конкретным примером внутри системного сообщения. Модели копируют примеры более надежно, чем следуют абстрактным описаниям.
Потоковая передача результата для интерактивных инструментов
Если человек ожидает результат, например во внутреннем инструменте промптов или панели чата, используйте потоковую передачу, чтобы первые слова появились сразу. Установите stream: true; ответ приходит как события, отправляемые сервером, а статистика использования передаётся в конце потока.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
{"role": "user", "content": "a man walking through a foggy forest"},
],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
Помните, что потоковый запрос удерживает слот параллельных запросов до конца потока. Полный ключ позволяет выполнять 8 запросов одновременно, поэтому восемь пользователей, читающих медленные потоки в один момент, заблокируют девятого. Для небольшого внутреннего инструмента этого достаточно. Для любого публичного сервиса ставьте запросы в очередь на своей стороне.
Пакетная обработка в рамках лимитов запросов
Задачи по написанию промптов, которые экономят больше всего времени, — это пакеты: 500 продуктовых снимков, 200 идей сцен из сценария, целая таблица черновых строк. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту, а пробный ключ позволяет 2 и 60. Пул потоков, настроенный на ключ, — самый простой способ оставаться в рамках обоих чисел.
from openai import OpenAI
client = OpenAI(
base_url="https://api.veo3apis.com/v1",
api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError
SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."
def expand(idea: str) -> str:
for attempt in range(4):
try:
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": idea},
],
max_tokens=300,
)
return resp.choices[0].message.content.strip()
except RateLimitError as err:
wait = int(err.response.headers.get("Retry-After", "5"))
time.sleep(wait)
raise RuntimeError("gave up on: " + idea)
ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]
with ThreadPoolExecutor(max_workers=8) as pool:
prompts = list(pool.map(expand, ideas))
for idea, prompt in zip(ideas, prompts):
print(idea, "->", prompt[:80])
Ошибка 429 может означать две вещи. Код ошибки rate_limited означает, что вы превысили лимит запросов в минуту; concurrency означает, что одновременно выполняется слишком много запросов. Временная перегрузка также возвращает 429 с заголовком Retry-After: 5. Цикл выше ждёт указанное заголовком время и повторяет попытку. Неудачные или отклонённые запросы не оплачиваются, поэтому повторная попытка не удваивает стоимость.
Записывайте результаты на диск по мере продвижения, по одной строке на готовый промпт. Файл JSON-lines работает хорошо: один объект на строку, содержащий идею, промпт и время, так что при сбое запуска можно пропустить то, что уже сделано, когда вы запускаете его снова. Пакет из нескольких тысяч вызовов в конечном итоге столкнется с временной сетевой проблемой, и вы не хотите начинать снова с начала.
Добавьте руководство по стилю в контекстное окно на 100k
Промпты становятся лучше, когда модель знает ваши правила. С окном контекста на 100 000 токенов, промпт плюс завершение, вы можете поместить много в системное сообщение: руководство по стилю, список запрещенных фраз, двадцать одобренных примеров промптов и глоссарий того, как ваша команда называет движения камеры.
Используйте это пространство целенаправленно и имейте в виду одно правило: модель следует тому, что написано, поэтому пишите правила так, как вы бы кратко описали нового коллегу. Короткий список из пяти отличных примеров превосходит пятьдесят смешанных, потому что модель усредняет то, что видит. Поместите примеры в тот же формат, который вы хотите получить обратно. Если у проекта есть повторяющийся персонаж, напишите лист персонажа один раз, с волосами, одеждой и возрастом (только взрослые персонажи), описанными фиксированным текстом, и скажите модели копировать эти слова дословно в каждый промпт. Это самый дешевый трюк согласованности: та же фраза появляется в каждом промпте, поэтому генератор на следующем этапе конвейера видит одно и то же описание каждый раз.
Длинные инструкции отправляются с каждым вызовом, поэтому они оплачиваются при каждом вызове. При цене $0,15 за миллион входных токенов руководство по стилю на 3 000 токенов обходится в $0,00045 только за входные данные одного запроса. Это небольшая сумма, но на 10 000 запросов это $4,50, поэтому сократите руководство, как только оно заработает. На странице цен указаны полные тарифы, если вы хотите рассчитать свои расходы.
Распространенные проблемы и способы их решения
Несколько ошибок появляются снова и снова в конвейерах написания промптов.
- Преамбула в выводе. Ответы, начинающиеся с «Вот ваш промпт:», оказываются внутри генератора. Завершите системное сообщение фразой «Отвечайте только промптом» и обрежьте пробелы в результате.
- Промпты слишком длинные. Больше слов не всегда дает лучшее видео или изображения. Установите диапазон слов в инструкциях и проверьте его в коде.
- Та же идея, тот же вывод. Если передать
seedс фиксированным значением, запуски будут повторяться. Изменяйте seed для каждого элемента или не указывайте его, когда вам нужно разнообразие. - Смешивание ролей. Держите правила в системном сообщении, а идею — в сообщении пользователя. Помещение обоих в один блок заставляет модель воспринимать ваши правила как контент для переписывания.
- Дрейф в длинной партии. Качество может снижаться, когда одни и те же инструкции выполняются тысячи раз. Делайте выборочную проверку элементов в начале, середине и конце запуска, а также храните системное сообщение под контролем версий, чтобы вы могли определить, какая формулировка дала какой результат.
- Нет этапа проверки. Прочитайте образец каждого пакета перед отправкой промптов в дорогой инструмент на следующем этапе. Десять минут чтения экономят много потраченных ресурсов.
Чтобы начать, создайте аккаунт, получите пробный баланс $0.50 на странице API-ключа и запустите первый скрипт выше. Пробный баланс доступен один раз на пользователя, действует 7 дней и не требует привязки карты. В документации перечислены все параметры, которые передаются, включая top_p, stop и штрафы.
Дополнительные руководства
Вопросы и ответы
Может ли этот API генерировать видео?
Нет. Он генерирует только текст. Используйте его для написания промпта, а затем передайте этот промпт выбранному вами видеоинструменту.
Сколько промптов я могу писать в минуту?
Полный ключ позволяет 300 запросов в минуту и 8 одновременно. Пробный ключ позволяет 60 в минуту и 2 одновременно.
Что произойдет, если я отправлю слишком много запросов?
Вы получите HTTP 429 с кодом rate_limited или concurrency. Дождитесь значения Retry-After, затем отправьте запрос снова.
Используются ли мои промпты для обучения?
Нет. Промпты не используются для обучения.
До вашего ключа — одна форма
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.