PL ▾
Pobierz klucz API

LLM API do promptów: pisz i dopracowuj je w kodzie

Ten przewodnik pokazuje, jak użyć API tekstowego do pisania, rozszerzania i przepisywania promptów dla innych narzędzi, od jednego wywołania po wsad tysięcy promptów.

Zaktualizowano

Terminal z świecącymi kartami promptów na taśmie przenoszącej do maszyny przypominającej kamerę

Kluczowe punkty

  • Jedno wywołanie czatu zamienia surowy pomysł w gotowy prompt; ID modelu to uncensored.
  • Tryb JSON zwraca pola, które twój skrypt może przechowywać i przeszukiwać.
  • Pełny klucz obsługuje 8 zapytań jednocześnie i 300 na minutę; obsłuż błędy 429 używając Retry-After.
  • API generuje tylko tekst; wklejasz prompt do swojego narzędzia wideo lub graficznego.

Co LLM API robi w pracy z promptami

API LLM do promptów świetnie radzi sobie z tymi częściami pracy z promptami, które męczą ludzi: zamianą trzywyrazowego pomysłu w pełny opis, pisaniem dziesięciu wariantów tej samej sceny lub przepisywaniem promptu tak, aby pasował do ustalonego formatu. Wysłajesz zarys pomysłu i zestaw zasad, a otrzymujesz gotowy tekst promptu. Ponieważ endpoint jest kompatybilny z OpenAI, kod to to samo wywołanie czatu, które napisałbyś dla dowolnego innego modelu.

Jedna granica na początek. Usługa zwraca tylko tekst. Nie renderuje wideo, obrazów ani audio. Jeśli twoim końcowym celem jest klip z narzędzia text-to-video, API pisze prompt, a ty wklejasz lub przesyłasz ten prompt do dowolnego generatora, którego używasz. To rozdzielenie jest przydatne samo w sobie, ponieważ pisanie promptów to wolny, powtarzalny krok, a tokeny tekstowe są tanie.

Model to model o otwartych wagach dostrojony do odpowiadania bez odrzucania treści dla prawnego użytku dorosłych, więc zadanie pisania promptu o mrocznej scenie thrilleru lub brutalnej bitwie fantasy nie zostanie odrzucone z wykładem. Jednym twardym limitem jest to, że nic zawierającego nieletnich w treściach seksualnych nie zostanie wyprodukowane.

Pierwsze wywołanie generatora promptów w Pythonie

Zainstaluj SDK za pomocą pip install openai i wskaż je na base URL. ID modelu to uncensored, a klucz dodajesz jako token Bearer, co SDK obsługuje za Ciebie.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = (
    "You write prompts for a text-to-video tool. "
    "Given a rough idea, reply with one prompt of 60 to 90 words. "
    "Name the subject, the camera movement, the lighting and the mood. "
    "Reply with the prompt only, no preamble."
)

def expand(idea: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": idea},
        ],
        temperature=0.8,
        max_tokens=300,
    )
    return resp.choices[0].message.content.strip()

print(expand("a lighthouse during a storm, seen from a drone"))

Trzy szczegóły sprawiają, że to działa lepiej niż zwykle przy pierwszej próbie. Komunikat systemowy definiuje długość i elementy, które każdy prompt musi zawierać, więc wyjścia pozostają porównywalne. Ustawienie temperature około 0.8 daje różnorodność między uruchomieniami bez odbiegania od pomysłu. A max_tokens jest tutaj opcjonalne, ale limit 300 zatrzymuje gadatliwą odpowiedź, która kosztowałaby więcej niż powinna. Jeśli go nie podasz, uzupełnienie może użyć tego, co zostało z okna 100 000 tokenów.

Jeśli chcesz dziesięć wersji jednego pomysłu, nie iteruj dziesięć razy z tymi samymi ustawieniami i nie licząc na szczęście. Zwiększ temperaturę i przekaż różne seed dla każdego wywołania, lub poproś o dziesięć ponumerowanych promptów w jednej odpowiedzi i podziel je w kodzie. Druga opcja jest tańsza, ponieważ instrukcje są wysyłane raz.

Zwracaj ustrukturyzowane prompty w trybie JSON

Tekst swobodny jest w porządku dla człowieka. Gdy skrypt przetwarza wynik, chcesz pola. Tryb JSON sprawia, że odpowiedź jest poprawnym obiektem JSON, więc możesz odczytać prompt, elementy, które chcesz wykluczyć, i niektóre tagi bez pisania kruchej parserki. Wspomnij słowo JSON i oczekiwane klucze w systemowym komunikacie, i ustaw response_format.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": (
                "Return a JSON object with the keys prompt (string), "
                "avoid (string) and tags (list of at most five short strings)."
            ),
        },
        {"role": "user", "content": "a night market in the rain, handheld camera"},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])

Przechowuj obiekt, nie tylko tekst. Tabela z kolumnami dla pomysłu, końcowego promptu, tagów i daty pozwala Ci przeszukać własną historię później i ułatwia zobaczenie, które instrukcje wygenerowały prompty, które zachowałeś.

Gdy wyjście musi podążać za formatem, którego JSON nie przechwytuje, np. stałą kolejnością oznaczonych linii, powiedz o tym jednym konkretnym przykładem wewnątrz komunikatu systemowego. Modele kopiują przykłady bardziej niezawodnie niż podążają za abstrakcyjnymi opisami.

Strumieniuj wynik dla narzędzi interaktywnych

Jeśli ktoś czeka na wynik, np. w narzędziu do promptów wewnętrznych lub panelu czatu, strumieniuj odpowiedź, aby pierwsze słowa pojawiły się natychmiast. Ustaw stream: true; odpowiedź przychodzi jako zdarzenia wysyłane przez serwer, a użycie jest raportowane na końcu strumienia.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
        {"role": "user", "content": "a man walking through a foggy forest"},
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Pamiętaj, że strumieniowane zapytanie zajmuje slot concurrency do końca strumienia. Pełny klucz pozwala na 8 zapytań jednocześnie, więc osiem użytkowników czytających wolne strumienie w tym samym momencie zablokuje dziewiątego. Dla małego narzędzia wewnętrznego to w zupełności wystarczy. Dla czegokolwiek publicznego, kolejkuj zapytania po swojej stronie.

Uruchom wsad w ramach limitów zapytań

Zadania pisania promptów, które oszczędzają najwięcej czasu, to wsady: 500 ujęć produktowych, 200 pomysłów na sceny ze scenariusza, cały arkusz kalkulacyjny surowych linii. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę, a klucz próbny pozwala na 2 i 60. Pulę wątków dopasowaną do klucza to najprostszy sposób na pozostanie w obu liczbach.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError

SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."

def expand(idea: str) -> str:
    for attempt in range(4):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": SYSTEM},
                    {"role": "user", "content": idea},
                ],
                max_tokens=300,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            wait = int(err.response.headers.get("Retry-After", "5"))
            time.sleep(wait)
    raise RuntimeError("gave up on: " + idea)

ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]

with ThreadPoolExecutor(max_workers=8) as pool:
    prompts = list(pool.map(expand, ideas))

for idea, prompt in zip(ideas, prompts):
    print(idea, "->", prompt[:80])

Błąd 429 może oznaczać dwie rzeczy. Kod błędu rate_limited oznacza, że przekroczyłeś limity zapytań na minutę; concurrency oznacza, że zbyt wiele zapytań było uruchomionych jednocześnie. Tymczasowe przeciążenie również zwraca 429 z nagłówkiem Retry-After: 5. Pętla powyżej czeka tak długo, jak mówi nagłówek, i próbuje ponownie. Nieudane lub odrzucone zapytania nie są rozliczane, więc ponowne wywołanie nie podwaja kosztu.

Zapisuj wyniki na dysk w miarę postępu, jedna linia na ukończony prompt. Plik JSON-lines działa dobrze: jeden obiekt na linię zawierający pomysł, prompt i czas, więc awaria uruchomienia może pominąć to, co już zrobione, gdy uruchomisz go ponownie. Wsad kilku tysięcy wywołań w końcu trafi na zły moment sieciowy, i nie chcesz zaczynać od nowa od początku.

Umieść swój przewodnik stylowy w oknie kontekstu 100k

Prompty stają się lepsze, gdy model zna Twoje zasady. Z oknem kontekstu 100 000 tokenów, prompt plus uzupełnienie, możesz umieścić dużo w komunikacie systemowym: przewodnik stylowy, listę zabronionych fraz, dwadzieścia zatwierdzonych przykładów promptów i słownik tego, jak Twoja grupa nazywa ruchy kamery.

Wykorzystaj tę przestrzeń celowo i pamiętaj o jednej zasadzie: model podąża za tym, co jest napisane, więc pisz zasady tak, jakbyś briefował nowego kolegę. Krótka lista pięciu doskonałych przykładów bije pięćdziesiąt mieszanych, bo model uśrednia to, co widzi. Umieść przykłady w tym samym formacie, jaki chcesz otrzymać. Jeśli projekt ma powracającą postać, napisz kartę postaci raz, z włosami, ubraniem i wiekiem (tylko postacie dorosłe) opisanymi stałą frazą, i powiedz modelowi, aby kopiował te słowa dosłownie do każdego promptu. To najtańszy trik spójności dostępny: ta sama fraza pojawia się w każdym promptie, więc generator w dalszym łańcuchu widzi ten sam opis za każdym razem.

Długie instrukcje są wysyłane ponownie z każdym wywołaniem, więc są rozliczane z każdym wywołaniem. Przy $0,15 za milion tokenów wejściowych, przewodnik stylowy 3 000 tokenów kosztuje $0,00045 za zapytanie tylko w wejściu. To mało, ale przy 10 000 zapytań to $4,50, więc skróć przewodnik, gdy już działa. strona cenowa ma pełne stawki, jeśli chcesz uruchomić własne liczby.

Typowe problemy i jak je naprawić

Kilka błędów pojawia się ponownie i ponownie w potokach pisania promptów.

  • Wstęp w wyjściu. Odpowiedzi zaczynające się od "Oto Twój prompt:" kończą się wewnątrz generatora. Zakończ komunikat systemowy "Odpowiadaj tylko promptem" i wyczyść wynik.
  • Zbyt długie prompty. Więcej słów nie zawsze daje lepsze wideo lub obrazy. Ustaw zakres słów w instrukcjach i sprawdź go w kodzie.
  • Ten sam pomysł, to samo wyjście. Jeśli przekażesz seed ze stałą wartością, uruchomienia się powtarzają. Zmień seed dla każdego elementu lub pomiń go, gdy chcesz różnorodności.
  • Mieszanie ról. Trzymaj zasady w komunikacie systemowym i pomysł w komunikacie użytkownika. Umieszczenie obu w jednym bloku sprawia, że model traktuje Twoje zasady jako treść do przepisania.
  • Odchylenie w długim wsadzie. Jakość może spaść, gdy te same instrukcje uruchamiają się tysiące razy. Sprawdzaj losowo elementy z początku, środka i końca uruchomienia i trzymaj komunikat systemowy pod kontrolą wersji, abyś mógł powiedzieć, która fraza wygenerowała który wsad.
  • Brak kroku przeglądu. Przeczytaj próbkę każdej partii przed wysłaniem promptów do drogiego narzędzia downstream. Dziesięć minut czytania oszczędza dużo zmarnowanych renderów.

Aby zacząć, załóż konto, odbierz próbny kredyt $0,50 na stronie klucza API i uruchom powyższy skrypt. Kredyt próbny można odebrać raz na osobę, trwa 7 dni i nie wymaga karty. W dokumentacji znajdziesz każdy parametr, który jest przekazywany dalej, w tym top_p, stop oraz kary.

01

Pytania i odpowiedzi

Czy to API może wygenerować samo wideo?

Nie. Generuje tylko tekst. Użyj go do napisania promptu, a następnie podaj ten prompt wybranemu przez siebie narzędziu do generowania wideo.

Ile promptów mogę napisać na minutę?

Pełny klucz pozwala na 300 zapytań na minutę i 8 jednocześnie. Klucz próbny pozwala na 60 na minutę i 2 jednocześnie.

Co się stanie, gdy wyślę zbyt wiele zapytań?

Otrzymasz HTTP 429 z kodem rate_limited lub concurrency. Poczekaj na wartość Retry-After, a następnie wyślij zapytanie ponownie.

Czy moje prompty są wykorzystywane do trenowania?

Nie. Prompty nie są używane do trenowania.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację