JA ▾
API キーを取得

プロンプト用LLM API:コードで記述・改善

このガイドでは、1回の呼び出しから数千のバッチまで、テキストAPIを使って他のツールのためのプロンプトを作成・展開・書き直す方法を示します。

更新日:

ターミナルからコンベア上の光るプロンプトカードがカメラ型の機械へ送られる様子

主要ポイント

  • 1回のチャット呼び出しでラフなアイデアを完成したプロンプトに変換します。モデルIDは uncensored です。
  • JSONモードは、スクリプトが保存・検索できるフィールドを返します。
  • フルキーは同時に8件のリクエストを処理でき、1分あたり300件のリクエストが可能です。429エラーが発生した場合は、Retry-Afterヘッダーを使用して再試行してください。
  • APIはテキストのみを生成します。プロンプトをコピーして、動画または画像ツールに貼り付けてください。

プロンプト作業におけるLLM APIの役割

プロンプト用のLLM APIは、3語のアイデアを完全な説明文に変換したり、同じシーンの10種類の変種を書いたり、プロンプトを特定の形式に合わせて書き直したりするなど、プロンプト作業の疲弊する部分を得意とします。ラフなアイデアとルールセットを送信すると、完成したプロンプトテキストが返されます。エンドポイントはOpenAI互換なので、他のモデルに対して書くチャット呼び出しと同じコードになります。

まず境界を明確にします。このサービスはテキストのみを返します。動画、画像、音声はレンダリングしません。テキストから動画へのツールのクリップが最終目標の場合、APIはプロンプトを作成し、そのプロンプトをお使いのジェネレーターに貼り付けまたはパイプします。この分離は単独でも有用です。プロンプト作成は遅く反復的なステップであり、トークンは安価だからです。

このモデルは、成人による合法な利用に対してコンテンツ拒否なしで回答するように調整されたオープンウェイトモデルです。したがって、ダークスリラーのシーンや暴力的なファンタジーの戦いに関するプロンプト作成タスクは、お説教付きで拒否されません。唯一の厳格な制限は、性的なコンテンツに未成年者が関与するものは生成されないことです。

Pythonでの初回プロンプト作成呼び出し

SDKを pip install openai でインストールし、ベースURLを指定します。モデルIDは uncensored で、キーはSDKが処理するBearerトークンとして設定します。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = (
    "You write prompts for a text-to-video tool. "
    "Given a rough idea, reply with one prompt of 60 to 90 words. "
    "Name the subject, the camera movement, the lighting and the mood. "
    "Reply with the prompt only, no preamble."
)

def expand(idea: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": idea},
        ],
        temperature=0.8,
        max_tokens=300,
    )
    return resp.choices[0].message.content.strip()

print(expand("a lighthouse during a storm, seen from a drone"))

この仕組みが最初の試作よりも優れている理由は、3つの点にあります。システムメッセージが長さと、すべてのプロンプトで必須となる要素を定義するため、出力の比較が可能になります。temperatureを約0.8に設定すると、実行ごとに多様性を持たせつつ、アイデアから外れることを防げます。また、この用途ではmax_tokensは必須ではありませんが、300という上限を設けることで、応答が長くなりすぎ、必要以上のコストがかかるのを防げます。これを指定しない場合、応答は100,000トークンのコンテキストウィンドウの残りをすべて使用できます。

1つのアイデアに対して10回の試行が欲しい場合、同じ設定で10回ループして期待するのではなく、温度を上げて各呼び出しに異なる seed を渡すか、1回の応答で10個の番号付きプロンプトを要求してコードで分割します。後者のオプションは、指示が1回だけ送信されるため安価です。

JSONモードで構造化されたプロンプトを返す

人間には自由なテキストで十分ですが、スクリプトが出力を消費する場合はフィールドが必要です。JSONモードは応答を有効なJSONオブジェクトにし、壊れやすいパーサーを書かずに、プロンプト、除外したい要素、タグを読み取ることができます。システムメッセージにJSONと期待するキーを記載し、response_format を設定してください。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": (
                "Return a JSON object with the keys prompt (string), "
                "avoid (string) and tags (list of at most five short strings)."
            ),
        },
        {"role": "user", "content": "a night market in the rain, handheld camera"},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["prompt"])
print(data["tags"])

テキストだけでなくオブジェクトを保存してください。アイデア、最終的なプロンプト、タグ、日付の列を持つテーブルは、後で履歴を検索可能にし、どの指示が採用されたプロンプトを生成したかを容易に確認できます。

JSONが捉えない形式(ラベル付き行の固定順序など)に従う必要がある場合、システムメッセージ内に具体的な例を1つ記載して伝えてください。モデルは抽象的な説明よりも例をより確実にコピーします。

インタラクティブツール向けにストリーミングする

内部のプロンプトツールやチャットパネルなどで人が応答を待っている場合、ストリーミングを設定して最初の単語を即座に表示します。stream: true を設定すると、応答はサーバー送信イベントとして届き、使用状況はストリームの最後に報告されます。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Rewrite the user's prompt to be more specific about camera and light."},
        {"role": "user", "content": "a man walking through a foggy forest"},
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

ストリーミング中のリクエストは、ストリーミングが終了するまで同時実行数の枠を保持することに注意してください。フルキーでは同時に8件のリクエストを送信できるため、8人のユーザーがゆっくりしたストリーミングを同時に閲覧すると、9人目がブロックされます。小規模な内部ツールであればこれで十分です。公開用途では、クライアント側でリクエストをキューに追加してください。

レート制限内でバッチを実行する

時間を最も節約できるプロンプト作成の手法はバッチ処理です。商品画像500点、脚本からのシーンアイデア200点、ラフなセリフの全スプレッドシートなどです。フルキーでは同時リクエスト8件、1分あたり300件のリクエストが可能で、トライアルキーではそれぞれ2件と60件です。キーの能力に合わせたスレッドプールを使用するのが、両方の制限内に収まる最も簡単な方法です。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError

SYSTEM = "Turn the idea into one 60 to 90 word video prompt. Reply with the prompt only."

def expand(idea: str) -> str:
    for attempt in range(4):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": SYSTEM},
                    {"role": "user", "content": idea},
                ],
                max_tokens=300,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            wait = int(err.response.headers.get("Retry-After", "5"))
            time.sleep(wait)
    raise RuntimeError("gave up on: " + idea)

ideas = ["a paper boat in a gutter", "a train crossing a salt flat", "a chef plating dessert"]

with ThreadPoolExecutor(max_workers=8) as pool:
    prompts = list(pool.map(expand, ideas))

for idea, prompt in zip(ideas, prompts):
    print(idea, "->", prompt[:80])

429は2つの意味を持ちます。エラーコード rate_limited は1分あたりのリクエスト数を超えたことを意味し、concurrency は同時に実行中のリクエストが多すぎたことを意味します。一時的な過負荷も Retry-After: 5 ヘッダー付きの429を返します。上記のループはヘッダーで指定された時間だけ待機して再試行します。失敗または拒否されたリクエストは課金されないため、再試行でコストが倍増することはありません。

完了したプロンプトごとに1行ずつ、進行中に結果をディスクに書き込みます。JSON-linesファイルが適しています:アイデア、プロンプト、時刻を含む1つのオブジェクトを1行に格納し、再起動時に既に完了したものをスキップできるようにします。数千回の呼び出しのバッチでは最終的にネットワークの一時的な接続不良に遭遇し、最初からやり直したくはないはずです。

スタイルガイドを100kコンテキストウィンドウに格納する

モデルがあなたのルールを知っている場合、プロンプトはより良くなります。100,000トークンのウィンドウ(プロンプトと完了を含む)があれば、システムメッセージに多くのものを格納できます:スタイルガイド、禁止語句のリスト、20個の承認済み例題プロンプト、チームのカメラワークの命名法に関する用語集など。

そのスペースを意図的に使い、1つのルールを心に留めてください。モデルは書かれた通りに動作するため、新しい同僚に指示を出すかのようにルールを記述します。優れた例が5つ書かれた短いリストは、50の混在したリストよりも優れています。これは、モデルが見た内容の傾向を平均化して出力するためです。例は、返却したいのと同じ形式で記載してください。プロジェクトに繰り返し登場するキャラクターがある場合は、そのキャラクターシートを1回だけ記述し、髪型、服装、年齢(成人のみ)を固定された表現で記述し、モデルにその表現をプロンプトごとにそのままコピーするよう指示します。これは最もコストの低い一貫性確保の手法です。同じフレーズがすべてのプロンプトに含まれるため、後続の生成モデルは毎回同じ記述を確認することになります。

長い指示は呼び出しごとに再送信されるため、呼び出しごとに課金されます。入力トークン100万あたり$0.15で、3,000トークンのスタイルガイドは入力だけでリクエストあたり$0.00045のコストがかかります。これは小さいですが、10,000リクエストでは$4.50になるため、機能したらガイドを削ってください。料金ページ に完全なレートが記載されています。

よくある問題と解決方法

プロンプト作成パイプラインでは、いくつかのミスが繰り返し発生します。

  • 出力のプレアンブル。 「Here is your prompt:」で始まる応答はジェネレーター内に含まれます。システムメッセージを「Reply with the prompt only」で終了させ、結果をストリップしてください。
  • 長すぎるプロンプト。 単語数が多いほど、必ずしも良い動画や画像が得られるわけではありません。指示に単語数の範囲を設定し、コードで確認してください。
  • 同じアイデア、同じ出力。 固定値の seed を渡すと実行が繰り返されます。多様性が欲しい場合はシードを変更するか、省略してください。
  • ロールの混在。 ルールはシステムメッセージに、アイデアはユーザーメッセージに保持してください。両方を1つのブロックに置くと、モデルはルールを再書き込みすべきコンテンツとして扱います。
  • 長いバッチでドリフトが発生します。同じ指示が数千回実行されると、品質が低下する可能性があります。実行の開始時、中間時、終了時の項目を抜き打ちチェックし、どの文章がどのバッチを生み出したかを確認できるように、システムメッセージをバージョン管理下に置いてください。
  • レビューステップなし。 高コストな後続ツールにプロンプトを送信する前に、各バッチのサンプルをお読みください。10分の読み込みで、多くの無駄な生成を防げます。

まずはアカウントを作成し、APIキーページで$0.50の無料トライアルクレジットを受け取り、上記のスクリプトを実行してください。トライアルは1人あたり1回限りの受け取りで、7日間有効、カードの登録は不要です。ドキュメントには、top_p、stop、ペナルティなど、渡されるすべてのパラメータが記載されています。

01

質問と回答

このAPIは動画そのものを生成できますか?

いいえ。テキストのみを生成します。プロンプトの作成に使い、そのプロンプトをお好みの動画ツールに渡してください。

1分間に何件のプロンプトを作成できますか?

フルキーは1分あたり300件のリクエストと、同時に8件のリクエストを許可します。試用キーは1分あたり60件のリクエストと、同時に2件のリクエストを許可します。

リクエストを多量に送信するとどうなりますか?

rate_limited または concurrency のコードで HTTP 429 が返されます。Retry-After の値を待ってから、再度リクエストを送信してください。

プロンプトは学習に使用されますか?

いいえ。プロンプトは学習に使用されません。

キーはフォームを1つ送信するだけですぐに入手できます

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む