JA ▾
API キーを取得

PythonでのLLM APIワークフロー:ステップバイステップのセットアップ

OpenAI SDKのベースURLを新しいものへ指定し、モデルIDをuncensoredに設定し、リトライ、並列実行、関数呼び出しを1層ずつ追加します。

更新日:

光るブロックのパイプラインでデータキューブが並列レーンに分割され、PythonのLLMワークフローを表す

主要ポイント

  • openaiをインストールし、base_urlを https://api.veo3apis.com/v1 に設定し、モデル uncensored を使用します。
  • 429エラーが発生した場合はRetry-Afterヘッダーに従って待機します。失敗したリクエストは課金されません。
  • スレッドプールのサイズをキーに合わせて設定します:フルキーの場合は8ワーカー、トライアルキーの場合は2ワーカーです。
  • X-Balance-USDレスポンスヘッダーを読み取り、実行ごとの使用量を追跡します。

簡易版

LLM APIワークフローのPythonスクリプトを構築するには、公式のOpenAI SDKをインストールし、ベースURLをhttps://api.veo3apis.com/v1に設定し、APIキーとしてキーを使用してモデルuncensoredを呼び出します。それ以外は変更の必要はありません。このサービスはOpenAI互換なので、SDKで既知のパターンはすべて機能します:通常のチャット呼び出し、ストリーミング、JSONモード、ツール呼び出しです。

この記事では小さなワークフローを1つ、レイヤーごとに構築します。まずは単一の呼び出しから始め、環境変数からの設定、リトライラッパー、並列ランナー、関数呼び出し、残高追跡を順に追加していきます。各レイヤーは短く、ニーズを満たすレイヤーでいつでも停止できます。

このモデルは独立したプロバイダが運用するオープンウェイトモデルです。大手ベンダーの公式APIではなく、ルーターでもないので、覚えるべきモデルIDは1つだけです。テキストのみを処理します。画像、音声、動画の生成、埋め込み、ファインチューニングはありません。

SDKをインストールして最初の呼び出しを行う

Python 3.9以降が必要です。SDKをインストールしてください:

pip install openai

Googleまたはメールアドレスとパスワードでサインアップ後、API keyページからキーを作成します。このページには、7日間有効な$0.50の無料トライアルクレジットをワンクリックで取得する機能もあります(1人1回、クレジットカード不要)。次に、最小限の呼び出しを実行します:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "List three uses for a hosted text API."},
    ],
)

print(resp.choices[0].message.content)
print(resp.usage)

テキストとusageオブジェクトが出力されれば、認証、ルーティング、モデルIDはすべて正しいことを意味します。SDKはキーをAuthorization: Bearerとして送信し、リクエストはPOST /v1/chat/completionsへ送信されます。キーで利用可能なモデルIDはclient.models.list()(これはGET /v1/modelsを呼び出します)で確認できます。

Pythonがないサーバーからデバッグする場合は、生のcurlバージョンが役立ちます:

curl https://api.veo3apis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello."}]}'

設定を1つのクライアントにまとめる

スクリプトにキーをハードコードすると、リポジトリに漏洩する最も簡単な方法です。環境変数から両方の値を読み取り、クライアントを1か所に作成して、ワークフローのすべてのステップで共有できるようにします。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.veo3apis.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
    max_retries=0,
    timeout=120,
)

MODEL = "uncensored"


def ask(system: str, user: str, **kwargs) -> str:
    resp = client.chat.completions.create(
        model=MODEL,
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user},
        ],
        **kwargs,
    )
    return resp.choices[0].message.content

ここで2つの選択は意図的なものです。max_retries=0はSDKの組み込みリトライを無効にし、次のセクションのリトライロジックのみを有効にします。これにより、動作を推論しやすくなります。120秒のタイムアウトは長い完了に余裕を持たせます。コンテキストウィンドウはプロンプトと完了を合わせて100,000トークンであり、大きな回答をストリーミングするには時間がかかります。temperature、top_p、stop、seedなどのサンプリングパラメータとペナルティは、通常どおり**kwargsとして渡されます。

適切なエラーのみをリトライする

実際のワークフローでは、レート制限に 遅かれ早かれ遭遇します。フルキーは1分あたり300リクエスト、同時8リクエストまで許可されます。トライアルキーは1分あたり60リクエスト、同時2リクエストまで許可されます。いずれかを超過すると、APIはHTTP 429を返します。エラーコードは、どの制限に到達したかを示します:rate_limitedは1分あたりのリクエスト数、concurrencyは同時実行数が多すぎます。一時的な過負荷時には、APIはRetry-After: 5ヘッダー付きの429も送信します。

3つのケースすべてに共通する解決策は、待機してから再試行することです。このラッパーはヘッダーを尊重し、ヘッダーがない場合はバックオフします。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from openai import RateLimitError, APIConnectionError, APIStatusError


def call_with_retry(messages, tries=5, **kwargs):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, **kwargs
            )
        except RateLimitError as err:
            wait = err.response.headers.get("Retry-After")
            time.sleep(int(wait) if wait else delay)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
        except APIStatusError as err:
            if err.status_code < 500:
                raise
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("request failed after retries")

変化する可能性があるエラーのみをリトライします。400はリクエストの形式が不正であることを意味し、再送しても同じエラーになるため、ラッパーは429以外のクライアントエラーを再送出します。失敗または拒否されたリクエストは課金されないため、リトライしても追加コストはかかりません。

複数の入力を並列で実行する

複数の入力のループにはスレッドプールで十分です。SDKクライアントはスレッド間で共有しても安全です。プールサイズはキーに合わせてください:フルキーの場合は8ワーカー、トライアルキーの場合は2ワーカー。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import time
from concurrent.futures import ThreadPoolExecutor
from openai import RateLimitError


def summarize(text: str) -> str:
    for _ in range(5):
        try:
            resp = client.chat.completions.create(
                model="uncensored",
                messages=[
                    {"role": "system", "content": "Summarize the text in two sentences."},
                    {"role": "user", "content": text},
                ],
                max_tokens=150,
            )
            return resp.choices[0].message.content.strip()
        except RateLimitError as err:
            time.sleep(int(err.response.headers.get("Retry-After", "5")))
    return ""


documents = ["First long text...", "Second long text...", "Third long text..."]

with ThreadPoolExecutor(max_workers=8) as pool:
    summaries = list(pool.map(summarize, documents))

for s in summaries:
    print(s)

プールサイズはリクエストレートと同じではありません。8ワーカーがそれぞれ0.5秒で呼び出しを完了すると、1分あたり960リクエストになり、300を大幅に超えます。呼び出しが高速な場合は、小さなsleepやトークンバケットリミッターを追加して、1分あたりの制限内に収めてください。呼び出しが遅い場合は、並列実行数が最初に到達する制限になります。ストリーミングリクエストは、ストリーミングが完了するまでスロットを保持します。

構造化出力とツール呼び出し

2つの機能により、チャット呼び出しを他のコードが依存できるワークフローステップに変換できます。JSONモードは解析可能な出力を保証します。ツール呼び出しは、モデルにコードに何かを実行するよう依頼させ、その結果を使用させることができます。

JSON モード

response_formatをJSONオブジェクトに設定し、プロンプト内でキーを説明してください。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON: {\"title\": string, \"tags\": [string]}"},
        {"role": "user", "content": "A short post about nightly backups."},
    ],
)
post = json.loads(resp.choices[0].message.content)
print(post["title"], post["tags"])

ツール呼び出し

toolsでツールを宣言し、tool_choiceで選択を強制し、関数を自分で実行し、role: "tool"で結果をメッセージとして送信します。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)
import json

tools = [{
    "type": "function",
    "function": {
        "name": "word_count",
        "description": "Count the words in a piece of text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in 'the quick brown fox'?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"words": len(args["text"].split())}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

tool_callsが存在するか常に確認してください。モデルは直接回答することもあり、コードは両方の結果を処理する必要があります。

ステップをパイプラインとして連鎖させる

実際のワークフローは1回の呼び出しで終わることはめったにありません。一般的な形状は、下書き、レビュー、書き直しです:最初の呼び出しで何かが生成され、2番目の呼び出しでチェックリストに基づいて批判し、3番目の呼び出しでその批判を適用します。各ステップは独自のシステムメッセージを持つ別々のリクエストであり、これにより指示が短く保たれ、失敗の特定が容易になります。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

def step(system: str, user: str, temperature: float = 0.7) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user},
        ],
        temperature=temperature,
        max_tokens=800,
    )
    return resp.choices[0].message.content.strip()


topic = "a changelog entry for a new export feature"

draft = step("Write the requested text in under 120 words.", topic)
review = step(
    "List at most three concrete problems with this text: vague wording, missing detail, wrong tone.",
    draft,
    temperature=0.2,
)
final = step(
    "Rewrite the text so it fixes every listed problem. Reply with the text only.",
    "TEXT:\n" + draft + "\n\nPROBLEMS:\n" + review,
)
print(final)

レビューステップで温度が低くなっている点に注意してください。批評は実行ごとに一貫しているべきですが、下書き作成にはある程度の多様性が役立ちます。パイプラインを複数の入力に対して実行する場合は、前のセクションのスレッドプールワーカー内に3ステップの関数全体を配置し、各ワーカーが開始から終了まで1つのアイテムを処理し、8リクエストの制限が尊重されるようにします。

中間結果を保持します。最終テキストが間違っている場合、下書きとレビューによりどのステップで失敗したかがわかり、パイプライン全体を書き直すのではなく、1つのシステムメッセージを修正できます。入力、3つの出力、リクエストIDをJSON-linesファイルに記録することでこれが容易になり、プロセスが途中で停止した場合の再開ポイントにもなります。

残高とリクエストIDを追跡する

各レスポンスにはログに記録する価値のあるヘッダーが含まれています:X-Request-Idはサポートに連絡する際に呼び出しを識別し、X-Balance-USDはクレジットの残り額を示し、2つのX-RateLimit-Limitヘッダーはキーのリクエスト数と同時実数の制限を報告します。SDKはデフォルトでヘッダーを隠すため、それらを読み取るにはraw-responseラッパーを使用します。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with the single word ready."}],
    max_tokens=10,
)

print("request id:", raw.headers.get("X-Request-Id"))
print("balance usd:", raw.headers.get("X-Balance-USD"))
print("req limit:", raw.headers.get("X-RateLimit-Limit-Requests"))
print("concurrency limit:", raw.headers.get("X-RateLimit-Limit-Concurrency"))

resp = raw.parse()
print(resp.choices[0].message.content)

価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。したがって、入力1,000トークンと出力500トークンの呼び出しは$0.00015 + $0.00025 = $0.0004かかります。このような呼び出しを5,000回実行するワークフローには$2.00かかります。実行の開始時と終了時に残高を出力すれば、追加のツールなしで各バッチのコストがわかります。レートとチャージボーナスの詳細は価格ページを、サポートされているすべてのパラメータの詳細はAPIドキュメントをお読みください。

さらに推奨される習慣:ログにプロンプトを含めないことです(必要な場合を除く)。このAPIに送信されたプロンプトはトレーニングには使用されませんが、ログファイルの管理は自己責任となります。

新しいセットアップのトラブルシューティング

最初の使用時の問題のほとんどは、限られた数の原因に起因します。

  • 呼び出しがハングするか、接続時にエラーが発生します。 ベースURLを確認してください。/v1で終わる必要があり、SDKは/chat/completionsを自動的に付加します。パスの二重化が一般的なミスです。
  • 認証エラー。 キーが不足、切り捨て、またはコピー&ペーストによる不要なスペースや改行があります。キー自体ではなく長さを出力し、キーページで表示されるものと比較してください。
  • モデルが見つかりません。 モデルIDは小文字のuncensoredです。modelsエンドポイントを呼び出して、キーで実際に使用できるモデルを確認してください。
  • 小さなスクリプトで常に429。 トライアルキーを使用している可能性があります。トライアルキーは同時2リクエスト、1分あたり60リクエストまで許可されます。プールを2ワーカーに減らすか、フルキーを取得するためにチャージしてください。
  • 回答が切り捨てられる。 低いmax_tokensは応答を早期に終了させます。値を上げるか、削除して完了がウィンドウの残りの部分を使用するようにします。
  • リクエストが大きすぎます。 ボディの制限は8 MB、トークンウィンドウはプロンプトと完了を合わせて100,000トークンです。大きな入力を分割し、別々の呼び出しとして処理してください。

サービス側で何か問題がある場合は、サイト上の連絡先にX-Request-Idの値を送信してください。リクエストIDにより、オペレーターは正確な呼び出しを特定でき、見た現象の説明よりもはるかに役立ちます。

01

質問と回答

特別な SDK が必要ですか?

いいえ。ベースURLとAPI キーを設定すれば、公式のOpenAI Python SDKは動作します。

どのモデルIDを使用すればよいですか?

uncensoredを使用してください。利用可能なモデルIDの一覧はGET /v1/modelsで取得できます。

並行して実行できるリクエスト数はいくつですか?

通常キーでは同時8リクエスト、分間300リクエストが可能です。試用キーでは同時2、分間60です。

Python SDKでストリーミングは機能しますか?

はい。stream=Trueを渡し、チャンクをイテレートしてください。使用量はストリームの末尾で報告されます。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む