繁中 ▾
取得 API 金鑰

LLM API 提示詞成本:預算你的 token

價格為輸入 token 每百萬 $0.15,輸出 token 每百萬 $0.50。以下是如何將其轉化為你自己的提示詞預算。

更新於

平衡秤上發光的 token 立方體與硬幣,用於說明提示詞成本

重點摘要

  • 600 輸入、400 輸出的提示詞請求成本為 $0.00029;1,000 次請求成本為 $0.29。
  • 輸出 token 的成本是輸入 token 的 3 又 1/3 倍。
  • 每次對話輪次都會重新發送對話歷史,因此長對話每輪的成本遠高於短對話。
  • 預付額度從 $20 起,永不過期;有 $0.50 的試用額度,但沒有免費方案。

簡短答案與數字

在此 API 上,LLM API 提示詞成本計算簡單:每 100 萬個輸入 token $0.15,每 100 萬個輸出 token $0.50。一次典型的提示詞擴充呼叫,輸入 600 個 token,輸出 400 個 token,成本為 $0.00029,這意味著 1,000 次此類呼叫成本為 $0.29。無訂閱費,無每月最低消費。你從預付額度付費,且額度永不過期。

本文其餘部分展示如何從這兩個價格得出你可信賴的預算:如何計算 token、長對話實際成本為何、儲值能換取多少服務,以及如何精簡提示詞。以下所有數字均根據這兩種費率計算,並顯示算術過程,以便你用自己的數字重新計算。

工作輸入 token輸出 token每次請求成本
提示詞擴充600400$0.00029
長系統提示詞,短回覆2,100300$0.000465
100k 視窗內的大型文件80,0002,000$0.013

token 如何轉換為美元

LLM 帳單有兩行。輸入 token 是你發送的所有內容:系統訊息、對話的先前輪次、任何貼上的文件以及新問題。輸出 token 是模型寫回的內容。此處輸出 token 的成本較高,每百萬 $0.50 對比每百萬 $0.15,因此每個輸出 token 的價格是輸入 token 的 3 又 1/3 倍。長回覆比相同長度的長問題更昂貴。

對於單一請求,公式為:

cost = input_tokens x 0.15 / 1,000,000 + output_tokens x 0.50 / 1,000,000

作為英文文本的粗略規則,一個 token 約等於四個字元,或四分之三個單詞。300 個單詞的提示詞約為 400 個 token。這僅是估計值。程式碼、數字和非英文文本通常每個單詞佔用的 token 更多,因此在為大型任務做預算之前,請測量實際樣本。

測量最簡單的方法是詢問 API。每個回應都包含一個 usage 物件,帶有提示詞和補全 token 計數,串流回應會在串流末尾發送 usage。運行二十個具有代表性的請求,對兩個數字取平均,然後相乘。

計算範例:擴展提示詞

考慮一個從簡短想法生成完整文字轉影片提示詞的工作。系統訊息加上想法共 600 個輸入 token,回覆為 400 個 token。

  • 輸入:600 x $0.15 / 1,000,000 = $0.00009
  • 輸出:400 x $0.50 / 1,000,000 = $0.0002
  • 每次請求總計:$0.00029

擴大規模:

  • 1,000 次請求:$0.29
  • 10,000 次請求:$2.90
  • 100,000 次請求:$29.00

換言之,$0.50 的試用額度可支援約 1,724 次此類呼叫(0.50 / 0.00029 = 1,724.1),而 $20 的儲值可支援約 69,000 次此類呼叫。對於小型團隊和興趣專案來說,提示詞的成本很少會是預算中造成痛點的項目。消耗提示詞的工具通常成本更高。

試用額度為 $0.50,有效期 7 天,在註冊後於 API 金鑰頁面點擊一次領取,每人限領一次。無需綁定信用卡。除此之外沒有持續的免費方案,因此請在試用期結束後計劃預付額度。

為什麼長對話的成本比你預期的更高

對話式使用是估算容易出錯的地方。API 是無狀態的,因此對於每個新輪次,你都需要重新發送整個對話。即使每條訊息都很短,輸入也會隨著每次輪次增加。

假設對話有一個 500 token 的系統訊息。在每個輪次中,用戶寫入 100 個 token,模型回覆 300 個 token。第 1 輪發送 600 個 token。第 2 輪發送 600 加上第 1 輪的 400,即 1,000。之後的每一輪都增加 400 個 token。

  • 10 輪的輸入:10 x 600 + 400 x (0 + 1 + ... + 9) = 6,000 + 400 x 45 = 24,000 個 token
  • 10 輪的輸出:10 x 300 = 3,000 個 token
  • 輸入成本:24,000 x $0.15 / 1,000,000 = $0.0036
  • 輸出成本:3,000 x $0.50 / 1,000,000 = $0.0015
  • 十輪對話的總計:$0.0051

這相當於整個對話只需半美分。金額的大小不如成本曲線重要:第 10 輪的成本遠高於第 1 輪,且總輸入量會隨對話輪數的平方增長。將同一個對話拉長至 100 輪,輸入量將變成 100 x 600 + 400 x 4,950 = 2,040,000 tokens,即 $0.306。30,000 個輸出 token 則增加 $0.015,總計 $0.321。輪數增加 10 倍,成本約為 63 倍。

如果你的用途是長時間的對話或角色扮演,請決定何時截斷或總結舊的輪次。用 500 token 的摘要取代前 80 輪可以減少之後每個請求的 token 數量,並將對話保持在 100,000 token 的上下文視窗內。

100k 上下文視窗內的一次大型請求

另一種極端是一次巨大的請求:一份長手稿、一個日誌檔案、一組轉錄檔。上下文視窗為 100,000 個 token(提示詞與補全合計),因此最大的輸入量會擠壓輸出空間。一個包含 80,000 個輸入 token 和 2,000 個輸出 token 的工作成本為:

  • 輸入:80,000 x $0.15 / 1,000,000 = $0.012
  • 輸出:2,000 x $0.50 / 1,000,000 = $0.001
  • 總計:$0.013

即使一個請求佔用了大部分視窗,成本也約為一美分。避免長輸入的原因不是成本。速度和品質才是:非常長的提示詞處理時間較長,且任何模型都更容易忽略巨大輸入中間的事實。如果答案取決於幾段文字,請傳送那些段落。

請求的主體限制為 8 MB,遠高於 token 視窗能容納的量,因此 token 計數將是你首先達到的限制。

儲值能購買什麼

額度以整美元金額購買,從 $20 到 $500。較大的儲值會增加獎金:$50 起 5%,$100 起 10%,$200 起 15%。

你支付獎勵新增額度提示詞擴展請求(每次 $0.00029)
$20無$20.00約 69,000
$505% = $2.50$52.50約 181,000
$10010% = $10$110.00約 379,000
$20015% = $30$230.00約 793,000

你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。由於信用額度永不過期,購買較多金額並緩慢使用並無懲罰,且如果你確定會持續使用 API,獎金會讓這個選擇更具吸引力。如果你不確定,請從 $20 開始。目前的費率和儲值表單請見 定價頁面。

失敗或拒絕的請求不會收費。如果請求出錯或模型拒絕,你無需為其付費,這在你循環重試時很重要。

五種降低帳單的方法

因為輸入是你最能控制的部份,請從那裡開始。

  1. 縮減系統訊息。 考慮一個具有 2,000 token 系統訊息、100 token 想法和 300 token 回覆的工作。輸入為 2,100 個 token,因此請求成本為 2,100 x $0.15 / 1,000,000 + 300 x $0.50 / 1,000,000 = $0.000315 + $0.00015 = $0.000465。10,000 次請求總計 $4.65。將系統訊息縮減至 500 個 token,請求為 600 x $0.15 / 1,000,000 + $0.00015 = $0.00009 + $0.00015 = $0.00024,或 10,000 次請求 $2.40。你節省了 $2.25。
  2. 限制輸出。 設定 max_tokens 為你需要的長度。這是可選的,但上限可以保護你免受失控的回覆。
  3. 要求簡短回覆。「僅回覆提示詞」可移除你需要付費但隨後會刪除的序言。
  4. 將小問題批次處理。 一次請求中的十個短問題共用一個系統訊息,而非重複十次。
  5. 總結舊的對話輪次。如上所示,這可使曲線變平。

這一切都不需要特殊工具。檢查腳本會記錄每個回應中的 usage 資料。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.veo3apis.com/v1",
    api_key="YOUR_API_KEY",
)

IN_PRICE = 0.15 / 1_000_000
OUT_PRICE = 0.50 / 1_000_000

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a 70 word prompt for a rainy street scene."}],
    max_tokens=200,
)

u = resp.usage
cost = u.prompt_tokens * IN_PRICE + u.completion_tokens * OUT_PRICE
print(u.prompt_tokens, u.completion_tokens, "tokens, about $%.6f" % cost)

你也可以直接監控餘額:每個回應都包含 X-Balance-USD 標頭。將其與來自 X-Request-Id 的請求 ID 一起記錄,即可根據你自己的計數對帳。要開始使用,請前往 API 金鑰頁面 領取試用額度,並閱讀 文件 以獲取完整的參數列表。

01

問答

有免費方案嗎?

否。新用戶可領取一次性 $0.50 試用額度,有效期 7 天,不需要信用卡。之後你從預付額度付費。

被拒絕或失敗的請求會收費嗎?

不會。失敗或被拒絕的請求不會收費。

額度會過期嗎?

沒有。額度永不過期,也沒有訂閱費。

我如何查看請求的費用?

在回應中讀取 usage 物件以取得 token 計數,並查看 X-Balance-USD 標頭以取得剩餘餘額。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件