メインコンテンツへスキップ
Weave は、LLM Call のコストを次の 2 つの方法でトラッキングします。
  • 自動コストトラッキング: サポートされるインテグレーション では、Weave は API レスポンスからトークン使用量を取得し、モデルに組み込みの価格設定を適用するため、追加のコードは必要ありません。
  • カスタムコストトラッキング: ファインチューニングしたモデル、セルフホスト型モデル、または Weave で自動的にインテグレーションされないモデルについては、利用可能な API メソッドを使用してカスタムコストをトラッキングするように Weave を設定します。
Weave TypeScript はコストトラッキングをサポートしていません。

自動コストトラッキングを使用する

weave.init() を呼び出し、OpenAI、Anthropic、Cohere、Mistral などのサポートされている LLM インテグレーションを使用すると、Weave はトークン使用量を自動的に記録し、各 call のコストを計算します。コストはトレース ツリーと Weave UI の calls 表に表示されます。さらに、include_costs パラメーターを true に設定して calls をクエリすると、プログラムから call.summary["weave"]["costs"] で利用できます。 自動コストトラッキングには、次の 2 つの条件が必要です。
  • LLM プロバイダー がサポートされているインテグレーションであること。
  • API レスポンスにトークン使用量が含まれていること (ほとんどの プロバイダー ではデフォルトで返されます) 。
いずれかの条件を満たさない場合は、代わりにカスタムコストトラッキングを使用してください。 次の例は、自動コストデータをプログラムで取得する方法を示しています。

カスタムコストの追加

自動コストトラッキングを利用できない場合 (ファインチューニングしたモデル、セルフホスト型モデル、または Weave が統合していないプロバイダーなど) は、カスタムコストトラッキングを使用します。以下のセクションでは、カスタムコストを追加、クエリ、パージ、集計する方法について説明します。 add_cost メソッドを使用して、カスタムコストを追加します。 必須フィールドは llm_idprompt_token_costcompletion_token_cost の 3 つです。 llm_id は LLM の名前です (例: gpt-4o) 。prompt_token_costcompletion_token_cost は、その LLM のトークンあたりのコストです。LLM の料金が 100 万トークン単位で指定されている場合は、値を換算してください。 また、effective_date に日時を設定すると、そのコストを特定の日付から有効にできます。デフォルトでは現在の日付が使用されます。

カスタムコストをクエリする

カスタムコストを追加した後は、値を確認したり、パージなどの他の操作に必要なコスト ID を調べたりするために、取得できます。 query_costs メソッド を使用して、コストをクエリできます。 コストをクエリする方法はいくつかあり、単一のコスト ID または LLM モデル名のリストを渡せます。

カスタムコストをパージする

purge_costs メソッドでカスタムコストをパージします。コスト ID のリストを渡すと、Weave はそれらの ID を持つコストをパージします。

project のカスタムコストを計算する

project 全体での総支出を把握するには、Weave が返す Call ごとのコストを集計します。get_calls()include_costs=True を使用して、project のコストを計算できます。

カスタムコスト付きカスタムモデルの設定

カスタムモデルとカスタムコストトラッキングを組み合わせたエンドツーエンドの walkthrough については、カスタムモデルでコストを設定する の cookbook をお試しください。

Colabで試す