一个方便计算使用主要大型语言模型成本的工具

Tokencost

一个方便的工具，可以帮助计算使用主要大型语言模型（LLMs）API 的美元成本，通过估算提示和完成的费用。这对于构建 AI 代理时估算成本特别有用。

Github地址

https://github.com/AgentOps-AI/tokencost

特点：

1.LLM 价格跟踪：主要 LLM 提供商经常添加新模型并更新定价。这个库帮助跟踪最新的价格变化。

2.令牌计数：在发送 OpenAI 请求之前准确计算提示令牌。

3.易于集成：只需一个函数即可获取提示或完成的成本。

示例用法：

from tokencost import calculate_prompt_cost, calculate_completion_cost

model = "gpt-3.5-turbo"

prompt = [{"role": "user", "content": "Hello world"}]

completion = "How may I assist you today?"

prompt_cost = calculate_prompt_cost(prompt, model)

completion_cost = calculate_completion_cost(completion, model)

print(f"{prompt_cost} + {completion_cost} = {prompt_cost + completion_cost}")

# 输出：0.0000135 + 0.000014 = 0.0000275

安装与用法：

推荐使用 PyPI 安装：

pip install tokencost

成本估算：

from openai import OpenAI

from tokencost import calculate_prompt_cost, calculate_completion_cost

client = OpenAI()

model = "gpt-3.5-turbo"

prompt = [{"role": "user", "content": "Say this is a test"}]

chat_completion = client.chat.completions.create(messages=prompt, model=model)

completion = chat_completion.choices[0].message.content  # "This is a test."

prompt_cost = calculate_prompt_cost(prompt, model)

completion_cost = calculate_completion_cost(completion, model)

print(f"{prompt_cost} + {completion_cost} = {prompt_cost + completion_cost}")

# 输出：0.0000180 + 0.000010 = 0.0000280

使用字符串提示而不是消息计算成本：

from tokencost import calculate_prompt_cost

prompt_string = "Hello world"

response = "How may I assist you today?"

model = "gpt-3.5-turbo"

prompt_cost = calculate_prompt_cost(prompt_string, model)

print(f"Cost: ${prompt_cost}")

# 输出：Cost: $3e-06

计数令牌：

from tokencost import count_message_tokens, count_string_tokens

message_prompt = [{"role": "user", "content": "Hello world"}]

print(count_message_tokens(message_prompt, model="gpt-3.5-turbo"))  # 输出：9

string_prompt = "Hello world"

print(count_string_tokens(prompt=string_prompt, model="gpt-3.5-turbo"))  # 输出：11（注意这里的差异可能是由于模型对空格的计处理方式）