Tiktokenizer官网
Tiktokenizer是一个计算给定大模型提示词的tokens数量的开源项目，最初的功能主要功能是帮助用户计算OpenAI计费规则中每次请求所用的tokens数量（不包括返回的tokens），现在已经扩展了近几十个大模型。
- Tiktokenizer官网入口地址：https://tiktokenizer.vercel.app/
- Tiktokenizer开源项目地址：https://github.com/dqbd/tiktokenizer/
目前支持下列模型：
Popular
- cl100k_base
- o200k_base
- gpt-4-1106-preview
- gpt-3.5-turbo
- codellama/CodeLlama-7b-hf
Open-Source Models
- codellama/CodeLlama-70b-hf
- meta-llama/Meta-Llama-3-8B
- meta-llama/Meta-Llama-3-70B
- microsoft/phi-2
- google/gemma-7b
- deepseek-ai/DeepSeek-R1
- Qwen/Qwen2.5-72B
- tiiuae/falcon-7b
- 01-ai/Yi-6B
OpenAI Encodings
- gpt2
- r50k_base
- p50k_base
- p50k_edit
OpenAI Models
- gpt-4o
- gpt-4
- gpt-4-32k
- text-davinci-003
- text-davinci-002
- text-davinci-001
- text-curie-001
- text-babbage-001
- text-ada-001
- davinci
- curie
- babbage
- ada
- code-davinci-002
- code-davinci-001
- code-cushman-002
- code-cushman-001
- davinci-codex
- cushman-codex
- text-davinci-edit-001
- code-davinci-edit-001
- text-similarity-davinci-001
- text-similarity-curie-001
- text-similarity-babbage-001
- text-similarity-ada-001
- text-search-davinci-doc-001
- text-search-curie-doc-001
- text-search-babbage-doc-001
- text-search-ada-doc-001
- code-search-babbage-code-001
- code-search-ada-code-001
- text-embedding-ada-002
- text-embedding-3-small
- text-embedding-3-large
数据统计
相关导航
推广拉新赚钱【阿里云盘】
如果您是大学生、上班族或者自由职业者，想利用业余时间分享阿里云盘资源，赚取一些收入，或者您想拥有几十、几百TB的网盘容量；或者您是网站站长、up主，有自己的自媒体平台、私域粉丝，想要有更多变现方式，都可以来参加，我们会为您提供丰厚的奖励！🔝 扩容，报名审核通过后，先开通8TB超级会员月卡，作为考核期，如果考核数据达标，后续根据数据，单次最高可扩容300TB！💰 注册，一个新用户5-10元兑换金；💾 返佣，用户转存资源后，发现容量不够，买会员你有现金返佣，单笔最高77.4元；🤝 经销，拥有自己的会员店铺，扫码可特价购买会员，用户付款后自动充值，无需手动打理。（店铺里的会员数量，由拉新兑换金等价兑换）
暂无评论...