読み：とーくんすう ／ 分野：AI・生成AI
AIが文章を処理する際の文字や単語の最小単位の個数で、利用料金や処理可能な文章量の目安になる指標です。
トークン数とは、生成AI（文章や画像を自動で作る人工知能）が文章を扱うときに区切る最小単位「トークン」の個数のことです。入力文と出力文の長さや、AIサービスの利用料金を見積もる基準として使われます。
意味
生成AIは文章をそのまま理解するのではなく、単語や文字の断片である「トークン」に分解してから処理します。日本語の場合、1つの単語が複数のトークンに分かれることもあれば、1文字が1トークンになることもあり、英語とは数え方の目安が異なります。トークン数は、この分解された単位がいくつあるかを示す数値です。多くのAIサービスでは、入力した文章のトークン数と、AIが出力した文章のトークン数の合計に応じて利用料金が決まります。また、AIが一度に処理できる文章量にも上限があり、これは「コンテキストウィンドウ」と呼ばれる仕組みで管理されています。この上限もトークン数で表されます。
使われる場面と具体例
- 経営者がAIチャットボットの導入を検討する際、月間の想定利用料金をトークン数ベースの単価から見積もる場面で使われます。
- 総務担当者が長い社内文書をAIに要約させようとした際、文書のトークン数が上限を超えてエラーになり、分割処理が必要になる場面があります。
- DX担当者が複数のAIサービスを比較する際、同じ文章量でもトークン数の数え方や単価が異なるため、費用を正確に比較する場面で確認します。
中小企業が押さえたい点
- 利用料金はトークン数に比例することが多いため、長文のやり取りが多い業務ほどコストが膨らみやすい点を理解しておく必要があります。
- AIサービスごとにコンテキストウィンドウ（一度に処理できるトークン数の上限）が異なるため、扱う文書量に応じて適したサービスを選ぶことが重要です。
- 日本語は英語に比べて同じ内容でもトークン数が多くなりやすい傾向があるため、想定より早く利用枠に達する可能性を見込んでおくと安心です。
よくある誤解
- トークン数を文字数や単語数と同じだと思いがちですが、実際の区切り方はAIの仕組みによって異なり、単純に一致しません。
- トークン数の上限を「保存できるデータ量の上限」と誤解しやすいですが、これは一度のやり取りで処理できる文章量の上限であり、保存容量とは別の概念です。
よくある質問
Q. トークン数が多いと何が困るのですか。
A. 利用料金が増えるほか、コンテキストウィンドウの上限を超えると文章の途中が処理されなくなる場合があります。
Q. 日本語と英語でトークン数の数え方は違いますか。
A. はい。同じ内容でも日本語の方がトークン数が多くなる傾向があり、料金見積もりの際は注意が必要です。
Q. トークン数を減らす工夫はありますか。
A. 入力文を簡潔にする、不要な繰り返しを省く、要約してから渡すなどの方法でトークン数を抑えられます。
関連する用語
関連記事
ほかの用語を探す
