トークンとは、生成AIが文章を処理する際に扱う、文字や単語の断片を表す最小単位です。AIへの入力文も、AIが返す出力文も、すべてこのトークンという単位に分割されて処理されます。
意味
AI、特にLLM（大規模言語モデル）は、文章をそのまま「文字」として理解しているわけではありません。文章をトークンという単位に分割し、その並びの規則性を学習・予測することで、文章の理解や生成を行っています。
英語の場合は単語やその一部が1トークンになることが多く、比較的分かりやすい対応関係があります。一方、日本語は1文字が複数トークンに分かれたり、単語の区切り方によってトークン数が変わったりするため、英語よりもトークン数が多くなる傾向があります。同じ内容の文章でも、日本語で書くか英語で書くかでトークン数に差が出ることがあります。
AIの利用料金は、多くの場合このトークン数に応じた従量課金で決まります。また、AIが一度に読み込める文章量にも上限があり、これは「コンテキストウィンドウ」と呼ばれる仕組みでトークン数の上限として定められています。
使われる場面と具体例
- AIチャットボットを業務で使う担当者が、長文の資料を要約させる際に、トークン数の上限を超えないよう文章を分割して入力する。
- システム担当者が、API（外部サービスと連携するための接続口）経由でAIを社内システムに組み込む際、月間の想定トークン数から利用料金を見積もる。
- 経営者や総務担当が、AIサービスの料金プランを比較する際、トークン単価や上限トークン数を基準に選定する。
中小企業が押さえたい点
- 利用料金がトークン数に基づく場合、入力文（プロンプト）と出力文の両方がカウントされる点を理解しておくと、コストの見通しが立てやすくなります。
- プロンプトを簡潔にまとめることで、トークン数を抑え、費用や処理速度の両面で有利になります。
- 大量の資料や長文を読み込ませる用途では、コンテキストウィンドウ（一度に処理できるトークン数の上限）を事前に確認しておく必要があります。
- サービスごとにトークンの数え方や料金体系が異なるため、契約前に見積もりの前提条件を確認することが望ましいです。
よくある誤解
「1文字＝1トークン」と考えるのは誤りです。日本語は文字と1トークンが一致しないことが多く、想定より早く上限に達することがあります。
また、トークンは「単語の意味」を表す単位ではありません。文字の断片として機械的に分割されるため、人間が見た単語の区切りとは異なる場合があります。
よくある質問
Q. トークン数を減らすにはどうすればよいですか。
A. プロンプトを簡潔にし、不要な繰り返しや冗長な表現を減らすことで、トークン数を抑えられます。
Q. 日本語と英語でトークン数はどのくらい違いますか。
A. 一般的に日本語は同じ内容でも英語より多くのトークンを消費する傾向がありますが、具体的な差は文章内容やAIの種類によって変わります。
Q. トークン数の上限を超えるとどうなりますか。
A. 上限を超える部分は処理できず、AIに読み込ませたい内容が欠けたり、エラーになったりすることがあります。
関連する用語
ほかの用語を探す
