読み：とーくん ／ 分野：AI・生成AI
生成AIが文章を処理するときの単位です。
トークンとは、生成AIが文章を理解・生成する際に使う処理の最小単位です。日本語では1文字や単語の一部が1トークンになることが多く、英語とは数え方が異なります。
使われる場面
AIチャットボットやLLM（大規模言語モデル）の利用料金は、多くの場合トークン数に応じて決まります。
入力した文章と、AIが出力した文章の両方がトークンとしてカウントされます。
また、一度に処理できる文章量にも上限があり、これも「トークン数の上限」として決められています。
長い文章を要約させたり、大量の資料を読み込ませたりする際には、このトークン数の制限に注意が必要です。
注意点・よくある誤解
「1文字＝1トークン」ではない点に注意しましょう。
日本語は英語に比べて1文字あたりのトークン数が多くなる傾向があり、同じ内容でも料金や処理量に差が出ることがあります。
また、プロンプト（AIへの指示文）が長くなるほどトークン数が増え、コストや処理速度に影響します。
社内でAIを活用する際は、トークン数を意識して指示文を簡潔にまとめると、費用を抑えやすくなります。
関連する用語
ほかの用語を探す
