トークン は、AIモデルが文章やコードを処理するときの細かい単位です。
人間には 文字 や 単語 の方が分かりやすいですが、LLM はそのまま文字列を扱うのではなく、内部でトークンに分けて入力や出力を処理します。
たとえば、短い単語が1トークンになることもあれば、長い単語が複数トークンに分かれることもあります。
空白、句読点、記号、コードの記法もトークン数に影響します。
まず押さえたいポイント
- AIは文字数ではなくトークン数を基準に処理することが多い
- 入力トークンと出力トークンの両方が使われる
- API料金はトークン課金のことが多い
- コンテキストウィンドウの上限もトークン数で表される
- 日本語、英語、コードでは同じ文字数でもトークン数が変わる
どんな場面で意識するか
トークンは、AIに長い仕様書を渡す、複数ファイルのコードを読ませる、長い会話を続ける、長文で出力させる、といった場面で重要になります。
入力が増えればそのぶん処理量も増え、API利用では料金にも影響します。
また、会話型ツールでは、今の依頼文だけでなく、過去の会話履歴、添付ファイル、検索結果、ツール出力もトークンとして積み上がることがあります。
そのため、今回の質問は短いのに重い というときは、見えていない履歴や文脈が効いていることがあります。
よくある誤解
トークンは 文字数とほぼ同じ と思われがちですが、実際には違います。
英語は比較的まとまりやすい一方、日本語やコード、記号の多い文章ではトークン数が増えやすいことがあります。
また、長いコンテキストに入るなら全部渡した方がよい という考え方も危険です。
入るかどうかと、渡すべきかどうかは別です。不要なログ、古い仕様、関係ない履歴まで入れると、精度もコストも悪くなりやすいです。
実務で見るポイント
実務では、トークンを節約するために次を意識するとかなり違います。
- 無関係な会話を引きずらず、タスクごとにセッションを分ける
- 長文を丸ごと貼らず、必要箇所だけ抜く
- 出力形式や文字数を指定して、無駄に長い返答を減らす
- 毎回同じ長い説明を書く代わりに、AGENTS.md や CLAUDE.md のような常設ルールへ寄せる
AIツールでのセッション整理やトークン節約を実務目線で見たい場合は、AIツールのセッションやトークンを節約する方法｜無駄な会話・長文入力・モデル選びを見直す も参考になります。