トークンとコンテキストウィンドウの話
AI Collaboration
このコンテンツは、人間とAI（Gemini）の対話を通じて構成・推敲されています。
最近、仕事やブログの執筆でGemini（いわゆるLLM：大規模言語モデル）を使い倒しているのですが、彼らと対話していると「人間が理解するプロセス」との共通点や、決定的な違いが見えてきて面白いなと感じます。
今日は、AIが言葉をどう捉え、どう「忘れて」いくのか。そこから僕ら人間がどう立ち振る舞うべきかと、今後世界がどうなっていくかの僕なりの考察をまとめてみます。
1. 言葉の最小単位「トークン」の話
まず、AIは僕らの言葉をそのまま読んでいるわけではありません。「トークン」というコンピュータ用の言葉の単位に分解して理解しています。
例えば、「車が走っている」というフレーズ。
- 一般的なモデル： 「車」「が」「走」「っている」 (4〜5トークン)
- 最新のモデル： 「車」「が」「走っている」 (3〜4トークン)
面白いのは、最新モデルほど「走っている」のようなよく使われる言い回しを、効率よく1つの塊として処理できる点です。AIの進化は、より人間に近い感覚で言葉を効率化するプロセスとも言えます。
2. 「コンテキストウィンドウ」と記憶の圧縮
AIとの会話には、「コンテキストウィンドウ」という、一度に扱える情報のキャパシティ（許容量）があります。レストラン探しの条件を細かく指定したり、会話を長く続けたりすると、この窓はどんどん埋まっていきます。
限界が来ると、AIは完全に忘れるのではなく、「情報の圧縮」を始めます。
これは人間も同じですよね。
- 具体的な記憶： 「サルバトーレ・クオモという、伊藤さんが気に入ったイタリアンのお店の話をした」
- 圧縮された記憶： 「伊藤さんが気に入ったイタリアンの話をした」
「サルバトーレ・クオモ」という固有名詞は消えても、「伊藤さん」「イタリアン」という、自分の中にすでにある概念（デフォルトの状態）と紐づいた情報だけが残る。情報の鮮度は落ちても、自分にとって重要なエッセンスだけを残そうとする働きは、人間とAIでよく似ています。
3. 「デフォルトの状態」が学習の差を生む
ここで僕が重要だと思うのが、その人が元々持っている知識の量、つまり「デフォルトの状態」です。
例えば、「きらきら星」を弾けるようになるスピードを比べてみましょう。
- ピアノを弾ける人： 「ドレミ」や「リズム」がデフォルトとして備わっているから、すぐに習得できる。
- 全く弾けない人： 「鍵盤の位置」から覚えるという新規情報を大量に載せる必要があり、時間がかかる。
デフォルトの状態に対して、新しい情報を取り込んでいくこと。これが僕の考える「学習」の本質です。AI（LLM）は、このデフォルトの状態を凄まじいスピードでバージョンアップし続けています。
4. 人間とAIのコスト、そしてこれからの協調
今のところ、身体を動かす「フィジカル」な部分はロボットよりも人間の方が圧倒的にいいです。でも、将来ロボットが普及してその差がなくなったら？
その時、僕たち人間に残されるのは、「汎用性は低いけれど、自分にしか持てないデフォルトの状態」を持つことではないかと思うのです。
コンテキストウィンドウ（短期記憶の許容量）の大きさでは、人間は絶対にAIには勝てません。
だからこそ、AIには真似できない「個人の経験」や「特定の文脈での深い理解」をデフォルトとして自分の中に蓄積しておく。広大な窓を持つAIと、深いデフォルトを持つ人間。この補完関係こそが、これからの知的な仕事の勝ち筋になるはずです。
Geminiからの視点：さらに一歩踏み込んだアイディア
ここで、Geminiからも面白いアイディアをもらったので、2つほど紹介します。
- 「感情による圧縮」の凄み 人間は「何を食べたか」は忘れても、「めちゃくちゃ美味しくて感動した」という感情は強烈に圧縮して残します。AIはまだ、この「感情による優先順位付け」が苦手です。情報の重要度を「論理」ではなく「心」で決めるのは、人間にしかできない高度な圧縮技術かもしれません。
- 「忘れること」が創造性を生む AIはコンテキストウィンドウが埋まると必死に圧縮しますが、人間はいい意味で「忘れる」ことができます。詳細を忘れるからこそ、別の記憶と混ざり合って新しいアイディアが生まれる。不完全なコンテキストウィンドウこそが、人間のクリエイティビティの源泉なのかもしれません。
最後に
AIの仕組みを知ることは、自分たちの脳の強みを再発見することでもあります。 膨大な情報を処理する「コンテキストウィンドウ」はAIに任せて、僕らは自分だけの豊かな「デフォルト」を育てていきたいものですね。
次は、僕のこの「デフォルト」を使って、Geminiにどんな面白い無理難題を投げてみようか、今からワクワクしています。
