AIの能力を測るものさし

相変わらずAI関連のニュースには事欠かない日々だが、今週はOpenAIのライバルAnthropicからGPT-4以上の性能を謳う新しいAIモデル「Claude 3」が発表されて話題になっている。

何はともあれ、少し試してみることにする。特徴の一つはコンテクストに含められる文字数が20万トークン(日本語の場合は概ね20万字相当)と、本1冊分の文章を読み込めるので、以前noteでも試したように拙著『コンヴィヴィアル・テクノロジー』の本文約10万字のテキストファイルを読み込ませて要約してもらった。

この本は、イヴァン・イリイチが提唱した「コンヴィヴィアリティ」という概念をもとに、これからのテクノロジーのあるべき姿を探っています。

主なポイントは以下の通りです。

  1. テクノロジーには人間の能力を高める第一の分水嶺と、逆に人間から能力を奪う第二の分水嶺があり、その間のバランスを保つことが重要。
  2. 情報テクノロジーの発展により、テクノロジーは物理的な力だけでなく、知的な力も持つようになり、人間との関わりはより複雑になっている。
  3. テクノロジーと人間の関わりを考えるうえで、デザインの役割が注目されている。デザインは人間を動かす力を持つが、その力の行使には倫理的な配慮が必要。
  4. 人新世とも言われる現代において、人間は自然に影響を与え、また自然から影響を受ける存在となっている。自然との共生のためのテクノロジーが求められている。
  5. 人間はお互いにわかりあえない存在だが、言葉を通じてコミュニケーションを図り、「自由の相互承認」の対象である「わたしたち」の範囲を広げていくことが求められている。
  6. 未来のテクノロジーは、人間が自ら使い、つくり、時に頼り、時に手放せる「道具」であるべきであり、人間が自然や他者と共に生きるための「コンヴィヴィアル・テクノロジー」であるべき。

本書は、テクノロジーと人間、自然、社会の関わりについて多角的に考察し、これからのテクノロジーの可能性と課題を示唆しています。

なかなかやるなあ。本全体の内容が網羅的によくまとめられていて、大学のレポート課題としてこれを提出されたら、ちゃんと全部読んでくれたなあと思うだろう。

では、GPT-4だとどうなるか。ChatGPTのインターフェイスで、同じように本文全文のテキストファイルをアップロードして要約してもらった。

この本『コンヴィヴィアル・テクノロジー』は、イヴァン・イリイチの「コンヴィヴィアリティ(共に生きる)」という概念に基づき、現代社会における人間とテクノロジーの関係を探求しています。イリイチは、技術や制度に人間が隷従する現状を批判し、未来のテクノロジーは人間の本質や自由を尊重し、他者や自然との関係性の中で共に生きるためのものであるべきだと提唱しています。この本では、イリイチの理念を現代に適用し、持続可能な発展と人間性の回復に向けて、どのようなテクノロジーが求められるかを考察しています。また、自転車を例に挙げながら、人間とテクノロジーが共に成長し、相互に影響しあう共進化の過程についても論じています。

一見悪くないが、著者の立場から見ると、この人はイリイチは読んでいるけど、自分の本は斜め読みか、もしかして読んでくれてないかなという印象がある。

しかし、これには理由がある。現状のChatGPT 4のウェブインターフェイスでは、コンテクストに含められるトークン数が約3万2千トークンと本全体を読み込むことができない。そこでRAGと呼ばれる仕組みが内部的には使われる。全部いっぺんに読めないので要約に必要そうな箇所を抽出しながら要約するようなアプローチである。(詳しくは以前書いたnoteを参照。)

実は最新のGPT-4 Turboは12万8千トークン対応になっているが、いまのところAPI経由でしか使えないので、次にコードを書いてGPT-4 TurboのAPIを使って要約してもらった。

この長文における主な要約としては、以下のポイントを挙げることができます:

  1. コンヴィヴィアル・テクノロジーの必要性: イヴァン・イリイチの「コンヴィヴィアリティ」の概念に沿って、テクノロジーが人間と自然、そして他者と「共に生きる」ための道具であるべきであり、過剰な依存や隷属を生まず、個々の自立性と創造性を高めるものでなければならない。
  2. 二つの分水嶺: すべての道具には、人間の能力を向上させる第一の分水嶺と、能力や主体性を奪う第二の分水嶺が存在する。適切なバランスを見つけることがコンヴィヴィアルなテクノロジーへの鍵である。
  3. テクノロジーの対象拡張: 現代のテクノロジーはただの道具だけでなく、自律性を持ち始め他者としての性質も帯びつつある。人間との関係、自然や社会との相互作用の中でテクノロジーをどう位置づけるかが重要なテーマとなっている。
  4. サステナビリティとダイバーシティ: 人間と自然、社会との健全な関係を維持することはテクノロジーにおいても重視されるべきテーマである。すべての生命と共存する持続可能な方法でテクノロジーを発展させる必要がある。
  5. テクノロジーの自律性と他律性のバランス: 自律的なテクノロジーの発展は人間に多大な便益をもたらすが、その使用は個人や社会の自律性を損なわない形であるべきであり、必要に応じて手放せる、変更できる柔軟性を持つべきである。
  6. 言葉とコミュニケーションの重要性: 寛容、責任、信頼といった価値を新たな文脈で再考し、テクノロジーを通じた人間関係や社会関係の構築において重要な方針を提供する。

この文章が示唆しているのは、テクノロジーそのものや、テクノロジーを取り巻く環境、人々のテクノロジーに対する認識や態度が、持続可能で包摂的な未来づくりへ向けて重要な役割を果たすということです。テクノロジーは、人間と共にある環境内での共生を促進し、様々な生命とともに調和ある共存を目指すための手段として、賢く、思慮深く利用されるべきことを強調しています。

取り上げているポイントが多少違うが、今度はかなり網羅的な要約になっている。若干書いた意図が伝わっていないかなと思うところはあるものの、そこはむしろ書き手としての技量不足かなという感じで、課題でこれを提出してくれたらまずちゃんと読んでくれたことは疑わないだろう。

そういう意味では、現時点ではそれぞれのAIモデルの良し悪しというよりも、コンテクストに含められるトークン数の違いのほうが影響が大きい印象である。(ちなみにGoogleのGemini Pro 1.5も100万トークンを謳っているが、まだアクセスできていないので試せていない。)

さて、そんな比較をしながらふと我に帰ると、そもそもGPT-4の登場からたった1年足らずで、AIとの対話にほとんど不自然さを感じないことに慣れてしまったことの方に驚く。こうなってくると、AIの能力は知能テストのようなスコアで測れるものさしだけでなく、例えば同じ内容を伝えるとしてもちょっとしたニュアンスやスタイルの違いや、役回りをどれくらい幅広く使い分けられるか、どれくらい自分の発言に対してメタ認知できているかなど、もはやコミュニケーション能力や人間力を測るようなものになっていくのだろう。

AIの能力をどうやって測るかはなかなか難しい問題である。