title-praivacy
2024/03/07

ChatGPT×東大入試(2)—-生成AIに欠如しているもの

5)ChatGPT−4は簡潔な要約文を作成できない

 

前回のブログでは、ChatGPT−4は東大の要約問題の字数制限を守れないと述べました。求められた字数を超えるか、あるいは満たないかのいずれかになってしまうのです。

 

 

なお、他の年度の東大の要約問題もChatGPTにか解かせましたが、いずれも字数不足または字数超過になってしまいました。しかし、要約文の文章の仕上がりに着目してみると、単純に東大が要求する字数を守れないと言う問題ではないようです。むしろ、長めの要約文ならば良いものを作れるのですが、簡潔な要約文と作成するとしっかりしたものが出来ないのです。

 

 

前回記事の参考資料にもアップしておきましたが、ChatGPTが作成した長すぎる要約文を読んでみてください。

 

 

「エイジフレンドリー[=高齢者にやさしい] コミュニティ運動は、急速に増える高齢化人口に対応するために登場しました。この運動は、異なる世代が共通の利益を認識し、行動する包括的な社会を目指しています。しかし、実際には高齢者へのサービスに焦点を当て、若者や家族からのデータ収集が不足しています。異なる世代のニーズを理解し、全ての世代が幸せに暮らせるコミュニティを築くためには、多世代からの意見を集めることが重要です」。 (ChatGPT、193字)

 

「エイジフレンドリー[=高齢者にやさしい] コミュニティ運動は、多世代が共に幸せに暮らすために始まりましたが、実際には高齢者中心の対応で若者の意見が不足しています。全世代に適した都市を作るには、多世代からのデータ収集が必要です」  (ChatGPT、101字)

 

 

東大が求める簡潔さを満たしてはいませんが、英語長文の要約として読めば、的確で信頼のおける内容です。模範解答にしても良いぐらいです。(もしよろしければ、前回、参考文献として掲載した英文または全訳も読み返してください)。

 

 

他方、大事なエッセンスを残しつつ、字数を短くするのが生成AIは苦手です。誤解がないように付け加えると、単に短くすることならば簡単に出来ます。しかし、文章の中にあるピリッとしたスパイスの部分、あるいは興味深い論点まで全部切り捨ててしまうのです。

 

 

6)ChatGPTは「起承転結」の「転」を捨象してしまう

 

生成AIは、起承転結でいえば、「転」の部分を欠落させ、「起→承→結」の流れで要約しようとしてしまうのです。つまり、文章の展開だとか流れにある面白さを、生成AIは認識出来ないようなのです。結果、簡潔かつ興味深いの両立が出来ないのです。

 

前回の参考資料であげたChatGPTの、短すぎる要約文を再掲してみましょう。

 

 

「多世代が幸せに暮らすための高齢者に優しい町作り運動は、全世代向け都市づくりには、高齢者だけでなく若者の意見も必要です」 (59 語)

 

「多世代が共生する高齢者に優しい町作り運動では、若者からのフィードバックも集め、全ての年代が快適に暮らせる環境が求められています」(64語)

 

 

どちらの要約文も単線的な文章展開です。要するに、次のような展開です。

 

  • 高齢者に優しい町づくり→若者の意見→全世代が快適になる

  • 高齢者に優しい町づくり→全世代向け→若物の意見

 

 

 

しかし本文の文章の第三・第四パラグラフをよく読んでる必要があります。(よろしければ、これも前回のブログの最後(←クリック)に掲載されておりますので、お読みください)。

 

 

第三パラグラフは、however(=しかしながら)を冒頭部分に置いて始まります。より正確に書けば、In practice, however, で始まります。つまり、高齢者に優しい町づくり運動は、何らかの問題を抱えていたのです。ついで第四パラグラフでは、 その問題を理念と実践のギャップとして捉えた上で、ギャップが生じた理由を考察し、さらにその処方箋を提示します。

 

 

一つの理念や理想(=高齢者に優しい町づくり)の実現が、現実には一筋縄でうまくいかなかったこと、そして壁にぶつかったからこそ、その過程で様々な考察が生まれた訳です。人間の解答者であれば、字数が許すのであれば是非とも取り上げたいと考えるはずです。

 

 

図式化すれば、次のようなものになるでしょう。

 

 

(起)高齢者に優しい町づくり→

 

(承)その理念=全世代にとって良い町→

 

(転)高齢者中心の実践(でうまくいかない

 

(結)実践の(失敗した)理由と打開策

 

 

 

生成AIに要約文を短くせよと命令すると、「起承転結」の「転」の部分は捨象してしまえば良いと判断し、60字前後の要約文を作ってしまいます。けれども設問では80字まで書けるのです。人間の解答者ならば、残りの20字を使って「転」の箇所を表現できると考えます。

 

ChatGPTが出した要約文と人間の書いた要約文を再掲しておきます。

 

 

最初の青の文がChatGPTによるもの、次の赤の文が人間の解答です。人間の解答のアンダーラインの部分が「転」の箇所となります。

 

 

「多世代が共生する高齢者に優しい町作り運動では、若者からのフィードバックも集め、全ての年代が快適に暮らせる環境が求められています」ChatGPT、64語)

 

 

 

「高齢者にやさしい町づくりのためには、高齢者の意見に焦点を当てれば良いと想定されがちだ。しかし現実には世代差が存在するので、全世代の声を集めないとうまくいかない」(シリウス英語個別指導塾、80字)

 

「全世代を視野に入れるべき町づくりが実際は高齢者優先になるのは、高齢者に良い社会は万人に良いと考えるからだ。 考え方の異なる全世代から意見を募るべきである」 (駿台青本、 76字)

 

「高齢者にやさしい町づくりは全世代共通の利益を目指すが 、高齢者に良い社会は万人にも 良いと考え高齢者を優先しがちだ。世代間の差を考慮し各世代から意見を集めるべきだ」 (竹岡『東大の英語、要約Unlimited』、80 字)

 

 

「高齢者に優しい町づくりは、社会的な繋がりの強化と全年代への配慮を目指すが、これまで高齢者のみに焦点を当ててきた今後は様々な世代からデータを集めることが必要だ」 (大学受験.net 80字)

 

「高齢者にやさしい町づくりは幅広い世代にとって共通の利益になると謳われながら、実際には高齢者の利益が偏重されている。全世代からデータを集め改善を模索すべきである」(敬天塾解答、80字)

 

 

7)結論あるいは一つの仮説ーー生成AIに欠けているもの

 

 

「転」の部分を文章のエッセンスとみなすか、それを見逃してしまうかが、人間と2024年3月現在の生成AIの分かれ目となっている。ネット上の模範解答も含め、いくつかの要約文を調べたが、いずれも「転」を重視している。人間の解答はバリエーションがあり、重点部分あるいは捨てる部分が何かについての判断は、多少異なってはいる(注)。しかしそれでも、共通項はしっかりとあるのだ。

 

 

人間には、「転」あるいはドラマ的展開に反応する能力が備わっているのではないか。あるいは、人が誰かに語りかけたり、文を書いたりする時、それを推進するモチベーションとなる力の源に感じる能力といったら良いだろうか。他方生成AIは、音声言語であれ書いた文章であれ、何か平板なものにしてしまう傾向が有るし、また感知できないのではないか

 

 

生成AIが、東大の要求する簡潔で面白い要約文を書けないからといって、こんな風に議論を展開して良いのかと思う人もあろう。しかし、とりあえず2024年3月8日現在、私はそんな風な感想を持ったと記録しておきます。

 

 

以上

 

 

——————————————————————————————————————————————————————————————————————————————-

 

(注)実を言うと、今回の問題についての竹岡先生の採点基準には、ちょっと違和感を持つ。こんな基準はあまりに許容度が狭すぎると思っている。また、大学受験.netさんの問題解説では、「理由(=なぜ高齢者中心のデータ収集をしてしまったのか)は結果よりも優先度が低い」と言う明言があり、それは要約文にも反映されています。私はちょっと同意できないのではあります。むしろ駿台青本の立場に賛成しているわけです。しかし、そのような見解の差異は、たいして大きな差異ではないだろうし、要約例のバリエーションとして広く認めていくべきであるという立場をとっています。

 

 

 

◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇
シリウス英語個別指導塾 by 東大式個別ゼミ
中高一貫校専門 大学受験英語塾 英検/TEAP
相模大野・中央林間・横浜・藤沢・町田
住所:神奈川県相模原市南区東林間4丁目13-3
TEL:042-749-2404
https://todaishiki-english.com/
◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇◆◇
 
お問い合わせ