シリウス英語個別指導塾／英語学習・受験対策・英検対策／中央林間・東林間・相模大野
ChatGPTを使えば文章の要約を瞬時にやってのけると、一部ではちょっと前から大評判です。もちろん英文の要約も、一瞬で仕上げてくれます。
となると英語教育関係者ならば真っ先に気になるのは、東大の入試英語にある要約問題で生成A Iが合格点を取れるのか否かです。
まずはネットで検索してみましょう。東大の英語要約問題を生成AIが解けるか否かについて、いくつかのサイトが出てきます。（しかしちょっと不思議なことに、あまり多くのサイトが出てきません。「東大英語 要約 ChatGPT」と検索してみたところ、正面からこのテーマに臨んだのは、2024年2月の段階ではわずか3件でした。）。
とはいえその3件の記事をチェックしてみると、ちょっとおもしろい結果が出てきました。ChatGPTは東大の英語要約問題を簡単に解くことができると論じると述べるサイト（例「東大入試の英文要約問題とか簡単だろうなと思ったらやっぱり余裕だった」と「東大英語大問1をAIが解決！？チャットGPTが難関に挑戦！」などの記事）と、出来ないというサイトに分かれていたのです。（出来ないと断じるのは、敬天塾さんという塾のサイトでした）。
Chat GPTの文章要約力について、意見が完全に真っ二つに割れてしまった訳ですが、どちらが説得力があるでしょうか。（宜しかったら、皆さんも読み比べてみてください）。
結論を先に述べます。生成A Iが東大英語の要約問題を解けるか否かですが、どう頑張っても合格点は取れそうにありません。つまり、敬天塾さんの評価が正しいです。調べてみると、敬天「塾」さんは東大入試を専門とする学習塾さんのようです。情報に信頼性があるのは、至極当然の事かもしれません。
他方、Chat GPTならば東大英語の要約問題を簡単に解くことが出来ると絶賛したのは、英語学習や教育関係とは無関係な人たちだと分かります。結局こういう人たちが、いい加減な情報発信をしているようです。
ChatGPT等の生成AIの情報に限定して述べると、具体的な試行錯誤を踏まえず、ただただ便利ですよと紹介しているものがあまりに多いようです。どのような使い方をすれば、どこまで有益なのか、実際に自分で使って検証していない情報を安易に鵜呑みにしてはいけないようです。
さて、話を戻しましょう。生成A Iはどうして東大英語の要約問題で合格点を取ることができないのでしょうか。答えは実に簡単明瞭です。ChatGPTであれ、Geminiであれ、Claude2であれ、生成AIは要約問題に課される字数制限を守ることが出来ないのです。（ただし2024年3月現在の時点において）東大英語の要約問題は、「70〜80字の日本語で要約せよ」といった設問が与えらるのが普通です。しかし、ほとんどの場合、長過ぎたり短すぎたりする要約文になってしまいます。
ちなみに、「東大入試の英文要約問題とか簡単だろうなと思ったらやっぱり余裕だった」というブログ記事を読んでみますと、Chat GPTは128字で要約していました。しかし、設問をよく読んでみると、は80〜100字の日本語で答えなくてはならないのです。これでは0点です。
さて、ここで生成AIの致命的な欠陥は、生成AIに書き直しや修正をするようにと何度も命令を出しても、字数制限を厳守出来ないということです。多すぎるか、少なすぎるかのどちらかになってしまうのです。だから生成AIには要約力はあるが、東大の設問に答える力はないと結論づけざるを得ないのです。
2020年の東大の英語要約問題を生成AI（Chat GPTー4）に解かせてみました。なお、東大の入試問題、およびChatGPTの解答については、一番最後に参考資料として掲載しておきます。ご興味のある方は御覧ください。
設問は、与えられた英文を読み、70〜80字で要約するものです。ところが生成AIの最初の要約は、なんと193字です。字数を守るように命令しているのですが、ChatGPTは全く字数制限を考慮してくれないのです。そこで字数を厳守するように命令すると、101字に書き直してくれました。もちろん、これでも長すぎます。だから再度書き直しを強く命ますが、今度は短すぎる59字になってしまいました。そこでもう一度書き直しを命じましたが、出てきた答案は64字で、やはり字数不足です。
まとめますと、193字⇛101字⇛59字⇛64字 と長すぎたり短すぎたりしてしまうことしか出来なかったのです。
結局、ChatGPTの方が根を上げてしまいました。字数を考慮する、いや字数を数えることは、生成AIが一番苦手とすることのようです。
次のことが問われます。生成AIが字数制限を考慮できないのは、甚だしく不味いことなのか、それともどちらかというと、些細な問題に過ぎないのかという問です。
実際の大学入試で字数制限を守れないのであれば、それは確かに致命的なミスです。しかし、つまるところ、たかだが東大受験には「向いていない」に過ぎないと考えることも出来るではないですか。おそらく、東大英語の要約問題は解けなくても、たとえば（国立）電通大の昔の要約問題ならば、正解できるに違いないのですから。
さて、私にはしっかりとした確証がある訳ではありません。しかし、ChatGPTには、ある種の致命的な読解力不足があるのではないかと考えて言えます。ダラダラとまとめたりする事ーーそれは貴重な能力には違いないのです！ーーは出来るが、文章の急所やポイント、つまり、「ほら、ここが大事だよね」と書き手が強調したい点を、あるいは「あっ、なるほど。そういうことか」と読み手が相槌を打ちたくなるエッセンスを、生成AIがしっかりとは捉えられいないように思われるのです。だからこそ、東大が求める絶妙な字数の範囲内で、英文を要約する事ができないのではないでしょうか。
次回に続きます。
1（A）以下の英文は、高齢者にやさしい（age-friendly）町づくりを促進するための世界的な取り組みについて論じたものである。この文章の内容を70～80字の日本語で要約せよ。句読点も字数に含める。
The age-friendly community movement has emerged as a powerful response to the rapidly growing aging population. Although definitions of “age-friendly community” vary, reflecting multiple approaches and methods, many models highlight the importance of strengthening social ties and promote a vision that takes into account all ages. For example, Kofi Annan, who served as the seventh Secretary-General of the United Nations, declared in the opening speech at the UN International Conference on Aging in 1999, “A Society for All Ages embraces every generation. It is not fragmented, with youths, adults, and older persons going their separate ways. Rather, it is age-inclusive, with different generations recognizing and acting upon their common interests.”
The World Health Organization and other international organizations further articulate this premise by defining aging as a lifelong process: “We are all aging at any moment in our life and we should all have the opportunity to do so in a healthy and active way. To safeguard the highest possible quality of life in older age, WHO endorses the approach of investing in factors which influence health throughout the life course.”
In practice, however, the age-friendly community movement has focused primarily upon the needs and interests of older adults and their caregivers and service providers. In doing so, it has failed to gather enough data from youth and families about what produces good living conditions in a city or about opportunities for and barriers against working together with older adults.
What accounts for this gap between vision and practice? One answer may lie in the common assumption of the age-friendly community movement that what is good for older adults is good for everyone. In other words, if the age-friendly movement succeeds in making communities suitable for older adults, those communities will then be suitable for all generations. While there are many shared interests among different generations, recent studies in the United States and Europe indicate that young adults and older adults differ in their voting patterns and attitudes more than at any time since the 1970s. These studies suggest that in order to fully understand what constitutes a city that is friendly to people at different stages of the aging process, it is critical to gather data from multiple generations about what makes a city good for both growing up and growing older.
高齢者にやさしい町づくり運動は、急速に増加する高齢者人口への有力な対応策として登場しました。「高齢者にやさしい町づくり」の定義は様々で、多様なアプローチや方法を反映していますが、多くのモデルでは社会的絆を強化すること重視し、全ての年齢を考慮に入れる将来像（vision)を訴えかけています。例えば、国連第7代事務総長を務めたコフィー・アナンは、1999年の国連国際高齢者会議の開会演説で、「全年代のための社会とは、すべての世代を喜んで受け入れるものです。若者、成人、高齢者がそれぞれバラバラにわが道を歩んでしまうのではありません。むしろ様々な世代が、共通の利益を認識して行動し、全年齢を包括的に受け入れるものです」と宣言しました。
世界保健機関（WHO）およびその他の国際機関は、加齢を一生涯にわたるプロセスであると定義し、この前提をさらに明確にしました。『私たちは皆、人生のどの瞬間においても加齢しています。だから、健康的に積極的に年を取っていける機会が、すべての人に与えられるべきなのです。高齢期における生活の質を可能な限り最大限に守っていくために、生涯を通して健康を維持できるような要因に投資していくアプローチを、WHOは支持しています』
しかしながら高齢者にやさしい町づくり運動は、いざ実践段階となると、高齢者とその介護者およびサービス提供者のニーズや関心に、もっぱら焦点を当てしまいました。すると、都市における良好な生活条件を生み出し、高齢者の協働の機会をもたらしたり、あるいは逆に障壁となってしまうものについて、若者や家族から十分なデータを集められなくなりました。
この理想像（ヴィジョン）と実践との間のギャップを、どうやって説明できるでしょうか？一つの答えは、高齢者にやさしい町づくり運動において当たり前に想定されていることに見出されるのかもしれません。つまり、高齢者にとって良いものは、すべての人にとって良いという想定に問題があるのかもしれません。別の言い方をすれば、高齢者に適した町作りに成功すれば、その町づくりは全世代の人々に適合したものになるはずだという想定です。異なる世代間に共通する関心事は沢山ありますが、最近のアメリカとヨーロッパの研究では、若者と高齢者とでは、投票パターンや政治社会的態度について、1970年代以降のどの時代をとっても、差異が大きくなっていることが示されています。つまり、加齢プロセスの様々な段階にいる人々にとって良いと思える都市はどんなものかを完全に理解するためには、成長していく人と老化していく人の双方にとって望ましい都市について、複数の世代からデータを収集することが重要なのです。
最初の要約文では、字数制限を完全に無視した。設問では70－80字のところ、193字になってしまった。
「エイジフレンドリーコミュニティ運動は、急速に増える高齢化人口に対応するために登場しました。この運動は、異なる世代が共通の利益を認識し、行動する包括的な社会を目指しています。しかし、実際には高齢者へのサービスに焦点を当て、若者や家族からのデータ収集が不足しています。異なる世代のニーズを理解し、全ての世代が幸せに暮らせるコミュニティを築くためには、多世代からの意見を集めることが重要です」。（193字）
字数厳守を命令したが、101字でまだまだ字数が多すぎる。
「エイジフレンドリーコミュニティ運動は、多世代が共に幸せに暮らすために始まりましたが、実際には高齢者中心の対応で若者の意見が不足しています。全世代に適した都市を作るには、多世代からのデータ収集が必要です」（101字）
さらに字数厳守を命令してみると、今度は59字で少なすぎる。
「多世代が幸せに暮らすための高齢者に優しい町作り運動は、全世代向け都市づくりには、高齢者だけでなく若者の意見も必要です」（59字）
再度、字数を守るように命令したが、64字でまだ字数が足りない。設問で求めれれているのは、70~80字なのですが。
「多世代が共生する高齢者に優しい町作り運動では、若者からのフィードバックも集め、全ての年代が快適に暮らせる環境が求められています」（64字）
「高齢者にやさしい町づくりのためには、高齢者の意見に焦点を当てれば良いと想定されがちだ。しかし現実には世代差が存在するので、全世代の声を集めないとうまくいかない」（シリウス英語個別指導塾、80字）
「高齢者にやさしい町作りは、理念としては全世代の利益に沿うはずだが、現実には高齢者の意向ばかり反映された。しかし世代差が存在するので全世代の声を集めるべきだ」（シリウス英語個別指導塾の別解、74字）
「全世代を視野に入れるべき町づくりが実際は高齢者優先になるのは、高齢者に良い社会は万人に良いと考えるからだ。 考え方の異なる全世代から意見を募るべきである」 (駿台青本、 76字)
「全世代対応を目指しているが実際は高齢者優先なのは, 高齢者に 良い社会は万人に良いという前提ゆえかもしれない。 世代間で考え 方は違うので全世代から意見を募るべきだ」 (駿台青本の別解、78字)
「高齢者にやさしい町づくりは、現実には高齢者の利益に焦点を置いているが、全世代の利益を考慮する社会を目指すためには様々な世代からの意見を収集すべきである」 （河合塾、76字）
「高齢者にやさしい町づくりは全世代共通の利益を目指すが 、高齢者に良い社会は万人にも 良いと考え高齢者を優先しがちだ。世代間の 差を考慮し各世代から意見を集めるべきだ」 (竹岡『東大要約Unlimited』、80 字）
「高齢者にやさしい町づくりは、社会の絆を強め、全世代を考慮することが重要だが、実際は高齢者に焦点が当てられている。今後は複数世代からのデータ収集が必要だ」（大阪英語特訓道場、76字）
「高齢者に優しい町づくりは、社会的な繋がりの強化と全年代への配慮を目指すが、これまで高齢者のみに焦点を当ててきた。今後は様々な世代からデータを集めることが必要だ」 (大学受験.net 80字)
「高齢者にやさしい町づくりは幅広い世代にとって共通の利益になると謳われながら、実際には高齢者の利益が偏重されている。全世代からデータを集め改善を模索すべきである」（敬天塾解答、80字）
