日本語が通じない?日本人

教科書が読めない子どもたち:AIに仕事を取られる前にすべきこと

社会

人工知能(AI)が言葉の意味を理解していないことについては、先の記事でも書いた。それでは私たちは十分に言葉の意味を理解できているのだろうか? その疑問に答えるべく開発されたのが、読解力を測る「リーディングスキルテスト」だ。2017年11月のフォーラムで発表されたテストの仕組みと、危機感を覚えるその結果を踏まえ、主導した国立情報学研究所の新井紀子氏に聞いた。

新井 紀子 ARAI Noriko

国立情報学研究所教授、一般社団法人教育のための科学研究所代表理事・所長。一橋大学法学部卒業、イリノイ大学数学科博士課程修了。専門は数理論理学。11年、「ロボットは東大に入れるか」のプロジェクトを開始。16年より読解力を測定する「リーディングスキルテスト」の研究開発を手掛ける。主な著書に『数学は言葉』(東京図書)、『コンピュータが仕事を奪う』(日本経済新聞出版社)など。近著に『AI vs. 教科書が読めない子どもたち』(東洋経済新報社)がある

大学入試でAIが人間を上回る

「ロボットは東大に入れるか?」というプロジェクト名を聞いて、どう思うだろうか? ロボットを東大に入れることを目的にしていると思うかもしれない。しかし、このプロジェクトを率いた国立情報学研究所の新井紀子氏が目指したのは、東大に入れることではなく、人間と比較し、AIの可能性と限界を明らかにすることだった。

約6年間の研究の結果、AIは東大には入れないが、偏差値57を超え、高校3年生の上位20%に相当する成績で、一部の有名私立大学に合格できるレベルにあることが分かった。しかしAIは、言葉の意味を理解して問題を解いているのではない。プロジェクトのために開発された「東ロボくん」というAIは、例えば小論文なら教科書とウィキペディアを検索し、文を取り出して組み合わせ最適化して書くだけだが、たいていの学生が書くものより質が高いという。なぜ文章を読んで理解できないAIが人間に勝てるのか? そう考えた時に新井氏はこう思った。「中高生は読めているのか?」。

子どもたちの実態を知るために

そこで読解力を測るために新井氏らが開発したのが、リーディングスキルテスト(以下、RST)だ。2016年4月から17年7月末までに全国で2万5000人がこのテストを受検した(現在までの受検者数は4万人を超えている)。強制でもない調査にこれほどの協力があることは異例のことだと新井氏は言う。

「とても多忙な学校と先生たちが、このテストをやろうと決断してくれました。日々の授業の中で先生たちが不安に思っていたことが読解力だったからこそ、RSTで子どもたちの読解力の実態を知りたかったのだと思います。この受検者数は、RSTへの支持の声と受け止めています」

問題は6タイプあり、「それ」「これ」など指示詞、省略された主語や目的語が何を指しているか判断する「照応」、主語や目的語がどれか判断する「係り受け」、論理と常識を用い与えられた文から推論する「推論」、定義を読んで具体的にどのようなコトやモノがその例になりうるか見分ける「具体例同定」、2つの文が同義であるか判断する「同義文判定」、文章に対応する図表を見分ける「イメージ同定」だ。中学・高校の教科書や辞書、新聞に掲載された文から問題を作成している。つまり、これが読めなければ、教科書も辞書も新聞も読めないことになる。

「数学の入門書を書き始めた頃から、私はしばしば実際に中学校に行って教えたり、一緒に給食を食べて子どもたちと話をしたりしてきました。彼らがどんな所で分からなくなってしまうのか知るためです。これは今始めたわけではなく、私自身が『3年B組金八先生』が流行っていたころの荒れた公立中学校の生徒で、学級委員として、髪を立て裏に派手な刺繍のある学ランを着ている同級生に勉強を教えていた時から続けていることです。簡易宿泊所の集まる山谷で2年間、毎週炊き出しをする中でも、人がどこでつまずいてしまうのかを見てきました。それがRSTに繋がっています」

読解力測定のために問題を分析する

問題はコンピュータで無作為に受検者に提示される。受検者によって問題が異なるため、単純に正答数や正答率で評価できない。そのため、評価はIRT(項目反応理論)で行われている。TOEFLなどでも使用されている理論だ。このIRTに基づいて、問題タイプごとに受検者が受検者全体の中でどの位置にあるか相対的な値で示した「能力値」を推定する。たとえば、4択の問題が2つ(問題A、問題B)あったとする。両方とも正解は「2」だとする。それらの問題の能力値を横軸にし、解答の選択肢の選択割合を縦軸にグラフを描き、以下のようになったとする。

問題Aでは、能力値が高い受検者ほど、正答を選ぶ割合が高くなっているため、この問題は測りたい能力を測るのに適切だといえる。それに対して、問題Bのように能力値が高いほど正答を選ぶ割合が低くなっていたり、能力値が低い受検者と高い受検者とで正答率が変わらなかったりするものは、よい問題とはいえなくなる。

RSTでは、そういう問題は最終的な分析の前に抽出し、除外している。また、コンピュータを用いたテストでの回答速度と正答率の関係を見て、問題を読まずに適当に回答したと思われる受検者の結果も除外する。ただし、これはRSTにおける問題分析や評価方法のほんの一部に過ぎない。

正答率は、各受検者が解答した問題のみで算出している。時間内に3問しか解答できなければ、3問のみの中の正答率ということだ。テストの前には例題を解いてもらい、正解を示し、これから始まるテストがどんなものか理解できたかどうか確認してからテストがスタートする。

多くの中学生が読めていなかった

▽「係り受け」の問題例Alexは男性にも女性にも使われる名前で、女性の名Alexandraの愛称であるが、男性の名Alexanderの愛称でもある。この文脈において、以下の文中の空欄に当てはまる最も適当なものを選択肢のうちから1つ選びなさい。Alexandraの愛称は(   )である。

①Alex ②Alexander ③男性 ④女性

答えは①。中学生の37・9%、高校生の64・6%が正解した。

▽「同義文判定」の問題例幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。上記の文が表す内容と以下の文が表す内容は同じか。「同じである」「異なる」のうちから答えなさい。

1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。

答えは「異なる」。中学生の57・4%、高校生の72・3%が正解した。2択の問題なら、さいころを転がして正解を選んでも正答率は50%だが、中学生はそれより少しマシなだけだった。

RSTでは「さいころを転がして当てる(ランダム)よりもマシとはいえない受検者の割合」を出している。その結果、推論・具体例同定・同義文判定において中学生の約半数が、また読解の基本といえる照応・係り受けですら中学生の15%が、ランダムよりも正答率が上だとはいえなかった。さらに、RSTで測定できる基礎的読解力は、高校入試の偏差値と強い相関があることが分かった。

「高校の偏差値とRSTの能力値との相関は0.8もあります。これは身長と体重くらいの高い相関です。読める子はいい学校に行けるということ。読解力が学力の伸びの前提になっています。首都圏の進学の選択肢が多いところでは、読める子から都会の学校に行ってしまい、進学実績がどんどん落ちている学校があります。その中には、半数どころか全員がさいころを転がして当てるよりもマシとはいえない状態にあるというデータが出た学校もあった。もしかしたら、全員がわざといい加減にテストを受けたのではないかと思い、実際に生徒に会いに行きましたが、彼らはごく普通で、何か言えば素直に『はい』と言うような子たちでした。そんな生徒に『先生、私どうしたらいいですか?』と問われ、なんとかしないといけないと思いました」

人は変われるから諦めない

新井氏が目指しているのは、「中学1年生全員にRSTを無償で受けられるようにすること」、そして「中学卒業までに教科書をきちんと読めるようにすること」だ。今後は、教育委員会が先生の研修でRSTを有償で受けてくれた場合、中学1年生のテストは無償にするという。

「教科書を読むだけの読解力がないという事実に直面したとき、2つの選択肢があります。ひとつは、『教科書なんか悪文だらけ。読めなくてもいい』と思うこと。もうひとつは、『どうにかしないといけない』と思うことです。可能性が広がるのはどちらでしょうか? 私は『読めなくてもいい』という人を全員、説得することはできません。だから、とにかく中学1年生を診断して、先生たちがリアリティをもって子どもたちの読解力の改善に取り組むための手助けをしたい。RSTの結果を見ても、子どもたちは自分でどうにかすることはできません。そこでまず先生に受けてもらい、子どもたちがどこでつまずいているかを知った上で、ともにどうしたら読解力を伸ばすことができるか考えてくださる学校からRSTを提供したいと考えています」

RSTで測定できる基礎的読解力は、中学生の間は緩やかに上昇するが、高校では伸びていないというデータもある。これについて新井氏は「伸びないというのは、絶対に違う」と言う。数学者がデータを信じないというのはどういうことか。

「私はもともと法学部で、刑法の授業で、有名なえん罪事件の被告となった女性のお話を伺ったことがあります。あまりに理路整然としていたため、なぜこの人を警察は誤って逮捕したんだろうと思いました。しかしのちに、法廷という言語と論理で説明する以外に疑いを晴らすことのできない場で、彼女は変わっていったのではないかと思うようになりました。人は変われます。だから簡単に諦めてはいけない。私がこれまで指導してきた学生や、ともにプロジェクトを動かしてきた仲間たちの中にも、読解力を上げたり論理的になれたり、変わることができた人たちがいます。でも大人が変わるには、時間などかなりのコストがかかってしまう。偏った読み方を長年続けてしまっているからです。だから早めに修正したほうがいいのです」

望むのはRSTがなくなる日

新井氏は2010年の著書『コンピュータが仕事を奪う』で、30年にはホワイトカラーの仕事の半分がAIに取られてしまうと予想した。いまの子どもたちが大人になった時に失業しないためには、意味を理解しないAIより劣るわけにはいかない。

「RSTができる子は『答えは問題に書いてあるし、簡単過ぎて何のテストか分からない』と言います。全然できない子は『いつもと違う問題だから分からなかった』とか『時間が全然足りなかった』と言う。中間層は「ひっかけ問題。考えすぎて間違えた」と言ったりする。全然ひっかけじゃないんですけれどもね。ただ、『ひっかけだ!』と反論したいのは、悔しいということでもあるでしょう。悔しければ、それが変わる最初の一歩になると思います。そこから間違えた原因について考えたり、別の問題にチャレンジしたりしてくれればいい。中学3年生がRSTで8割の正答率になれば、日本は2030年を無事に迎えられます。私が望んでいるのは、そうなってRSTが必要なくなることです。少なくなっている貴重な子どもたちがみんな読めて、自分の夢をかなえられるようになればいい」

RSTが示したエビデンスについてただ嘆いていても、RSTをひっかけ問題だと言っていても、2030年はやってくる。百歩譲って引っかけ問題だとしても、それに引っかかっていては、やはりAIに仕事を取られてしまうだろう。AIが持たない能力を伸ばすのに、何が必要か。真剣に考える必要がある。

写真:今村 拓馬
取材・文:桑原 利佳(POWER NEWS)

バナー写真:国立情報学研究所の新井紀子教授

日本語 教育 人工知能