Bingに日本の医師国家試験問題を解かせると80％の正答率です

先日、”Chat GPTのAPIをText Blazeに植え込んで医師国家試験を受けさせてみた“という記事を書いたのですが、それから3週間後にマイクロソフトがOpen AI社のGPT-４を自社の検索エンジンBingに組み込んだものをリリースしました。選考ユーザーに選ばれたので使用してみたのですがChat GPTと比べるとずいぶんと進歩しています。

前回と同じく医師国家試験を解かせてみました、115回医師国家試験のA～F問題を各10問づつ、合計60問です。今回はAPIやText Blazeは使用できないので１つづつコピペでやってみました。

こんな感じで答えてくれます。今回はずいぶんと賢くなっており60問中48問正解、正解率はちょうど8割でした。これなら実際に医師国家試験を受けても合格するかもしれません。Chat GPTは何もしらない医学部2回生とするとBingは国家試験直前の6回生くらいの知識がありそうです。

どうしてこんなに急に賢くなったのかBingに尋ねてみると、

という返事でした。この速度で進化していくと今年中に人間が受ける試験は全てパスできるくらいになりそうです。私も負けないように頑張っていきますが早々に抜かれそうですね。