Chat GPTは理学療法士国家試験に合格できるのか？

理学療法士・作業療法士においても活用が増えているのがChat GPTです．

Chat GPTをどこまで信用して良いのかといった話もありますが，先日も医師国家試験をChat GPTは合格できるのかなんて論文が掲載されておりました．

今回はChat GPTは理学療法士国家試験に合格できるのかどうかを考えるうえで参考になる論文をご紹介させていただきます．

今回ご紹介する論文

Original Articule. Cureus

Performance of ChatGPT 4.0 on Japan’s National Physical Therapist Examination: A Comprehensive Analysis of Text and Visual Question Handling

Shogo Sawamur

Published: August 20, 2024

DOI: 10.7759/cureus.67347

今回ご紹介する論文は2024年に掲載された論文です．

研究の目的

Introduction: ChatGPT 4.0, a large-scale language model (LLM) developed by OpenAI, has demonstrated the capability to pass Japan’s national medical examination and other medical assessments. However, the impact of imaging-based questions and different question types on its performance has not been thoroughly examined. This study evaluated ChatGPT 4.0’s performance on Japan’s national examination for physical therapists, particularly its ability to handle complex questions involving images and tables. The study also assessed the model’s potential in the field of rehabilitation and its performance with Japanese language inputs.

OpenAIが開発した大規模言語モデル（LLM）であるChatGPT 4.0は，日本の医師国家試験やその他の医学的評価に合格する能力を実証しております．

しかし画像に基づく問題や異なる出題形式が性能に与える影響については十分に検討されておりません．

この研究では理学療法士国家試験におけるChatGPT4.0のパフォーマンス，特に画像や表を含む複雑な問題への対応能力を評価しております．

またリハビリテーション分野での可能性や日本語入力での性能も評価しております．

研究の方法

Methods: The evaluation utilized 1,000 questions from the 54th to 58th national exams for physical therapists in Japan, comprising 160 general questions and 40 practical questions per exam. All questions were input in Japanese and included additional information such as images or tables. The answers generated by ChatGPT were then compared with the official correct answers.

第54回から第58回までの理学療法士国家試験から1,000問を使用し，一般問題160問と実技問題40問で構成しております．

すべての問題は日本語で入力され，画像や表などの付加情報が含まれております．

ChatGPTによって生成された解答は，公式の正解と比較しております．

分析

Analysis: ChatGPT’s performance was evaluated based on accuracy rates using various criteria: general and practical questions were analyzed with Fisher’s exact test, A-type (single correct answer) and X2-type (two correct answers) questions, text-only questions versus questions with images and tables, and different question lengths using Student’s t-test.

ChatGPTの性能はフィッシャーの正確検定，Aタイプ（1つの正解）とX2タイプ（2つの正解），テキストのみの問題と画像や表を含む問題，スチューデントのt検定による問題の長さの違いなど，様々な基準で正確率を評価しました．

研究の結果

Results: ChatGPT 4.0 met the passing criteria with an overall accuracy of 73.4%. The accuracy rates for general and practical questions were 80.1% and 46.6%, respectively. No significant difference was found between the accuracy rates for A-type (74.3%) and X2-type (67.4%) questions. However, a significant difference was observed between the accuracy rates for text-only questions (80.5%) and questions with images and tables (35.4%).

ChatGPT 4.0は総合的な精度が73.4%で合格基準を満たしました．

一般問題，実地問題の正答率はそれぞれ80.1%，46.6%でありました．

1つの正解(74.3%)と2つの正解(67.4%)の問題の正答率に大きな差は見られませんでした．

しかし文字のみの問題（80.5%）と画像や表を用いた問題（35.4%）の間には有意差が認められました．

研究の考察

Discussion: The results indicate that ChatGPT 4.0 satisfies the passing criteria for the national exam and demonstrates adequate knowledge and application skills. However, its performance on practical questions and those with images and tables is lower, indicating areas for improvement. The effective handling of Japanese inputs suggests its potential use in non-English-speaking regions.

この結果からChatGPT4.0は国家試験の合格基準を満たし，十分な知識と応用力を備えていることが示されました．

しかし実地問題や画像・表を用いた問題での成績は低く，改善すべき点があることが明らかとなりました．

また日本語入力に対応していることから，非英語圏での利用が期待されます．

研究の結論

Conclusion: ChatGPT 4.0 can pass the national examination for physical therapists, particularly with text-based questions. However, improvements are needed for specialized practical questions and those involving images and tables. The model shows promise for supporting clinical rehabilitation and medical education in Japanese-speaking contexts, though further enhancements are required for a comprehensive application.

ChatGPT4.0は特にテキストベースの問題では理学療法士の国家試験に合格できることが明らかとなりました．

しかし専門的な実技問題や画像・表を含む問題については改善が必要であります．

このモデルは日本語圏における臨床リハビリテーションや医学教育の支援に有望であるが，包括的な応用にはさらなる改良が必要であります．