プログラミング演習における生成AIを用いたソースコード要件評価システムの作業効率と精度分析

開発者：田中聖悟
開発環境：Python, Nodejs, HTML, CSS, JavaScript
開発期間：約1年
詳細: 本研究ではJava演習のレポート課題を対象として，目視でのコード評価を容易にする「ソースコード要件評価システム」を開発し，そのシステムを用いた作業時間・評価精度・使いやすさを定量的に分析しました．結果として，ツールを用いることにより人間による評価精度は数%向上しましたが，作業時間での効果は習熟度を考えなければ「効果なし」となりました．SUSスコアは73で，使いやすさとしては「普通～良い」ぐらいの評価でした．事前に教員がAI分析を済ませて，その結果を後日SAに確認・修正してもらうような使い方で運用される予定です．私はシステムで用いるプロンプト設計についても真に驚くべき工夫を施したが，ここに記すには余白が狭すぎる．