查詢結果分析
來源資料
頁籤選單縮合
| 題 名 | 日本語作文評価における生成AIの効果検証--プロンプト、AIプロバイダー、料金の影響を中心に=探討生成式AI應用在日語作文評價的效果:以提示詞設計、AI供應商和付費方案為中心、Verification of Generative AI Effectiveness in Japanese Composition Evaluation: Focusing on the Impact of Prompts, AI Providers, and Pricing Plans |
|---|---|
| 作 者 | 陳相州; | 書刊名 | 台灣日語教育學報 |
| 卷 期 | 44 2025.06[民114.06] |
| 頁 次 | 頁30-53 |
| 分類號 | 312.83 |
| 關鍵詞 | 生成式AI; 日語作文評價; 提示詞設計; AI供應商; 付費方案; Generative AI; Japanese composition evaluation; Prompt design; AI provider; Payment plan; 生成AI; 日本語作文評価; プロンプト設計; AIプロバイダー; 料金プラン; |
| 語 文 | 日文(Japanese) |
| DOI | 10.29758/TWRYJYSB.202506_(44).0002 |
| 中文摘要 | 本研究探討了生成式AI在日語作文評價中的應用效果,重點考察了提示詞設計、AI供應商和付費方案三個因素對評價結果的影響。研究使用了「YNU書面語料庫」中57名學習者完成的作文任務,並透過兩種不同的提示詞(簡潔指示和詳細指示)對ChatGPT、Gemini和Claude的付費版和免費版進行測試。研究發現:(1)相較於簡潔指示的提示詞,詳細指示的提示詞與人類教師的一致率更高;(2)付費版GPT o1 pro mode的一致率最高(61.40%),其次是付費版Gemini 2.0 experimental advanced、Claude 3.5 sonnet以及免費版Claude 3 haiku(49.12%);(3)各AI供應商在評價傾向上存在差異,如GPT o1 pro mode在評價上位群學習者時表現較好,而Claude 3 haiku則整體評價偏寬鬆;(4)在上位群學習者作文的評價上,AI與人類教師的一致率較高,而隨著學習者作文能力降低,AI與人類教師的一致率也下降。 |
| 英文摘要 | This study evaluates generative AI in Japanese composition, analyzing prompt design, AI providers, and payment plans. Using 57 learner compositions from the "YNU Written Corpus," both paid and free versions of ChatGPT, Gemini, and Claude were tested with concise and detailed prompts. Key findings include: (1) detailed prompts improved agreement with human evaluators; (2) GPT o1 pro mode (paid) had the highest agreement (61.40%), followed by Gemini 2.0 experimental advanced and Claude 3.5 sonnet, with Claude 3 haiku (free) at 49.12%; (3) AI providers had distinct evaluation tendencies. For instance, GPT o1 pro mode performed better in evaluating high-level learners, whereas Claude 3 haiku tended to give more lenient evaluations overall; (4) agreement was higher for advanced learners and declined with lower proficiency. |
本系統中英文摘要資訊取自各篇刊載內容。