Prototype of evaluation system for Chinese poetry generation

唐詩作品は, 中国古典文化に欠かせない重要な遺産の一つである．唐詩作品は独特な文体，押韻規則と平仄規則の制約条件がある．これらの制約条件は，唐詩作品の韻律 (リズム) の把握が可能であり，作者の気持ちや，詩文が描く風景などを感じる重要な要素である．しかし，初心者は，唐詩作品を読み，模倣し，さらに詩文を創作する際，唐詩作品の制約条件を守ることは困難であり，創作した詩文が，制約条件に合うか否かのチェックも困難である．そのため，本研究では，詩文の自動作成モデルを用いて，生成した詩文の制約条件の判定システムおよび評価システムを構築する．本研究では，事前学習済みの詩詞 GPT-2 モデルを利用し，詩文を自動作成した後，詩文の制約条件の判定と評価を行った．詩語集に任意のキーワードを 8つ選択し，100 首ずつの詩文を生成し，生成した詩文のルール判定および評価を行った．結果としては，使ったキーワードに対しては良い結果が得られた．100 首詩文を生成したうち，600 点以上の詩文の割合は 9.9%，500 点以上 600 点未満の詩文の割合は 16.8%，400 点以上 500 点未満の詩文の割合は 12.4%となった．一方で，“-1”で表した文体に合わない生成した詩文は 26.8%となった．今後，評価実験を行う予定である．