複数言語複数タスクを扱う発話意図推定モデリングのための敵対的学習の検討
増村亮 篠原雄介 東中竜一郎 青野裕司
https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=192747&item_no=1
どんなもの？
複数の言語データ，意図推定タスクのデータを用いてモデル化し(結合モデリング)，各言語・タスクでの性能向上を狙う
特定の言語に依存しない結合モデリング， および，特定のタスクに依存しない結合モデリングを同時に実現するための敵対的学習手法を提案
→複数の言語・タスクでの性能向上を目指す
先行研究と比べてどこがすごい？
特定の言語や特定のタスクに共有ネットワークが依存してしまう問題を緩和し，各言語，各タスクにおける発話意図推定の性能向上を効率的に改善することを可能とした
技術や手法のキモはどこ？
複数言語複数タスクの結合ネットワークに，言語種別についての敵対的ネットワークとタスク種別についての敵対的なネットワークを組み合わせること
どうやって有効だと検証した？
評価実験により，複数言語複数タスクを扱う結合モデリングに対して提案手法の敵対的学習を導入することが有効であることが示された
議論はある？
(2)(4)は(1)より性能が劣化
→異なる言語間や異なるタスク間で共有するネットワークが，特定の言語やタスクに依存することに起因
(3)(5)は(2)(4)よりも性能改善
→敵対的学習が結合モデリングに有効
(6)複数言語、複数タスクについて結合モデリングを最尤基準で学習するのみでは不十分
(7)(8)言語種別/タスク種別についての敵対的ネットワークを導入し(6)よりも性能改善
(9)両者の敵対的ネットワークを併用することで最高性能
→複数言語複数タスクを同時に扱う場合には， 両者の敵対的ネットワークの併用が有効
次に読むべき論文は？
・Collobert, R. and Weston, J.: A unified architecture for nat- ural language processing: Deep neural networks with multi- task learning, In Proc. International Conference on Machine Learning (ICML) (2008)
・Liu, P., Qiu, X. and Huang, X.: Adversarial Multi-task Learn- ing for Text Classification, In Proc. Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1–10 (2017).
