論文メモ ACL2019 Bestpaper 「Zero-Shot Entity Linking by Reading Entity Descriptions」

Zero-Shot Entity Linking by Reading Entity Descriptions

Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin and Honglak Lee
ACL2019
https://www.aclweb.org/anthology/P19-1335

どんなもの？

ゼロショットエンティティリンキングのタスクを新しく提案，そのデータセットを構築
トレーニングデータ(in-domain)に出現しないエンティティ(out-domain)に対し，
ドメイン固有の知識を読解，推測することによって解決を試みる
pre-trainingとしてDomain-adaptive pre-training(DAP)を提案

先行研究と比べてどこがすごい？

従来では使用されていない，コンテキスト中のメンションとエンティティの説明(記述)の間のアテンションが重要であることを示す
DAPを行うことでエンティティリンキングのパフォーマンスの改善を示す

技術や手法のキモはどこ？

DAP:ターゲットドメインのデータに対してのみ事前トレーニングをする
DAPを既存の事前トレーニングの後に挿入することで精度の向上

どうやって有効だと検証した？

DAPを行うことで，行わなかったときと比較し，精度の向上が確認された

議論はある？

BM25 scoring with LuceneによってTop-64の候補エンティティのカバー率は77%
→タスクの難しさと，候補生成に改善の余地があることを示している

モデルのエラーと予測結果

次に読むべき論文は？

・Nitish Gupta, Sameer Singh, and Dan Roth. 2017. Entity linking via joint encoding of types, descriptions, and context. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.
・Luheng He, Kenton Lee, Omer Levy, and Luke Zettlemoyer. 2018. Jointly predicting predicates and arguments in neural semantic role labeling. arXiv preprint arXiv:1805.04787