Philip Arthur

Neural Machine Translation Models using Binarized Prediction and Error Correction

2018 · Journal of Natural Language Processing

本論文では，ニューラル翻訳モデルで問題となる出力層の時間・空間計算量を，二値符号を用いた予測法により大幅に削減する手法を提案する．提案手法では従来のソフトマックスのように各単語のスコアを直接求めるのではなく，各単語に対応付けられたビット列を予測することにより，間接的に出力単語の確率を求める．これにより，最も効率的な場合で従来法の対数程度まで出力層の計算量を削減可能である．このようなモデルはソフトマックスよりも推定が難しく，単体で適用した場合には翻訳精度の低下を招く．このため，本研究では提案手法の性能を補償するために，従来法との混合モデル，および二値符号に対する誤り訂正手法の適用という 2 点の改良も提案する．日英・英日翻訳タスクを用いた評価実験により，提案法が従来法と比較して同等程度の BLEU を達成可能であるとともに，出力層に要するメモリを数十分の 1 に削減し，CPU での実行速度を 5 倍から 10 倍程度に向上可能であることを示す．

Multilingual Neural Machine Translation With Soft Decoupled Encoding

2019 · arXiv (Cornell University)

Multilingual training of neural machine translation (NMT) systems has led to impressive accuracy improvements on low-resource languages. However, there are still significant challenges in efficiently learning word representations in the face of paucity of data. …

XNMT: The eXtensible Neural Machine Translation Toolkit

2018 · arXiv (Cornell University)

This paper describes XNMT, the eXtensible Neural Machine Translation toolkit. XNMT distin- guishes itself from other open-source NMT toolkits by its focus on modular code design, with the purpose of enabling fast iteration in research …

Incorporating Discrete Translation Lexicons into Neural Machine Translation

2016

Neural machine translation (NMT) often makes mistakes in translating low-frequency content words that are essential to understanding the meaning of the sentence. We propose a method to alleviate this problem by augmenting NMT systems with …