Attention is all you need

Basic Information

• NIPS 2017 (former NeuralPS)
• Ashish Vaswani, Noam Shazeer, Niki Parmar et al. from Google Brain and Google Research

問題描述

RNN

近年來自然語言處理(Natural Language Processing, NLP)與機器翻譯等任務上時常使用 Recurrent Neural Network(RNN), Long Short-Term Memory(LSTM), Gated Recurrent Neural Network 等模型架構，我們也看到使用 Recurrent 模型以及 Encoder-Decoder 架構蔚為流行。