雷锋网 AI科技评论按：OpenAI 设计了一种新的 Transformer 模型：稀疏 Transformer（Sparse Transformer），它在序列预测任务中取得了新的表现记录，不论是预测文本、像素还是声音序列。它在注意力机制的基础上做了算法改进，可以在比以前长 30 倍的序列中提取模式。 AI 科研中现存挑战之一就是对复杂数据中的长距离、细微的互相关联性做建模，比如图像、视频、音...查看全文