Attention is all you needはまた別の意味で重要になるわけで、注意力はコンテキストが増えるほど散漫になるので集中させるためにコンテキストを絞るべきだということなんだと思っている