3W字长文带你轻松入门视觉transformer

文長
REF
transformer結構是google在17年的Attention Is All You Need論文中提出，在NLP的多個任務上取得了非常好的效果，可以說目前NLP發展都離不開transformer。
最大特點是拋棄了傳統的CNN和RNN，整個網絡結構完全是由Attention機制組成。

由於其出色性能以及對下游任務的友好性或者說下游任務僅僅微調即可得到不錯效果，在計算機視覺領域不斷有人嘗試將transformer引入，近期也出現了一些效果不錯的嘗試，典型的如目標檢測領域的detr和可變形detr，分類領域的vision transformer等等。

提供基于transformer的pipeline、准确率达SOTA，spaCy 3.0正式版发布

+
REF
spaCy 是具有工業級強度的 Python NLP 工具包，被稱爲最快的工業級 自然語言處理工具。它支持多種 自然語言處理的基本功能，主要功能包括分詞、詞性標註、詞幹化、命名實體識別、名詞短語提取等

transformer