我的科技筆記

てっくぶろぐてきなやつ.でぃーぷらーにんぐとてきすとえでぃたがすき.

2022-02-25から1日間の記事一覧

論文読み Training data-efficient image transformers & distillation through attention

https://abemii.github.io/posts/reading-deit/ から移行。 DeiT 論文を読んだのでそのメモ。 多くの ViT 研究において、 DeiT の学習スキームがフォローされている。 最近読んだ ShiftViT1 において言及されており、ちゃんと読んでおこうと思っていた。 書…