DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR We present in this paper a novel query formulation using dynamic anchor boxes for DETR (DEtection TRansformer) and offer a deeper understanding of the role of queries in DETR. This new formulation directly uses box coordinates as queries in Transformer dec arxiv.org GitHub - IDEA-Research/DAB-DETR: [ICLR 2022] DAB-DETR: Dynamic Anchor Bo..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 대표적 생성 모델 중 하나인 Generative Adversarial Networks, GANs에 대해 배운다. Latent model에서는 z를 p(z) (보통 N(0, I)와 같은 simple distribution)에서 sampling, p(x | z)에서 x를 sampling해서 이미지를 생성했다. Encoder로 random number vector를 생성 후 그걸 이미지로 바꾼 것인데, 그냥 모델을 통으..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 latent variable model을 이어서 학습한 뒤 variational autoencoder, invertible model을 배운다. 우선 지난 강에서 배운 latent variable model에 대해 간단히 복습해보자. Latent variable model은 p(x)의 distribution을 더 간단한 2개의 distribution으로 나누어 생각하는 것이다. p(z)와 p(x | z) 모두 쉬운..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Autoencoder, Latent variable model 등의 generative model에 다루는 강이다. 즉 주로 unsupervised learning에 대해 알아보게 된다. 지금까지 배운 model들은 모두 probabilistic model이였다. 가장 간단한 예시로는 random variable x의 분포를 예측하는 p(x) 정도를 생각해볼 수 있고, p(y | x) 처럼 conditional한 분포를 예측하는..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에서는 이전까지 배운 RNN 관련 아이디어가 NLP 분야에서 어떻게 쓰이는지에 대해 간략히 배운다. 물론 그 범위가 굉장히 넓기 때문에, 강의 내애선 unsupervised pre-training에 초점을 맞춰 살펴본다. 딥러닝은 data의 양이 많을 때 잘 작동한다. 또한 모델의 크기는 dataset이 커질수록 증가하게 된다. Text data를 생각해보자. 우리 주변에는 말 그대로 텍스트가 넘쳐난다. 지금 쓰고 있는..

(Self-attention) --> (Nonlinearity) --> CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 지난 강의들에서 배웠던 RNN, attension을 바탕으로 이번 강의에서는 Transformer를 배운다. 11강에서 attention의 여러 장점들을 배우며 정말 좋은 구조임을 배웠다. 그러면, 굳이 recurrent connection을 사용하지 말고 기존의 RNN을 attention만 사용한 모델로 만들 수는 없을까? Decoder에서 나중 hidde..