티스토리

개발하고픈 마요

검색하기

블로그 홈

개발하고픈 마요

j-mayo.tistory.com/m

마요

구독자: 0

방명록 방문하기

주요 글 목록

[CS182] Lecture 19 - GANs CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 대표적 생성 모델 중 하나인 Generative Adversarial Networks, GANs에 대해 배운다. Latent model에서는 z를 p(z) (보통 N(0, I)와 같은 simple distribution)에서 sampling, p(x | z)에서 x를 sampling해서 이미지를 생성했다. Encoder로 random number vector를 생성 후 그걸 이미지로 바꾼 것인데, 그냥 모델을 통으.. 공감수 0 댓글수 0 2022. 8. 29.
[CS182] Lecture 18 - VAEs, invertible models CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 latent variable model을 이어서 학습한 뒤 variational autoencoder, invertible model을 배운다. 우선 지난 강에서 배운 latent variable model에 대해 간단히 복습해보자. Latent variable model은 p(x)의 distribution을 더 간단한 2개의 distribution으로 나누어 생각하는 것이다. p(z)와 p(x | z) 모두 쉬운.. 공감수 0 댓글수 0 2022. 8. 27.
[CS182] Lecture 17 - Generative modeling CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Autoencoder, Latent variable model 등의 generative model에 다루는 강이다. 즉 주로 unsupervised learning에 대해 알아보게 된다. 지금까지 배운 model들은 모두 probabilistic model이였다. 가장 간단한 예시로는 random variable x의 분포를 예측하는 p(x) 정도를 생각해볼 수 있고, p(y | x) 처럼 conditional한 분포를 예측하는.. 공감수 1 댓글수 0 2022. 8. 25.
[CS182] Lecture 13 - Applications : NLP CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에서는 이전까지 배운 RNN 관련 아이디어가 NLP 분야에서 어떻게 쓰이는지에 대해 간략히 배운다. 물론 그 범위가 굉장히 넓기 때문에, 강의 내애선 unsupervised pre-training에 초점을 맞춰 살펴본다. 딥러닝은 data의 양이 많을 때 잘 작동한다. 또한 모델의 크기는 dataset이 커질수록 증가하게 된다. Text data를 생각해보자. 우리 주변에는 말 그대로 텍스트가 넘쳐난다. 지금 쓰고 있는.. 공감수 2 댓글수 0 2022. 8. 19.
[CS182] Lecture 12- Transformers (Self-attention) --> (Nonlinearity) --> CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 지난 강의들에서 배웠던 RNN, attension을 바탕으로 이번 강의에서는 Transformer를 배운다. 11강에서 attention의 여러 장점들을 배우며 정말 좋은 구조임을 배웠다. 그러면, 굳이 recurrent connection을 사용하지 말고 기존의 RNN을 attention만 사용한 모델로 만들 수는 없을까? Decoder에서 나중 hidde.. 공감수 0 댓글수 0 2022. 8. 14.
[CS182] Lecture 11 - Sequence to Sequence Models CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선, 지난 강의에서 배웠던 RNN을 바탕으로 한 Seq-to-Seq model에 관해 배운다. 먼저 Language model에 대해 알아보자. Text를 나타내는 sequence에 probability를 주는 model을 language model이라고 한다. 또한 이를 이용해 text를 생성할 수도 있다. 이 경우, sentence를 표현하는 방법은 크게 2가지가 있다. 첫 번째는 단순히 one-hot vector.. 공감수 0 댓글수 0 2022. 8. 13.
[CS182] Lecture 10 - Recurrent Networks CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 recurrent network를 배운다. 지금까지 봤던 CNN은 input의 크기가 고정되어 있었다. 그런데 만약, 문장(단어의 수가 문장마다 다름)이나 소리, 동영상(길이가 각각 다름)인 경우 크기가 계속해서 달라진다. 간단히 떠올릴 수 있는 아이디어는, 가장 긴 sequence에 맞춰 zero padding을 붙여주는 것이다. 그러나 sequence의 길이가 길어진다면 별로 좋은 생각이 아니게 된다. 이를테면.. 공감수 0 댓글수 0 2022. 8. 11.
[CS182] Lecture 9 - Generating Images frome CNNs CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 CNN을 활용해 이미지를 생성하는 것에 대해 다룬다. 실제 네트워크가 무엇에 집중하는지를 확인하고 잘 작동하는지를 파악하기 위해선 CNN이 실제로 이미지를 어떻게 관찰하는지에 관심을 가질 필요가 있다. 그 전에, 우리의 뇌가 이미지를 어떻게 인식하는지에 대해 먼저 보자면, 뇌가 이미지를 어떻게 인식하는지에 관한 연구가 고양이를 대상으로 이뤄진 적이 있는데 뇌의 neuron이 각기 다른 방향의 edge들에 반응한다는.. 공감수 0 댓글수 0 2022. 8. 10.
[CS182] Lecture 8 - Computer vision CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선, 전반적인 computer vision 분야에 대해 배운다. 지금까지 배운 CNN을 vision 분야에 적용 시에는, 이제까지 강의에서 다룬 classification과는 약간 거리가 있다. 대표적인 vision 분야에서 다루는 문제들은, Object classification (지금까지 봤던 것과 같이 image의 label을 예측) Object localization (한 img에서 객체의 위치와 label을 .. 공감수 0 댓글수 0 2022. 8. 10.
[CS182] Lecture 7 - Getting Neural Nets to Train CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Neural network를 훈련하고 있다고 가정해보자. 그런데 뭔가 잘 안 되는 것 같다. 뭔가 버그가 있나 싶어 확인해봤지만 그렇지도 않은 듯 하다. 대체 무슨 잘못을 했길래 내 모델이 말을 안 들을까? 사실 아무 잘못을 하지 않았어도 충분히 가능한 일이다. Neural network는 복잡한 구조를 가지고 있기에 앞서 4강에서 언급했던 local minima, plateau, saddle point 등에 빠질 위험이 언제나.. 공감수 0 댓글수 0 2022. 8. 9.
[CS182] Lecture 4 - Optimization CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 4강에선 optimization에 대해 배운다. 앞서 2강에서 짧게 짚고 넘어갔던 gradient descent는 , loss landscape 상에서 현재 gradient의 반대로 움직이며 optimal한 지점을 찾아나간다. 그러나, 항상 optimum에 도달한다는 보장은 없다. Steepest direction이 꼭 optimal하지 않을 수 있다는 뜻이다. NLL(Negative Log-Likelihood) loss의 경우.. 공감수 0 댓글수 0 2022. 8. 7.
[CS182] Lecture 3 - ML Basics 2 CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 앞서 2강 마지막 부분에서 다뤘던 empirical risk와 true risk를 생각해 보자. Empirical risk는 우리가 가진 데이터에 기반해 구한 loss의 기댓값이므로 항상 true risk와 같다고 할 수 없다. 즉 empirical risk의 최소화가 true risk의 최소화와 일치하지 않을 수 있다. 그리고 두 종류의 risk에 따라, overfitting과 underfitting의 개념을 추가적으로 다뤘다.. 공감수 0 댓글수 0 2022. 8. 5.
[CS182] Lecture 2 - ML Basics 1. CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 머신러닝 문제는 크게 Supervised learning Unsupervised learning Reinforcement learning 으로 나뉜다. 1. Supervised learning Label이 있는 데이터를 통해 학습한 후, unseen data에 대한 label을 추측한다. 여기서 f(x)를 표현하는 방법, f와 label의 차이를 측정하는 방법, 최적의 parameter를 찾는 방법 모두 여러 가지가 있다. 2... 공감수 0 댓글수 0 2022. 8. 4.
[CS182] Lecture 1 - Introduction CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 모델을 소개하며 언어 모델의 예시를 들었는데, A 언어에서 B 언어로 바꾸는 standard translation과 달리, 모든 언어의 쌍에 대해 translation이 가능한 multilingual model의 경우, 먼저 A 언어에서 "thought"로 바꾼 후 그 "thought"에서 B 언어로 바꾸는 식으로 작동한다고 한다. 그래서 이 "thought"가 곧 representation이 되고, deep learning을 .. 공감수 0 댓글수 0 2022. 8. 4.
[CS182] Lecture 6 - Convolutional Networks CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Lecture 6에서는 convolutional neural network에 대해 다룬다. 앞에서 배운 linear layer를 사용한 neural network로 이미지를 분류한다고 가정해보자. 이때 이미지의 픽셀들을 모두 고려해야 하기 때문에 엄청난 양의 parameter가 생길 수 있어, 보다 효율적인 방식을 필요로 하게 된다. 한 가지 아이디어는, 이미지에 있는 특성은 local한 경우가 많다는 것을 적용하는 것이다. 예.. 공감수 0 댓글수 0 2022. 8. 2.
[CS182] Lecture 5 - Backpropagation CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 머신러닝은 data와 parameter의 연산으로 이뤄진 program이라고 할 수도 있는데, 이를 computation graph를 그려서 visualize할 수 있다. 예로, 간단한 linear regression에서의 MLE loss가 로 나타날 때, 이에 대한 computation graph는 이와 같이 그릴 수 있다. 하나의 '연산'을 어떻게 정의하는가에 따라 이를 단순화할 수 있는데, 여기서는 vector 간의 dot.. 공감수 0 댓글수 0 2022. 8. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.