CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 앞서 2강 마지막 부분에서 다뤘던 empirical risk와 true risk를 생각해 보자. Empirical risk는 우리가 가진 데이터에 기반해 구한 loss의 기댓값이므로 항상 true risk와 같다고 할 수 없다. 즉 empirical risk의 최소화가 true risk의 최소화와 일치하지 않을 수 있다. 그리고 두 종류의 risk에 따라, overfitting과 underfitting의 개념을 추가적으로 다뤘다..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 머신러닝 문제는 크게 Supervised learning Unsupervised learning Reinforcement learning 으로 나뉜다. 1. Supervised learning Label이 있는 데이터를 통해 학습한 후, unseen data에 대한 label을 추측한다. 여기서 f(x)를 표현하는 방법, f와 label의 차이를 측정하는 방법, 최적의 parameter를 찾는 방법 모두 여러 가지가 있다. 2...

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 모델을 소개하며 언어 모델의 예시를 들었는데, A 언어에서 B 언어로 바꾸는 standard translation과 달리, 모든 언어의 쌍에 대해 translation이 가능한 multilingual model의 경우, 먼저 A 언어에서 "thought"로 바꾼 후 그 "thought"에서 B 언어로 바꾸는 식으로 작동한다고 한다. 그래서 이 "thought"가 곧 representation이 되고, deep learning을 ..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Lecture 6에서는 convolutional neural network에 대해 다룬다. 앞에서 배운 linear layer를 사용한 neural network로 이미지를 분류한다고 가정해보자. 이때 이미지의 픽셀들을 모두 고려해야 하기 때문에 엄청난 양의 parameter가 생길 수 있어, 보다 효율적인 방식을 필요로 하게 된다. 한 가지 아이디어는, 이미지에 있는 특성은 local한 경우가 많다는 것을 적용하는 것이다. 예..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 머신러닝은 data와 parameter의 연산으로 이뤄진 program이라고 할 수도 있는데, 이를 computation graph를 그려서 visualize할 수 있다. 예로, 간단한 linear regression에서의 MLE loss가 로 나타날 때, 이에 대한 computation graph는 이와 같이 그릴 수 있다. 하나의 '연산'을 어떻게 정의하는가에 따라 이를 단순화할 수 있는데, 여기서는 vector 간의 dot..