CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 recurrent network를 배운다. 지금까지 봤던 CNN은 input의 크기가 고정되어 있었다. 그런데 만약, 문장(단어의 수가 문장마다 다름)이나 소리, 동영상(길이가 각각 다름)인 경우 크기가 계속해서 달라진다. 간단히 떠올릴 수 있는 아이디어는, 가장 긴 sequence에 맞춰 zero padding을 붙여주는 것이다. 그러나 sequence의 길이가 길어진다면 별로 좋은 생각이 아니게 된다. 이를테면..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선 CNN을 활용해 이미지를 생성하는 것에 대해 다룬다. 실제 네트워크가 무엇에 집중하는지를 확인하고 잘 작동하는지를 파악하기 위해선 CNN이 실제로 이미지를 어떻게 관찰하는지에 관심을 가질 필요가 있다. 그 전에, 우리의 뇌가 이미지를 어떻게 인식하는지에 대해 먼저 보자면, 뇌가 이미지를 어떻게 인식하는지에 관한 연구가 고양이를 대상으로 이뤄진 적이 있는데 뇌의 neuron이 각기 다른 방향의 edge들에 반응한다는..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 이번 강의에선, 전반적인 computer vision 분야에 대해 배운다. 지금까지 배운 CNN을 vision 분야에 적용 시에는, 이제까지 강의에서 다룬 classification과는 약간 거리가 있다. 대표적인 vision 분야에서 다루는 문제들은, Object classification (지금까지 봤던 것과 같이 image의 label을 예측) Object localization (한 img에서 객체의 위치와 label을 ..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io Neural network를 훈련하고 있다고 가정해보자. 그런데 뭔가 잘 안 되는 것 같다. 뭔가 버그가 있나 싶어 확인해봤지만 그렇지도 않은 듯 하다. 대체 무슨 잘못을 했길래 내 모델이 말을 안 들을까? 사실 아무 잘못을 하지 않았어도 충분히 가능한 일이다. Neural network는 복잡한 구조를 가지고 있기에 앞서 4강에서 언급했던 local minima, plateau, saddle point 등에 빠질 위험이 언제나..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 4강에선 optimization에 대해 배운다. 앞서 2강에서 짧게 짚고 넘어갔던 gradient descent는 , loss landscape 상에서 현재 gradient의 반대로 움직이며 optimal한 지점을 찾아나간다. 그러나, 항상 optimum에 도달한다는 보장은 없다. Steepest direction이 꼭 optimal하지 않을 수 있다는 뜻이다. NLL(Negative Log-Likelihood) loss의 경우..

CS 182: Deep Learning Head uGSI Brandon Trabucco btrabucco@berkeley.edu Office Hours: Th 10:00am-12:00pm Discussion(s): Fr 1:00pm-2:00pm cs182sp21.github.io 앞서 2강 마지막 부분에서 다뤘던 empirical risk와 true risk를 생각해 보자. Empirical risk는 우리가 가진 데이터에 기반해 구한 loss의 기댓값이므로 항상 true risk와 같다고 할 수 없다. 즉 empirical risk의 최소화가 true risk의 최소화와 일치하지 않을 수 있다. 그리고 두 종류의 risk에 따라, overfitting과 underfitting의 개념을 추가적으로 다뤘다..