바위타는 두루미

오늘 리뷰해볼 논문은 2012년에 Alex Krizhevsky 님께서 작성한 "ImageNet Classification with Deep ConvolutionalNeural Networks " 입니다. 저자의 이름을 따서 AlexNet으로 더 유명한 CNN 네트워크 구조를 소개하고 있습니다. [Abstract] - ILSVRC 대회는 약 1.2million 고해상도 이미지를 1000개의 class로 분류해 내는 대회인데, 2010년 대회기준 test set에서 top-1, top-5 error rate이 각각 37.5%, 17.0%로 앞선 SOTA보다 확실히 더 나은 성적을 갖는 neural network를 구성함. - 그 neural network는 60 milion 파라미터랑 650,000 뉴런을 ..

자, 그럼 이제는 어떻게 실제 Loss를 줄이는 W를 찾을 수 있는걸까요? 이 질문을 우리는 "최적화 (Optimization) " 라고 합니다. 최적화를 한다는 것은 우리가 다양한 산과 계곡이 있는 엄청 큰 골짜기를 걷고 있는 것입니다.내가 위치하고 있는 곳의 높이가 Loss가 되는것이고 우리의 임무는 이 골짜기의 밑바닥을 찾는 것입니다. 하지만 이문제는 매우 어렵습니다. 그래서 우리는 다양한 iterative한 방법을 사용합니다. 가장 먼저 생각할 수 있는것은 "Random search(임의 탐색)" 입니다. *매우 구린방법입니다. CIFAR-10에서는 클래스가 10개니까 임의확률은 10%가 되고, 무작위 시행을 거치게 되면 약 15%의 정확도를 보이는군요.최신 알고리즘의 성능 SOTA가 95%인것을..

Stanford University에서 2017년에 강의한 영상을 보며 정리한 자료입니다.Link : https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv자료출처 : http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf참조 : https://github.com/insurgent92/CS231N_17_KOR_SUB/blob/master/kor/Lecture%203%20%20%20Loss%20Functions%20and%20Optimization.ko.srt 지난시간에는 임의의 W 행렬을 가지고 Linear Classification을 진행했는데요 임의로 정한 것이기 때문..

Stanford University에서 2017년에 강의한 영상을 보며 정리한 자료입니다. Link : https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv자료출처 : http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture2.pdf참조 : https://github.com/insurgent92/CS231N_17_KOR_SUB/blob/master/kor/Lecture%202%20%20%20Image%20Classification.ko.srt Image Classification 은 어떻게 할 수 있을까요?우선 이미지를 입력받아 어떤 카테고리에 속할지 판단하면 되겠죠우리의 시각체계..