AMMAI

AMMAI(Week 11) –ImageNet Classification with Deep Convolutional Neural Networks

Paper Info

“ImageNet Classification with Deep Convolutional Neural Networks,” Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.

Motivation

這篇論文嘗試把DNN的架構用在ImageNet的比賽上,討論了其中的做法跟需要考慮的設計因素。

Technical Summary

整體的架構圖

1

上面的架構圖是這篇論文的精髓,一開始從最左邊輸入一張224×224影像,然後第一層我們用48個kernel(每個都是11x11x3的大小),所以到第一層會有48張55×55的feature map。然後Max pooling的意思是把值比較大的區塊再取出來(有點取response最強的部分的味道)。之後4層都是一樣的意思。

經過5層的conv跟pooling,最後會得到一個feature vector。接下來再用3層的Fully connected NN來訓練1000種的分類,最後得到分類的結果。所以前面的5層主要是萃取特徵、後面的3層是要做分類。

避免overfitting

他們主要使用了Dropout跟Data augmentation的方法來減少overfitting。

Experiment

他們用ILSVRC的performance來比較

0

2

他們的方法用來作query的效果也很好

1

Contribution

這篇論文算是開啟DNN應用於影像分類的經典論文,之前雖然陸續有一些研究,但都沒有辦法做到這麼好的效果,這篇算是真的用DNN做出很好結果的第一篇。

Tools Learned

CNN, Dropout, Pooling

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s