CNN
ๆฆๅฟต
ๅท็งฏ็ฅ็ป็ฝ็ป(Convolutional Neural Network,CNN).
ไธ็งๅ้ฆ็ฅ็ป็ฝ็ป
ไธ็ง็นๆฎ็ๆทฑๅฑ็็ฅ็ป็ฝ็ปๆจกๅ
ๆทฑๅบฆๅญฆไน ็ไธ็งๆจกๅ
ๅฏไปฅ็ๆๆฏๅคๅฑ็็ฅ็ป็ฝ็ป
้ๅซๅฑ็ๅท็งฏๅฑๅๆฑ ้ๆ ทๅฑๆฏๅฎ็ฐๅท็งฏ็ฅ็ป็ฝ็ป็นๅพๆๅๅ่ฝ็ๆ ธๅฟๆจกๅ
้็จๆขฏๅบฆไธ้ๆณ๏ผๆๅฐๅๆๅคฑๅฝๆฐๅฏน็ฝ็ปไธญ็ๆ้ๅๆฐ้ๅฑๅๅ่ฐ่๏ผ้่ฟ้ข็น็่ฟญไปฃ่ฎญ็ปๆ้ซ็ฝ็ป็็ฒพๅบฆๅท็งฏ็ฅ็ป็ฝ็ป็ไฝ้ๅฑๆฏ็ฑๅท็งฏๅฑๅๆๅคงๆฑ ้ๆ ทๅฑไบคๆฟ็ปๆ๏ผ้ซๅฑๆฏๅ จ่ฟๆฅๅฑๅฏนๅบไผ ็ปๅคๅฑๆ็ฅๅจ็้ๅซๅฑๅ้ป่พๅๅฝๅ็ฑปๅจ
็ธๅ
ณๆฆๅฟต
ๅท็งฏ
ๅจๅพๅๅค็ไธญๅท็งฏไธป่ฆ็จไฝ๏ผๅพๅๆจก็ณใ้ๅๅ่พน็ผๆฃๆต็ญใ
ๅฏนๅพๅ๏ผไธๅ็ๆฐๆฎ็ชๅฃๆฐๆฎ๏ผๅๆปคๆณข็ฉ้ต๏ผไธ็ปๅบๅฎ็ๆ้๏ผๅ ไธบๆฏไธช็ฅ็ปๅ ็ๅคไธชๆ้ๅบๅฎ๏ผๆไปฅๅๅฏไปฅ็ๅไธไธชๆๅฎ็ๆปคๆณขๅจfilter๏ผๅๅ ็งฏ๏ผ้ไธชๅ ็ด ็ธไนๅๆฑๅ๏ผ็ๆไฝๅฐฑๆฏๆ่ฐ็โๅท็งฏโๆไฝ๏ผไนๆฏๅท็งฏ็ฅ็ป็ฝ็ป็ๅๅญๆฅๆบใๅท็งฏ็้่ฆ็็ฉ็ๆไนๆฏไธไธชๅฝๆฐ๏ผๅฆ๏ผๅไฝๅๅบ๏ผๅจๅฆไธไธชๅฝๆฐ๏ผๅฆ๏ผ่พๅ ฅไฟกๅท๏ผไธ็ๅ ๆๅ ๅ ใๅท็งฏ่ฟ็จๅฏไปฅๆ่ฟฐไธบ๏ผ็จไธไธชๅฏ่ฎญ็ป็ๆปคๆณขๅจfxๅปๅท็งฏไธไธช่พๅ ฅ็ๅพๅ๏ผ็ฌฌไธ้ถๆฎตๆฏ่พๅ ฅ็ๅพๅ๏ผๅ้ข็้ถๆฎตๅฐฑๆฏๅท็งฏ็นๅพmapไบ๏ผ๏ผ็ถๅๅ ไธไธชๅ็ฝฎbx๏ผๅพๅฐๅท็งฏๅฑCxใๅท็งฏ็ฅ็ป็ฝ็ป็่ฎญ็ป็ฎ็ๅฐฑๆฏๆๅฐๅๆๅคฑๅฝๆฐๅผใ
่ช็ถๅพๅๆๅ ถๅบๆ็นๆง๏ผไนๅฐฑๆฏ่ฏด๏ผๅพๅ็ไธ้จๅ็็ป่ฎก็นๆงไธๅ ถไป้จๅๆฏไธๆ ท็ใ่ฟไนๆๅณ็ๆไปฌๅจ่ฟไธ้จๅๅญฆไน ็็นๅพไน่ฝ็จๅจๅฆไธ้จๅไธ๏ผๆไปฅๅฏนไบ่ฟไธชๅพๅไธ็ๆๆไฝ็ฝฎ๏ผๆไปฌ้ฝ่ฝไฝฟ็จๅๆ ท็ๅญฆไน ็นๅพใ
ไปๅพ็็ๅทฆไธ่งๅผๅง๏ผๅฐๅฎๆพๅจ3*3ๆ ธ็ไธญ้ด๏ผๆ็ งๆ ธ็ๅไธชๆนๆ ผ็ๆ้๏ผๅ ๆๅนณๅใๅฐ่ฟไธชๅ ๆๅนณๅๅ็ๆฐๅผๆพๅจไธไธชๆฐ็็ฉบๅพ็ไธญ็็ธๅบไฝ็ฝฎ๏ผๅๅๆฅ็ๅพๅๅคงๅฐ็ธๅ๏ผใ่ฎฉๆ ธ็ไธญๅฟ่ตฐ่ฟๆฏไธไธชๅ็ด ไฝ็ฝฎ๏ผ่ฟๆ ทๆฏไธๆฌก้ฝ่ฝๆฐๅบไธไธชๅๅจๅดๅ ซไธช็นๅ ๆๅนณๅ่ฟ็ๅผ๏ผๅนถๆๅฎๆพ่ฟๆฐ็ๅพ็ใๅฝๅๅพ็ๆๆๅ็ด ไฝ็ฝฎ่ตฐๅฎ๏ผๆฐๅพ็ๆฏไธชไฝ็ฝฎ้ฝๆไบๅผ๏ผไบง็็ๆจก็ณ็ๅพๅใๅๆถ๏ผ่ฟๆ ท็็ฎๆณๆฏ้ซๅบฆๅนถ่ก็๏ผๅ ไธบไฝ ไผๅ็ฐๆฐๅพๅไธญๆฏไธไธช็น็ๅผ้ฝๅชๅ่ๅพๅไธญใไปฅ่ฟไธช็นไธบไธญๅฟ็ไนไธช็นๆๅ ณ็ณป๏ผ้ฝๆฏๆๅผๅงๅฐฑ็ฅ้็๏ผไธ้่ฆ่ฟ็ฎ๏ผๆๆ่ฎก็ฎๅฏไปฅๅๆถ่ฟ่กใๅท็งฏๆ ธไธญ็ไนไธชๆๅผ็ๅๅธๆ็ ง้ซๆฏๅๅธ๏ผๆญฃๆๅๅธใๅธธๆๅๅธ๏ผๆฅ็ฆปๆฃๅ็่ฏ๏ผๅฐฑๅซๅ้ซๆฏๅท็งฏๆ ธใ็จ้ซๆฏๅท็งฏๆ ธๅ็ๅพๅๆจก็ณ๏ผๅฐฑๅซๅ้ซๆฏๆจก็ณใ ่ฟไธชๆ่ฐ็ๆจก็ณ๏ผ่ง่งไธๅฐฑๆฏๆ่งๅฐ็็โไธๅๆโ๏ผไบฎๅบๆฒกๆ้ฃไนไบฎ๏ผๆๅคๆฒกๆ้ฃไนๆ๏ผ่พน็ไธค่พนๅฏนๆฏไนไธไธฅ้โโๅฐฑๆฏๅๆฑๅๅผ็ๆ่งไธๆ ท๏ผ่ฟ้ๆฏไธ็งๅฑ้จๆฑๅๅผ็ๆนๆณใๆๅผ้ซๆฏ๏ผๅท็งฏๆ ธ็ๆ้ๅๅผไธๅใ็จๆณไธๅๅฐฑไผไบง็ๅพๅคไธๅ็็จๅค๏ผๆไปฌๆฐธ่ฟไผๆณๅฐๅพๅไธญไธคไธชๅ็ด ็ธ่ท่ถ่ฟ๏ผๅฎไปฌๆ่็ณป็ๅฏ่ฝๆงๅฐฑ่ถๅคง๏ผ้ฃไนๆไปฌๅฏไปฅ่ฎคไธบไธไธช็นๅๅฎๅจๅด็ๅ ซไธช็นๆๆ่็ณป๏ผ็ปๅฏนๅไธๅฎ๏ผๅจๆ็งๆจกๅไธญ๏ผ่ฎคไธบไธไธช็น็ๅๅผๅช็ฑๅฎๅจๅด็็นๅณๅฎ๏ผ่ทๅ ถไป็นๆฏซๆ ๅ ณ็ณปโโ่ฟไธชๆจกๅไบง็ไบๅพๅคๆ่ถฃใๅผบๅคง็ๅพๅๅค็็ฎๆณ๏ผ่ขซๅซๅ้ฉฌๅฐๅฏๅคซ้ๆบๅบใๆไปฅ่ฏด๏ผๅพๅๅค็ไธญ็ๅท็งฏๆๆณๆฏไธ็งๆไฝณ็่งฃๅณ้ฎ้ข็ๆ่ๆนๅผใ
็บฟๆงๆปคๆณขๅฏไปฅ่ฏดๆฏๅพๅๅค็ๆๅบๆฌ็ๆนๆณ๏ผๅฎๅฏไปฅๅ ่ฎธๆไปฌๅฏนๅพๅ่ฟ่กๅค็๏ผไบง็ๅพๅคไธๅ็ๆๆใๅๆณๅพ็ฎๅใ้ฆๅ ๏ผๆไปฌๆไธไธชไบ็ปด็ๆปคๆณขๅจ็ฉ้ต๏ผๆไธช้ซๅคงไธ็ๅๅญๅซๅท็งฏๆ ธ๏ผๅไธไธช่ฆๅค็็ไบ็ปดๅพๅใ็ถๅ๏ผๅฏนไบๅพๅ็ๆฏไธไธชๅ็ด ็น๏ผ่ฎก็ฎๅฎ็้ปๅๅ็ด ๅๆปคๆณขๅจ็ฉ้ต็ๅฏนๅบๅ ็ด ็ไน็งฏ๏ผ็ถๅๅ ่ตทๆฅ๏ผไฝไธบ่ฏฅๅ็ด ไฝ็ฝฎ็ๅผใ่ฟๆ ทๅฐฑๅฎๆไบๆปคๆณข่ฟ็จใ
ๅฏนๅพๅๅๆปคๆณข็ฉ้ต่ฟ่ก้ไธชๅ ็ด ็ธไนๅๆฑๅ็ๆไฝๅฐฑ็ธๅฝไบๅฐไธไธชไบ็ปด็ๅฝๆฐ็งปๅจๅฐๅฆไธไธชไบ็ปดๅฝๆฐ็ๆๆไฝ็ฝฎ๏ผ่ฟไธชๆไฝๅฐฑๅซๅท็งฏๆ่ ๅ็ธๅ ณใๅท็งฏๅๅ็ธๅ ณ็ๅทฎๅซๆฏ๏ผๅท็งฏ้่ฆๅ ๅฏนๆปคๆณข็ฉ้ต่ฟ่ก180็็ฟป่ฝฌ๏ผไฝๅฆๆ็ฉ้ตๆฏๅฏน็งฐ็๏ผ้ฃไนไธค่ ๅฐฑๆฒกๆไปไนๅทฎๅซไบใ
ๆฑ ๅ
ๅท็งฏๅฑๆฏๅฏนๅพๅ็ไธไธช้ปๅ่ฟ่กๅท็งฏๅพๅฐๅพๅ็้ปๅ็นๅพ๏ผไบ้ๆ ทๅฑ๏ผๆฑ ๅๅฑ๏ผๅฐฑๆฏไฝฟ็จpoolingๆๆฏๅฐๅฐ้ปๅๅ ็็นๅพ็นๆดๅๅพๅฐๆฐ็็นๅพใ ๅจๅฎๆๅท็งฏ็นๅพๆๅไนๅ๏ผๅฏนไบๆฏไธไธช้่ๅๅ ๏ผๅฎ้ฝๆๅๅฐ (r-a+1)ร(c-b+1)ไธช็นๅพ๏ผๆๅฎ็ๅไธไธช็ฉ้ต๏ผๅนถๅจ่ฟไธช็ฉ้ตไธๅๅๅบๅ ไธชไธ้ๅ็ๅบๅ๏ผ็ถๅๅจๆฏไธชๅบๅไธ่ฎก็ฎ่ฏฅๅบๅๅ ็นๅพ็ๅๅผๆๆๅคงๅผ๏ผ็ถๅ็จ่ฟไบๅๅผๆๆๅคงๅผๅไธๅ็ปญ็่ฎญ็ป๏ผ่ฟไธช่ฟ็จๅฐฑๆฏๆฑ ๅใ
ๅจ้่ฟๅท็งฏ่ทๅพไบ็นๅพ (features) ไนๅ๏ผไธไธๆญฅๆไปฌๅธๆๅฉ็จ่ฟไบ็นๅพๅปๅๅ็ฑปใ็่ฎบไธ่ฎฒ๏ผไบบไปฌๅฏไปฅ็จๆๆๆๅๅพๅฐ็็นๅพๅป่ฎญ็ปๅ็ฑปๅจ๏ผไพๅฆ softmax ๅ็ฑปๅจ๏ผไฝ่ฟๆ ทๅ้ขไธด่ฎก็ฎ้็ๆๆใไพๅฆ๏ผๅฏนไบไธไธช 96X96 ๅ็ด ็ๅพๅ๏ผๅ่ฎพๆไปฌๅทฒ็ปๅญฆไน ๅพๅฐไบ400ไธชๅฎไนๅจ8X8่พๅ ฅไธ็็นๅพ๏ผๆฏไธไธช็นๅพๅๅพๅๅท็งฏ้ฝไผๅพๅฐไธไธช (96 โ 8 + 1) (96 โ 8 + 1) = 7921 ็ปด็ๅท็งฏ็นๅพ๏ผ็ฑไบๆ 400 ไธช็นๅพ๏ผๆไปฅๆฏไธชๆ ทไพ (example) ้ฝไผๅพๅฐไธไธช 892 400 = 3,168,400 ็ปด็ๅท็งฏ็นๅพๅ้ใๅญฆไน ไธไธชๆฅๆ่ถ ่ฟ 3 ็พไธ็นๅพ่พๅ ฅ็ๅ็ฑปๅจๅๅไธไพฟ๏ผๅนถไธๅฎนๆๅบ็ฐ่ฟๆๅ (over-fitting)ใ
ไธบไบ่งฃๅณ่ฟไธช้ฎ้ข๏ผ้ฆๅ ๅๅฟไธไธ๏ผๆไปฌไนๆไปฅๅณๅฎไฝฟ็จๅท็งฏๅ็็นๅพๆฏๅ ไธบๅพๅๅ ทๆไธ็งโ้ๆๆงโ็ๅฑๆง๏ผ่ฟไนๅฐฑๆๅณ็ๅจไธไธชๅพๅๅบๅๆ็จ็็นๅพๆๆๅฏ่ฝๅจๅฆไธไธชๅบๅๅๆ ท้็จใๅ ๆญค๏ผไธบไบๆ่ฟฐๅคง็ๅพๅ๏ผไธไธชๅพ่ช็ถ็ๆณๆณๅฐฑๆฏๅฏนไธๅไฝ็ฝฎ็็นๅพ่ฟ่ก่ๅ็ป่ฎก๏ผไพๅฆ๏ผไบบไปฌๅฏไปฅ่ฎก็ฎๅพๅไธไธชๅบๅไธ็ๆไธช็นๅฎ็นๅพ็ๅนณๅๅผ (ๆๆๅคงๅผ)ใ่ฟไบๆฆ่ฆ็ป่ฎก็นๅพไธไป ๅ ทๆไฝๅพๅค็็ปดๅบฆ (็ธๆฏไฝฟ็จๆๆๆๅๅพๅฐ็็นๅพ)๏ผๅๆถ่ฟไผๆนๅ็ปๆ(ไธๅฎนๆ่ฟๆๅ)ใ่ฟ็ง่ๅ็ๆไฝๅฐฑๅซๅๆฑ ๅ (pooling)๏ผๆๆถไน็งฐไธบๅนณๅๆฑ ๅๆ่ ๆๅคงๆฑ ๅ (ๅๅณไบ่ฎก็ฎๆฑ ๅ็ๆนๆณ)ใ
ไธๅพๆพ็คบๆฑ ๅๅฆไฝๅบ็จไบไธไธชๅพๅ็ๅๅไธ้ๅๅบๅใ
ๆฑ ๅ็ไธๅๆง
ๅฆๆไบบไปฌ้ๆฉๅพๅไธญ็่ฟ็ปญ่ๅดไฝไธบๆฑ ๅๅบๅ๏ผๅนถไธๅชๆฏๆฑ ๅ็ธๅ(้ๅค)็้่ๅๅ ไบง็็็นๅพ๏ผ้ฃไน๏ผ่ฟไบๆฑ ๅๅๅ ๅฐฑๅ ทๆๅนณ็งปไธๅๆง (translation invariant)ใ่ฟๅฐฑๆๅณ็ๅณไฝฟๅพๅ็ปๅไบไธไธชๅฐ็ๅนณ็งปไนๅ๏ผไพ็ถไผไบง็็ธๅ็ (ๆฑ ๅ็) ็นๅพใๅจๅพๅคไปปๅกไธญ (ไพๅฆ็ฉไฝๆฃๆตใๅฃฐ้ณ่ฏๅซ)๏ผๆไปฌ้ฝๆดๅธๆๅพๅฐๅ ทๆๅนณ็งปไธๅๆง็็นๅพ๏ผๅ ไธบๅณไฝฟๅพๅ็ป่ฟไบๅนณ็งป๏ผๆ ทไพ(ๅพๅ)็ๆ ่ฎฐไป็ถไฟๆไธๅใไพๅฆ๏ผๅฆๆไฝ ๅค็ไธไธชMNISTๆฐๆฎ้็ๆฐๅญ๏ผๆๅฎๅๅทฆไพงๆๅณไพงๅนณ็งป๏ผ้ฃไนไธ่ฎบๆ็ป็ไฝ็ฝฎๅจๅช้๏ผไฝ ้ฝไผๆๆไฝ ็ๅ็ฑปๅจไป็ถ่ฝๅค็ฒพ็กฎๅฐๅฐๅ ถๅ็ฑปไธบ็ธๅ็ๆฐๅญใ
ๅฝขๅผๅๆ่ฟฐ
ๅฝขๅผไธ๏ผๅจ่ทๅๅฐๆไปฌๅ้ข่ฎจ่ฎบ่ฟ็ๅท็งฏ็นๅพๅ๏ผๆไปฌ่ฆ็กฎๅฎๆฑ ๅๅบๅ็ๅคงๅฐ(ๅๅฎไธบ
๏ผๆฅๆฑ ๅๆไปฌ็ๅท็งฏ็นๅพใ้ฃไน๏ผๆไปฌๆๅท็งฏ็นๅพๅๅๅฐๆฐไธชๅคงๅฐไธบ ็ไธ็ธไบคๅบๅไธ๏ผ็ถๅ็จ่ฟไบๅบๅ็ๅนณๅ(ๆๆๅคง)็นๅพๆฅ่ทๅๆฑ ๅๅ็ๅท็งฏ็นๅพใ่ฟไบๆฑ ๅๅ็็นๅพไพฟๅฏไปฅ็จๆฅๅๅ็ฑปใ
้่ๅฑ
้ค่พๅ ฅๅฑๅ่พๅบๅฑไปฅๅค็ๅ ถไปๅๅฑๅซๅ้่ๅฑ.้่ๅฑไธ็ดๆฅๆฅๅๅค็็ไฟกๅท,ไนไธ็ดๆฅๅๅค็ๅ้ไฟกๅท.
่พๅ
ฅๅฑ
่พๅ ฅๅฑๅๅ็บง็ฝ็ปไธๆ ท,่ฏฅๅฑๅช่ตทๅฐ่พๅ ฅไฟกๅท็ๆๅบไฝ็จ.ๆไปฅๅจ่ฎก็ฎ็ฝ็ป็ๅฑๆฐๆถไธ่ขซ่ฎฐๅ ฅ.่ฏฅๅฑ่ด่ดฃๆฅๆถๆฅ่ช็ฝ็ปๅค้จ็ไฟกๆฏ,่ขซ่ฎฐไฝ็ฌฌ0ๅฑ.
่พๅบๅฑ
็ฝ็ป็ๆๅไธๅฑ,ๅ ทๆ่ฏฅ็ฝ็ป็ๆๅคงๅฑๅท,่ด่ดฃ่พๅบ็ฝ็ป็่ฎก็ฎ็ปๆ.
ๅ็ฝฎ้๏ผbias๏ผ
ๅ ๅ ฅ้ขๅค็ๅ็ฝฎ้๏ผ็จๆฅๆถ้ค่พๅ ฅๅธฆๆ็ไธไบๆ ๅ ณ็ๅนฒๆฐ้ใ
็ปๆ
็ฅ็ปๅ
ๆฟๅฑๅฝๆฐๅๅ
่ฏฏๅทฎๅฝๆฐ
ๆขฏๅบฆไธ้ๆณ
็ฅ็ป็ฝ็ป่ฟๆฅ
ๅๅไผ ๆญ(Back Propagation, BP)็ฎๆณ
็น็น
็ฅ็ปๅ ้ด็่ฟๆฅๆฏ้ๅ จ่ฟๆฅ็
ๅไธๅฑไธญๆไบ็ฅ็ปๅ ไน้ด็่ฟๆฅ็ๆ้ๆฏๅ ฑไบซ็(ๅณ็ธๅ็)
ๅฎ็้ๅ จ่ฟๆฅๅๆๅผๅ ฑไบซ็็ฝ็ป็ปๆไฝฟไนๆด็ฑปไผผไบ็็ฉ็ฅ็ป็ฝ็ป๏ผ้ไฝไบ็ฝ็ปๆจกๅ็ๅคๆๅบฆ๏ผๅฏนไบๅพ้พๅญฆไน ็ๆทฑๅฑ็ปๆๆฅ่ฏด๏ผ่ฟๆฏ้ๅธธ้่ฆ็๏ผ๏ผๅๅฐไบๆๅผ็ๆฐ้
ๅฏๆไบ็ปดๅพๅ็ดๆฅไฝไธบ่พๅ ฅ๏ผๅฏ้ฟๅ ้ๅฏนๆฐๆฎ่ฟ่กๅคๆๅค็๏ผๆนไพฟๆๅๅพๅ็นๅพ
CNN็็นๅพๆๅๅ่ฝๆฏ่ชๅจๅญฆไน ็๏ผ่ฟๆฏไบบๅทฅ่ฎพๅฎ็นๅพๆๅๆฅๅพๅฏ้
ๅฑ้จๆๅ้ใๆ้ๅ ฑไบซๅไธ้ๆ ทไฝฟ่ฎญ็ปๅๆฐๅๅฐ๏ผๅๆถไฝฟๅ ถๅฏไปฅๅนถ่ก่ฎญ็ป๏ผๆ้ซ็ฅ็ป็ฝ็ป่ฎญ็ป้ๅบฆ
ๅฑ้จ่ฟๆฅไธๆๅผๅ
ฑไบซ
ๅฏนไบไธไธช1000 ร 1000็่พๅ ฅๅพๅ่่จ๏ผๅฆๆไธไธไธช้่ๅฑ็็ฅ็ปๅ ๆฐ็ฎไธบ10^6ไธช๏ผ้็จๅ จ่ฟๆฅๅๆ1000 ร 1000 ร 10^6 = 10^12ไธชๆๅผๅๆฐ๏ผๅฆๆญคๆฐ็ฎๅทจๅคง็ๅๆฐๅ ไน้พไปฅ่ฎญ็ป๏ผ่้็จๅฑ้จ่ฟๆฅ๏ผ้่ๅฑ็ๆฏไธช็ฅ็ปๅ ไป ไธๅพๅไธญ10 ร 10็ๅฑ้จๅพๅ็ธ่ฟๆฅ๏ผ้ฃไนๆญคๆถ็ๆๅผๅๆฐๆฐ้ไธบ10 ร 10 ร 10^6 = 10^8๏ผๅฐ็ดๆฅๅๅฐ4ไธชๆฐ้็บงใ
ๅฐฝ็ฎกๅๅฐไบๅ ไธชๆฐ้็บง๏ผไฝๅๆฐๆฐ้ไพ็ถ่พๅคใ่ฝไธ่ฝๅ่ฟไธๆญฅๅๅฐๅข๏ผ่ฝ๏ผๆนๆณๅฐฑๆฏๆๅผๅ ฑไบซใๅ ทไฝๅๆณๆฏ๏ผๅจๅฑ้จ่ฟๆฅไธญ้่ๅฑ็ๆฏไธไธช็ฅ็ปๅ ่ฟๆฅ็ๆฏไธไธช10 ร 10็ๅฑ้จๅพๅ๏ผๅ ๆญคๆ10 ร 10ไธชๆๅผๅๆฐ๏ผๅฐ่ฟ10 ร 10ไธชๆๅผๅๆฐๅ ฑไบซ็ปๅฉไธ็็ฅ็ปๅ ๏ผไนๅฐฑๆฏ่ฏด้่ๅฑไธญ10^6ไธช็ฅ็ปๅ ็ๆๅผๅๆฐ็ธๅ๏ผ้ฃไนๆญคๆถไธ็ฎก้่ๅฑ็ฅ็ปๅ ็ๆฐ็ฎๆฏๅคๅฐ๏ผ้่ฆ่ฎญ็ป็ๅๆฐๅฐฑๆฏ่ฟ 10 ร 10ไธชๆๅผๅๆฐ๏ผไนๅฐฑๆฏๅท็งฏๆ ธ(ไน็งฐๆปคๆณขๅจ)็ๅคงๅฐ๏ผ๏ผๅฆไธๅพใ
่ฟๅคงๆฆๅฐฑๆฏCNN็ไธไธช็ฅๅฅไนๅค๏ผๅฐฝ็ฎกๅชๆ่ฟไนๅฐ็ๅๆฐ๏ผไพๆงๆๅบ่ฒ็ๆง่ฝใไฝๆฏ๏ผ่ฟๆ ทไป ๆๅไบๅพๅ็ไธ็ง็นๅพ๏ผๅฆๆ่ฆๅคๆๅๅบไธไบ็นๅพ๏ผๅฏไปฅๅขๅ ๅคไธชๅท็งฏๆ ธ๏ผไธๅ็ๅท็งฏๆ ธ่ฝๅคๅพๅฐๅพๅ็ไธๅๆ ๅฐไธ็็นๅพ๏ผ็งฐไนไธบFeature Mapใๅฆๆๆ100ไธชๅท็งฏๆ ธ๏ผๆ็ป็ๆๅผๅๆฐไนไป ไธบ100 ร 100 = 10^4ไธช่ๅทฒใๅฆๅค๏ผๅ็ฝฎๅๆฐไนๆฏๅ ฑไบซ็๏ผๅไธ็งๆปคๆณขๅจๅ ฑไบซไธไธชใ
ๅท็งฏ็ฅ็ป็ฝ็ป็ๆ ธๅฟๆๆณๆฏ๏ผๅฑ้จๆๅ้(local field)๏ผๆๅผๅ ฑไบซไปฅๅๆถ้ดๆ็ฉบ้ดไบ้ๆ ท่ฟไธ็งๆๆณ็ปๅ่ตทๆฅ๏ผ่ทๅพไบๆ็ง็จๅบฆ็ไฝ็งปใๅฐบๅบฆใๅฝขๅไธๅๆงใ
็ปๆ
ไธๅพๆฏไธไธช็ปๅ ธ็CNN็ปๆ๏ผ็งฐไธบLeNet-5็ฝ็ป.
ๅฏไปฅ็ๅบ๏ผCNNไธญไธป่ฆๆไธค็ง็ฑปๅ็็ฝ็ปๅฑ๏ผๅๅซๆฏๅท็งฏๅฑๅๆฑ ๅ/้ๆ ทๅฑ(Pooling)ใๅท็งฏๅฑ็ไฝ็จๆฏๆๅๅพๅ็ๅ็ง็นๅพ๏ผๆฑ ๅๅฑ็ไฝ็จๆฏๅฏนๅๅง็นๅพไฟกๅท่ฟ่กๆฝ่ฑก๏ผไป่ๅคงๅน ๅบฆๅๅฐ่ฎญ็ปๅๆฐ๏ผๅฆๅค่ฟๅฏไปฅๅ่ฝปๆจกๅ่ฟๆๅ็็จๅบฆใ
ๅท็งฏๅฑ
ๅท็งฏๅฑๆฏๅท็งฏๆ ธๅจไธไธ็บง่พๅ ฅๅฑไธ้่ฟ้ไธๆปๅจ็ชๅฃ่ฎก็ฎ่ๅพ๏ผๅท็งฏๆ ธไธญ็ๆฏไธไธชๅๆฐ้ฝ็ธๅฝไบไผ ็ป็ฅ็ป็ฝ็ปไธญ็ๆๅผๅๆฐ๏ผไธๅฏนๅบ็ๅฑ้จๅ็ด ็ธ่ฟๆฅ๏ผๅฐๅท็งฏๆ ธ็ๅไธชๅๆฐไธๅฏนๅบ็ๅฑ้จๅ็ด ๅผ็ธไนไนๅ๏ผ๏ผ้ๅธธ่ฟ่ฆๅๅ ไธไธไธชๅ็ฝฎๅๆฐ๏ผ๏ผๅพๅฐๅท็งฏๅฑไธ็็ปๆใๅฆไธๅพๆ็คบใ
ๆฑ ๅ/้ๆ ทๅฑ
้่ฟๅท็งฏๅฑ่ทๅพไบๅพๅ็็นๅพไนๅ, ็่ฎบไธๆไปฌๅฏไปฅ็ดๆฅไฝฟ็จ่ฟไบ็นๅพ่ฎญ็ปๅ็ฑปๅจ๏ผๅฆsoftmax๏ผ๏ผไฝๆฏ่ฟๆ ทๅๅฐ้ขไธดๅทจๅคง็่ฎก็ฎ้็ๆๆ๏ผ่ไธๅฎนๆไบง็่ฟๆๅ็็ฐ่ฑกใไธบไบ่ฟไธๆญฅ้ไฝ็ฝ็ป่ฎญ็ปๅๆฐๅๆจกๅ็่ฟๆๅ็จๅบฆ๏ผๆไปฌๅฏนๅท็งฏๅฑ่ฟ่กๆฑ ๅ/้ๆ ท(Pooling)ๅค็ใๆฑ ๅ/้ๆ ท็ๆนๅผ้ๅธธๆไปฅไธไธค็ง๏ผ
Max-Pooling: ้ๆฉPooling็ชๅฃไธญ็ๆๅคงๅผไฝไธบ้ๆ ทๅผ๏ผ
Mean-Pooling: ๅฐPooling็ชๅฃไธญ็ๆๆๅผ็ธๅ ๅๅนณๅ๏ผไปฅๅนณๅๅผไฝไธบ้ๆ ทๅผ๏ผ
็คบไพ
LeNet-5็ฝ็ป
่ฎญ็ปๅๆฑๅฏผ
CNN้่ฟไธไธชๆนๆณๆฅๅฎ็ฐ่ฏๅซๅพๅ็ไฝ็งปใ็ผฉๆพๅๆญๆฒไธๅๆง๏ผๅณๅฑๅๆๅ้ใๆๅผๅ ฑไบซๅๆฌกๆฝๆ ทใๅฑๅๆๅ้ๆ็ๆฏๆฏไธๅฑ็ฝ็ป็็ฅ็ปๅ ๅชไธไธไธๅฑ็ไธไธชๅฐ้ปๅๅ ็็ฅ็ปๅๅ ่ฟๆฅ๏ผ้่ฟๅฑๅๆๅ้๏ผๆฏไธช็ฅ็ปๅ ๅฏไปฅๆๅๅ็บง็่ง่ง็นๅพ๏ผๅฆๆนๅ็บฟๆฎต๏ผ็ซฏ็นๅ่ง็น็ญ๏ผๆๅผๅ ฑไบซไฝฟๅพCNNๅ ทๆๆดๅฐ็ๅๆฐ๏ผ้่ฆ็ธๅฏนๅฐ็่ฎญ็ปๆฐๆฎ๏ผๆฌกๆฝๆ ทๅฏไปฅๅๅฐ็นๅพ็ๅ่พจ็๏ผๅฎ็ฐๅฏนไฝ็งปใ็ผฉๆพๅๅ ถๅฎๅฝขๅผๆญๆฒ็ไธๅๆงใๅท็งฏๅฑไนๅ้ๅธธ็จไธไธชๆฌกๆฝๆ ทๅฑๆฅๅๅฐ่ฎก็ฎๆถ้ดใๅปบ็ซ็ฉบ้ดๅ็ปๆไธ็ไธๅๆงใ ๆ้ ๅฅฝ็ฝ็ปไนๅ๏ผ้่ฆๅฏน็ฝ็ป่ฟ่กๆฑ่งฃ๏ผๅฆๆๅไผ ็ป็ฅ็ป็ฝ็ปไธๆ ทๅ้ ๅๆฐ๏ผๅๆฏไธไธช่ฟๆฅ้ฝไผๆๆช็ฅๅๆฐใ่CNN้็จ็ๆฏๆๅผๅ ฑไบซ๏ผ่ฟๆ ทไธๆฅ้่ฟไธๅน ็นๅพๅพไธ็็ฅ็ปๅ ๅ ฑไบซๅๆ ท็ๆๅผๅฐฑๅฏไปฅๅคงๅคงๅๅฐ่ช็ฑๅๆฐ๏ผ่ฟๅฏไปฅ็จๆฅๆฃๆต็ธๅ็็นๅพๅจไธๅ่งๅบฆ่กจ็คบ็ๆๆใๅจ็ฝ็ป่ฎพ่ฎกไธญ้ๅธธ้ฝๆฏๆฝๆ ทๅฑไธๅท็งฏๅฑไบคๆฟๅบ็ฐ๏ผๅ จ่ฟๆฅๅฑ็ๅไธๅฑ้ๅธธไธบๅท็งฏๅฑใ ๅจCNNไธญ๏ผๆๅผๆดๆฐๆฏๅบไบๅๅไผ ๆญ็ฎๆณใ CNNๅจๆฌ่ดจไธๆฏไธ็ง่พๅ ฅๅฐ่พๅบ็ๆ ๅฐ๏ผๅฎ่ฝๅคๅญฆไน ๅคง้็่พๅ ฅไธ่พๅบไน้ด็ๆ ๅฐๅ ณ็ณป๏ผ่ไธ้่ฆไปปไฝ่พๅ ฅๅ่พๅบไน้ด็็ฒพ็กฎ็ๆฐๅญฆ่กจ่พพๅผ๏ผๅช่ฆ็จๅทฒ็ฅ็ๆจกๅผๅฏนๅท็งฏ็ฝ็ปๅ ไปฅ่ฎญ็ป๏ผ็ฝ็ปๅฐฑๅ ทๆ่พๅ ฅ่พๅบๅฏนไน้ด็ๆ ๅฐ่ฝๅใๅท็งฏ็ฝ็ปๆง่ก็ๆฏ็็ฃ่ฎญ็ป๏ผๆไปฅๅ ถๆ ทๆฌ้ๆฏ็ฑๅฝขๅฆ๏ผ่พๅ ฅๅ้๏ผ็ๆณ่พๅบๅ้็ๅ้ๅฏนๆๆ็ใๆๆ่ฟไบๅ้ๅฏน๏ผ้ฝๅบ่ฏฅๆฏๆฅๆบไบ็ฝ็ปๅณๅฐๆจกๆ็ณป็ป็ๅฎ้ โ่ฟ่กโ็ปๆ๏ผๅฎไปฌๅฏไปฅๆฏไปๅฎ้ ่ฟ่ก็ณป็ปไธญ้้ๆฅใๅจๅผๅง่ฎญ็ปๅ๏ผๆๆ็ๆ้ฝๅบ่ฏฅ็จไธไบไธๅ็้ๆบๆฐ่ฟ่กๅๅงๅใโๅฐ้ๆบๆฐโ็จๆฅไฟ่ฏ็ฝ็ปไธไผๅ ๆๅผ่ฟๅคง่่ฟๅ ฅ้ฅฑๅ็ถๆ๏ผไป่ๅฏผ่ด่ฎญ็ปๅคฑ่ดฅ๏ผโไธๅโ็จๆฅไฟ่ฏ็ฝ็ปๅฏไปฅๆญฃๅธธๅฐๅญฆไน ใๅฎ้ ไธ๏ผๅฆๆ็จ็ธๅ็ๆฐๅปๅๅงๅๆ็ฉ้ต๏ผๅ็ฝ็ปๆ ๅญฆไน ่ฝๅใ
่ฎญ็ป
็ฎๆณ
่ฎญ็ป็ฎๆณไธป่ฆๅ ๆฌๅๆญฅ๏ผ่ฟๅๆญฅ่ขซๅไธบไธคไธช้ถๆฎต.
็ฌฌไธ้ถๆฎต:
ไปๆ ทๆฌ้ไธญๅไธไธชๆ ทๆฌ๏ผ่พๅ ฅ็ฝ็ป๏ผ
่ฎก็ฎ็ธๅบ็ๅฎ้ ่พๅบ๏ผๅจๆญค้ถๆฎต๏ผไฟกๆฏไป่พๅ ฅๅฑ็ป่ฟ้็บง็ๅๆข๏ผไผ ้ๅฐ่พๅบๅฑใ่ฟไธช่ฟ็จไนๆฏ็ฝ็ปๅจๅฎๆ่ฎญ็ปๅๆญฃๅธธๆง่กๆถๆง่ก็่ฟ็จใ
็ฌฌไบ้ถๆฎต:
่ฎก็ฎๅฎ้ ่พๅบไธ็ธๅบ็็ๆณ่พๅบ็ๅทฎ๏ผ
ๆๆๅฐๅ่ฏฏๅทฎ็ๆนๆณ่ฐๆดๆ็ฉ้ตใ
่ฟไธคไธช้ถๆฎต็ๅทฅไฝไธ่ฌๅบๅๅฐ็ฒพๅบฆ่ฆๆฑ็ๆงๅถใ
่ฟ็จ
็ฝ็ป็่ฎญ็ป่ฟ็จๅฆไธ๏ผ
้ๅฎ่ฎญ็ป็ป๏ผไปๆ ทๆฌ้ไธญๅๅซ้ๆบๅฐๅฏปๆฑNไธชๆ ทๆฌไฝไธบ่ฎญ็ป็ป๏ผ
ๅฐๅๆๅผใ้ๅผ๏ผ็ฝฎๆๅฐ็ๆฅ่ฟไบ0็้ๆบๅผ๏ผๅนถๅๅงๅ็ฒพๅบฆๆงๅถๅๆฐๅๅญฆไน ็๏ผ
ไป่ฎญ็ป็ปไธญๅไธไธช่พๅ ฅๆจกๅผๅ ๅฐ็ฝ็ป๏ผๅนถ็ปๅบๅฎ็็ฎๆ ่พๅบๅ้๏ผ
่ฎก็ฎๅบไธญ้ดๅฑ่พๅบๅ้๏ผ่ฎก็ฎๅบ็ฝ็ป็ๅฎ้ ่พๅบๅ้๏ผ
ๅฐ่พๅบๅ้ไธญ็ๅ ็ด ไธ็ฎๆ ๅ้ไธญ็ๅ ็ด ่ฟ่กๆฏ่พ๏ผ่ฎก็ฎๅบ่พๅบ่ฏฏๅทฎ๏ผๅฏนไบไธญ้ดๅฑ็้ๅๅ ไน้่ฆ่ฎก็ฎๅบ่ฏฏๅทฎ๏ผ
ไพๆฌก่ฎก็ฎๅบๅๆๅผ็่ฐๆด้ๅ้ๅผ็่ฐๆด้๏ผ
่ฐๆดๆๅผๅ่ฐๆด้ๅผ๏ผ
ๅฝ็ปๅMๅ๏ผๅคๆญๆๆ ๆฏๅฆๆปก่ถณ็ฒพๅบฆ่ฆๆฑ๏ผๅฆๆไธๆปก่ถณ๏ผๅ่ฟๅ(3)๏ผ็ปง็ปญ่ฟญไปฃ๏ผๅฆๆๆปก่ถณๅฐฑ่ฟๅ ฅไธไธๆญฅ๏ผ
่ฎญ็ป็ปๆ๏ผๅฐๆๅผๅ้ๅผไฟๅญๅจๆไปถไธญใ่ฟๆถๅฏไปฅ่ฎคไธบๅไธชๆๅผๅทฒ็ป่พพๅฐ็จณๅฎ๏ผๅ็ฑปๅจๅทฒ็ปๅฝขๆใๅไธๆฌก่ฟ่ก่ฎญ็ป๏ผ็ดๆฅไปๆไปถๅฏผๅบๆๅผๅ้ๅผ่ฟ่ก่ฎญ็ป๏ผไธ้่ฆ่ฟ่กๅๅงๅใ
ๅท็งฏ็ฅ็ป็ฝ็ปๆจๅฏผ
ๅ
จ่ฟๆฅ็ๅๅไผ ๆญ็ฎๆณ
ๅ ธๅ็CNNไธญ๏ผๅผๅงๅ ๅฑ้ฝๆฏๅท็งฏๅไธ้ๆ ท็ไบคๆฟ๏ผ็ถๅๅจๆๅไธไบๅฑ๏ผ้ ่ฟ่พๅบๅฑ็๏ผ๏ผ้ฝๆฏๅ จ่ฟๆฅ็ไธ็ปด็ฝ็ปใ่ฟๆถๅๆไปฌๅทฒ็ปๅฐๆๆไธค็ปด2D็็นๅพmaps่ฝฌๅไธบๅ จ่ฟๆฅ็ไธ็ปด็ฝ็ป็่พๅ ฅใ่ฟๆ ท๏ผๅฝไฝ ๅๅคๅฅฝๅฐๆ็ป็2D็นๅพmaps่พๅ ฅๅฐ1D็ฝ็ปไธญๆถ๏ผไธไธช้ๅธธๆนไพฟ็ๆนๆณๅฐฑๆฏๆๆๆ่พๅบ็็นๅพmaps่ฟๆฅๆไธไธช้ฟ็่พๅ ฅๅ้ใ็ถๅๆไปฌๅๅฐBP็ฎๆณ็่ฎจ่ฎบใ๏ผๆด่ฏฆ็ป็ๅบ็กๆจๅฏผๅฏไปฅๅ่UFLDLไธญโๅๅไผ ๅฏผ็ฎๆณโ๏ผใ
Feedforward Pass ๅๅไผ ๆญ
ๅจไธ้ข็ๆจๅฏผไธญ๏ผๆไปฌ้็จๅนณๆน่ฏฏๅทฎไปฃไปทๅฝๆฐใๆไปฌ่ฎจ่ฎบ็ๆฏๅค็ฑป้ฎ้ข๏ผๅ ฑc็ฑป๏ผๅ ฑNไธช่ฎญ็ปๆ ทๆฌใ
่ฟ้
่กจ็คบ็ฌฌnไธชๆ ทๆฌๅฏนๅบ็ๆ ็ญพ็็ฌฌk็ปดใ
่กจ็คบ็ฌฌnไธชๆ ทๆฌๅฏนๅบ็็ฝ็ป่พๅบ็็ฌฌkไธช่พๅบใๅฏนไบๅค็ฑป้ฎ้ข๏ผ่พๅบไธ่ฌ็ป็ปไธบโone-of-cโ็ๅฝขๅผ๏ผไนๅฐฑๆฏๅชๆ่ฏฅ่พๅ
ฅๅฏนๅบ็็ฑป็่พๅบ่็น่พๅบไธบๆญฃ๏ผๅ
ถไป็ฑป็ไฝๆ่
่็นไธบ0ๆ่
่ดๆฐ๏ผ่ฟไธชๅๅณไบไฝ ่พๅบๅฑ็ๆฟๆดปๅฝๆฐใsigmoidๅฐฑๆฏ0๏ผtanhๅฐฑๆฏ-1.
ๅ ไธบๅจๅ จ้จ่ฎญ็ป้ไธ็่ฏฏๅทฎๅชๆฏๆฏไธช่ฎญ็ปๆ ทๆฌ็่ฏฏๅทฎ็ๆปๅ๏ผๆไปฅ่ฟ้ๆไปฌๅ ่่ๅฏนไบไธไธชๆ ทๆฌ็BPใๅฏนไบ็ฌฌnไธชๆ ทๆฌ็่ฏฏๅทฎ๏ผ่กจ็คบไธบ๏ผ
ไผ ็ป็ๅ จ่ฟๆฅ็ฅ็ป็ฝ็ปไธญ๏ผๆไปฌ้่ฆๆ นๆฎBP่งๅ่ฎก็ฎไปฃไปทๅฝๆฐEๅ ณไบ็ฝ็ปๆฏไธไธชๆๅผ็ๅๅฏผๆฐใๆไปฌ็จlๆฅ่กจ็คบๅฝๅๅฑ๏ผ้ฃไนๅฝๅๅฑ็่พๅบๅฏไปฅ่กจ็คบไธบ๏ผ
่พๅบๆฟๆดปๅฝๆฐf(.)ๅฏไปฅๆๅพๅค็ง๏ผไธ่ฌๆฏsigmoidๅฝๆฐๆ่ ๅๆฒ็บฟๆญฃๅๅฝๆฐใsigmoidๅฐ่พๅบๅ็ผฉๅฐ[0, 1]๏ผๆไปฅๆๅ็่พๅบๅนณๅๅผไธ่ฌ่ถไบ0 ใๆไปฅๅฆๆๅฐๆไปฌ็่ฎญ็ปๆฐๆฎๅฝไธๅไธบ้ถๅๅผๅๆนๅทฎไธบ1๏ผๅฏไปฅๅจๆขฏๅบฆไธ้็่ฟ็จไธญๅขๅ ๆถๆๆงใๅฏนไบๅฝไธๅ็ๆฐๆฎ้ๆฅ่ฏด๏ผๅๆฒ็บฟๆญฃๅๅฝๆฐไนๆฏไธ้็้ๆฉใ
Backpropagation Pass ๅๅไผ ๆญ
ๅๅไผ ๆญๅๆฅ็่ฏฏๅทฎๅฏไปฅ็ๅๆฏๆฏไธช็ฅ็ปๅ ็ๅบ็็ตๆๅบฆsensitivities๏ผ็ตๆๅบฆ็ๆๆๅฐฑๆฏๆไปฌ็ๅบbๅๅๅคๅฐ๏ผ่ฏฏๅทฎไผๅๅๅคๅฐ๏ผไนๅฐฑๆฏ่ฏฏๅทฎๅฏนๅบ็ๅๅ็๏ผไนๅฐฑๆฏๅฏผๆฐไบ๏ผ๏ผๅฎไนๅฆไธ๏ผ๏ผ็ฌฌไบไธช็ญๅทๆฏๆ นๆฎๆฑๅฏผ็้พๅผๆณๅๅพๅฐ็๏ผ
ๅ ไธบโu/โb=1๏ผๆไปฅโE/โb=โE/โu=ฮด๏ผไนๅฐฑๆฏ่ฏดbiasๅบ็็ตๆๅบฆโE/โb=ฮดๅ่ฏฏๅทฎEๅฏนไธไธช่็นๅ จ้จ่พๅ ฅu็ๅฏผๆฐโE/โuๆฏ็ธ็ญ็ใ่ฟไธชๅฏผๆฐๅฐฑๆฏ่ฎฉ้ซๅฑ่ฏฏๅทฎๅๅไผ ๆญๅฐๅบๅฑ็็ฅๆฅไน็ฌใๅๅไผ ๆญๅฐฑๆฏ็จไธ้ข่ฟๆกๅ ณ็ณปๅผ๏ผ๏ผไธ้ข่ฟๆกๅผๅญ่กจ่พพ็ๅฐฑๆฏ็ฌฌlๅฑ็็ตๆๅบฆ๏ผๅฐฑๆฏ๏ผ
โ 
ๅ
ฌๅผ(1)
่ฟ้็โโฆโ่กจ็คบๆฏไธชๅ ็ด ็ธไนใ่พๅบๅฑ็็ฅ็ปๅ ็็ตๆๅบฆๆฏไธไธๆ ท็๏ผ
ๆๅ๏ผๅฏนๆฏไธช็ฅ็ปๅ ่ฟ็จdelta๏ผๅณฮด๏ผ่งๅ่ฟ่กๆๅผๆดๆฐใๅ ทไฝๆฅ่ฏดๅฐฑๆฏ๏ผๅฏนไธไธช็ปๅฎ็็ฅ็ปๅ ๏ผๅพๅฐๅฎ็่พๅ ฅ๏ผ็ถๅ็จ่ฟไธช็ฅ็ปๅ ็delta๏ผๅณฮด๏ผๆฅ่ฟ่ก็ผฉๆพใ็จๅ้็ๅฝขๅผ่กจ่ฟฐๅฐฑๆฏ๏ผๅฏนไบ็ฌฌlๅฑ๏ผ่ฏฏๅทฎๅฏนไบ่ฏฅๅฑๆฏไธไธชๆๅผ๏ผ็ปๅไธบ็ฉ้ต๏ผ็ๅฏผๆฐๆฏ่ฏฅๅฑ็่พๅ ฅ๏ผ็ญไบไธไธๅฑ็่พๅบ๏ผไธ่ฏฅๅฑ็็ตๆๅบฆ๏ผ่ฏฅๅฑๆฏไธช็ฅ็ปๅ ็ฮด็ปๅๆไธไธชๅ้็ๅฝขๅผ๏ผ็ๅไนใ็ถๅๅพๅฐ็ๅๅฏผๆฐไนไปฅไธไธช่ดๅญฆไน ็ๅฐฑๆฏ่ฏฅๅฑ็็ฅ็ปๅ ็ๆๅผ็ๆดๆฐไบ๏ผ
่ฐๅ
ๆณจๆไบ้กน
ๆฐๆฎ้็ๅคงๅฐๅๅๅ
ๆฐๆฎ้ฉฑๅจ็ๆจกๅไธ่ฌไพ่ตไบๆฐๆฎ้็ๅคงๅฐ๏ผCNNๅๅ ถๅฎ็ป้ชๆจกๅไธๆ ท๏ผ่ฝ้็จไบไปปๆๅคงๅฐ็ๆฐๆฎ้๏ผไฝ็จไบ่ฎญ็ป็ๆฐๆฎ้ๅบ่ฏฅ่ถณๅคๅคง๏ผ่ฝๅค่ฆ็้ฎ้ขๅไธญๆๆๅทฒ็ฅๅฏ่ฝๅบ็ฐ็้ฎ้ขใ่ฎพ่ฎกCNN็ๆถๅ๏ผๆฐๆฎ้ไธญๅบ่ฏฅๅ ๅซไธไธชๅญ้๏ผ่ฎญ็ป้ใๆต่ฏ้ใ้ช่ฏ้ใ่ฎญ็ป้ๅบ่ฏฅๅ ๅซ้ฎ้ขๅไธญ็ๆๆๆฐๆฎ๏ผๅนถๅจ่ฎญ็ป้ถๆฎต็จๆฅ่ฐๆด็ฝ็ปๆๅผใๆต่ฏ้็จๆฅๅจ่ฎญ็ป่ฟ็จไธญๆต่ฏ็ฝ็ปๅฏนไบ่ฎญ็ป้ไธญๆชๅบ็ฐ็ๆฐๆฎ็ๅ็ฑปๆง่ฝใๆ นๆฎ็ฝ็ปๅจๆต่ฏ้ไธ็ๆง่ฝๆ ๅต๏ผ็ฝ็ป็็ปๆๅฏ่ฝ้่ฆๅๅบ่ฐๆด๏ผๆ่ ๅขๅ ่ฎญ็ปๅพช็ฏ็ๆฌกๆฐใ้ช่ฏ้ไธญ็ๆฐๆฎๅๆ ทๅบ่ฏฅๅ ๅซๅจๆต่ฏ้ๅ่ฎญ็ป้ไธญๆฒกๆๅบ็ฐ่ฟ็ๆฐๆฎ๏ผ็จไบๅจ็กฎๅฎ็ฝ็ป็ปๆๅ่ฝๅคๆดๅ ๅฅฝ็ๆต่ฏๅ่กก้็ฝ็ป็ๆง่ฝใLooney็ญไบบๅปบ่ฎฎ๏ผๆฐๆฎ้ไธญ็65%็จไบ่ฎญ็ป๏ผ25%็จไบๆต่ฏ๏ผๅฉไฝ็10%็จไบ้ช่ฏใ
ๆฐๆฎ้ขๅค็
ไธบไบๅ ้่ฎญ็ป็ฎๆณ็ๆถๆ้ๅบฆ๏ผไธ่ฌ้ฝไผ้็จไธไบๆฐๆฎ้ขๅค็ๆๆฏ๏ผ่ฟๅ ถไธญๅ ๆฌ๏ผๅป้คๅชๅฃฐใ่พๅ ฅๆฐๆฎ้็ปดใๅ ้คๆ ๅ ณๆฐๆฎ็ญใๆฐๆฎ็ๅนณ่กกๅๅจๅ็ฑป้ฎ้ขไธญๅผๅธธ้่ฆ๏ผไธ่ฌ่ฎคไธบ่ฎญ็ป้ไธญ็ๆฐๆฎๅบ่ฏฅ็ธๅฏนไบๆ ็ญพ็ฑปๅซ่ฟไผผไบๅนณๅๅๅธ๏ผไนๅฐฑๆฏๆฏไธไธช็ฑปๅซๆ ็ญพๆๅฏนๅบ็ๆฐๆฎ้ๅจ่ฎญ็ป้ไธญๆฏๅบๆฌ็ธ็ญ็๏ผไปฅ้ฟๅ ็ฝ็ป่ฟไบๅพๅไบ่กจ็ฐๆไบๅ็ฑป็็น็นใไธบไบๅนณ่กกๆฐๆฎ้๏ผๅบ่ฏฅ็งป้คไธไบ่ฟๅบฆๅฏไฝ็ๅ็ฑปไธญ็ๆฐๆฎ๏ผๅนถ็ธๅบ็่กฅๅ ไธไบ็ธๅฏนๆ ทไพ็จๅฐ็ๅ็ฑปไธญ็ๆฐๆฎใ่ฟๆไธไธชๅๆณๅฐฑๆฏๅคๅถไธ้จๅ่ฟไบๆ ทไพ็จๅฐๅ็ฑปไธญ็ๆฐๆฎ๏ผๅนถๅจ่ฟไบ่พๅ ฅๆฐๆฎไธญๅ ๅ ฅ้ๆบๅชๅฃฐใ
ๆฐๆฎ่งๅๅ
ๅฐๆฐๆฎ่งๅๅๅฐไธไธช็ปไธ็ๅบ้ด๏ผๅฆ[0,1]๏ผไธญๅ ทๆๅพ้่ฆ็ไผ็น๏ผ้ฒๆญขๆฐๆฎไธญๅญๅจ่พๅคงๆฐๅผ็ๆฐๆฎ้ ๆๆฐๅผ่พๅฐ็ๆฐๆฎๅฏนไบ่ฎญ็ปๆๆๅๅผฑ็่ณๆ ๆๅใไธไธชๅธธ็จ็ๆนๆณๆฏๅฐ่พๅ ฅๅ่พๅบๆฐๆฎๆๆฏไพ่ฐๆดๅฐไธไธชๅๆฟๆดปๅฝๆฐ๏ผsigmoidๅฝๆฐ็ญ๏ผ็ธๅฏนๅบ็ๅบ้ดใ
็ฝ็ปๆๅผๅๅงๅ
CNN็ๅๅงๅไธป่ฆๆฏๅๅงๅๅท็งฏๅฑๅ่พๅบๅฑ็ๅท็งฏๆ ธ๏ผๆ้๏ผๅๅ็ฝฎใ
็ฝ็ปๆๅผๅๅงๅๅฐฑๆฏๅฐ็ฝ็ปไธญ็ๆๆ่ฟๆฅๆๅผ๏ผๅ ๆฌ้ๅผ๏ผ่ตไบไธไธชๅๅงๅผใๅฆๆๅๅงๆๅผๅ้ๅคๅจ่ฏฏๅทฎๆฒ้ข็ไธไธช็ธๅฏนๅนณ็ผ็ๅบๅ็ๆถๅ๏ผ็ฝ็ป่ฎญ็ป็ๆถๆ้ๅบฆๅฏ่ฝไผๅผๅธธ็ผๆ ขใไธ่ฌๆ ๅตไธ๏ผ็ฝ็ป็่ฟๆฅๆๅผๅ้ๅผ่ขซๅๅงๅๅจไธไธชๅ ทๆ0ๅๅผ็็ธๅฏนๅฐ็ๅบ้ดๅ ๅๅๅๅธ๏ผๆฏๅฆ[-0.30, +0.30]่ฟๆ ท็ๅบ้ดๅ ใ
BP็ฎๆณ็ๅญฆไน ้็
ๅฆๆๅญฆไน ้็n้ๅ็ๆฏ่พๅคงๅไผๅจ่ฎญ็ป่ฟ็จไธญ่พๅคงๅน ๅบฆ็่ฐๆดๆๅผw๏ผไป่ๅ ๅฟซ็ฝ็ป่ฎญ็ป็้ๅบฆ๏ผไฝ่ฟไผ้ ๆ็ฝ็ปๅจ่ฏฏๅทฎๆฒ้ขไธๆ็ดข่ฟ็จไธญ้ข็นๆๅจไธๆๅฏ่ฝไฝฟๅพ่ฎญ็ป่ฟ็จไธ่ฝๆถๆ๏ผ่ไธๅฏ่ฝ่ถ่ฟไธไบๆฅ่ฟไผๅwใๅๆ ท๏ผๆฏ่พๅฐ็ๅญฆไน ้็่ฝๅค็จณๅฎ็ไฝฟๅพ็ฝ็ป้ผ่ฟไบๅ จๅฑๆไผ็น๏ผไฝไนๆๅฏ่ฝ้ทๅ ฅไธไบๅฑ้จๆไผๅบๅใๅฏนไบไธๅ็ๅญฆไน ้็่ฎพๅฎ้ฝๆๅ่ช็ไผ็ผบ็น๏ผ่ไธ่ฟๆไธ็ง่ช้ๅบ็ๅญฆไน ้็ๆนๆณ๏ผๅณn้็่ฎญ็ป็ฎๆณ็่ฟ่ก่ฟ็จ่่ช่ก่ฐๆดใ
ๆถๆๆกไปถ
ๆๅ ไธชๆกไปถๅฏไปฅไฝไธบๅๆญข่ฎญ็ป็ๅคๅฎๆกไปถ๏ผ่ฎญ็ป่ฏฏๅทฎใ่ฏฏๅทฎๆขฏๅบฆๅไบคๅ้ช่ฏใไธ่ฌๆฅ่ฏด๏ผ่ฎญ็ป้็่ฏฏๅทฎไผ้็็ฝ็ป่ฎญ็ป็่ฟ่ก่้ๆญฅ้ไฝใ
่ฎญ็ปๆนๅผ
่ฎญ็ปๆ ทไพๅฏไปฅๆไธค็งๅบๆฌ็ๆนๅผๆไพ็ป็ฝ็ป่ฎญ็ปไฝฟ็จ๏ผไนๅฏไปฅๆฏไธค่ ็็ปๅ๏ผ้ไธชๆ ทไพ่ฎญ็ป(EET)ใๆน้ๆ ทไพ่ฎญ็ป(BT)ใๅจEETไธญ๏ผๅ ๅฐ็ฌฌไธไธชๆ ทไพๆไพ็ป็ฝ็ป๏ผ็ถๅๅผๅงๅบ็จBP็ฎๆณ่ฎญ็ป็ฝ็ป๏ผ็ดๅฐ่ฎญ็ป่ฏฏๅทฎ้ไฝๅฐไธไธชๅฏไปฅๆฅๅ็่ๅด๏ผๆ่ ่ฟ่กไบๆๅฎๆญฅ้ชค็่ฎญ็ปๆฌกๆฐใ็ถๅๅๅฐ็ฌฌไบไธชๆ ทไพๆไพ็ป็ฝ็ป่ฎญ็ปใEET็ไผ็นๆฏ็ธๅฏนไบBTๅช้่ฆๅพๅฐ็ๅญๅจ็ฉบ้ด๏ผๅนถไธๆๆดๅฅฝ็้ๆบๆ็ดข่ฝๅ๏ผ้ฒๆญข่ฎญ็ป่ฟ็จ้ทๅ ฅๅฑ้จๆๅฐๅบๅใEET็็ผบ็นๆฏๅฆๆ็ฝ็ปๆฅๆถๅฐ็็ฌฌไธไธชๆ ทไพๅฐฑๆฏๅฃ่ดจ๏ผๆๅฏ่ฝๆฏๅช้ณๆฐๆฎๆ่ ็นๅพไธๆๆพ๏ผ็ๆฐๆฎ๏ผๅฏ่ฝไฝฟๅพ็ฝ็ป่ฎญ็ป่ฟ็จๆ็ๅ จๅฑ่ฏฏๅทฎๆๅฐๅ็ๅๆนๅ่ฟ่กๆ็ดขใ็ธๅฏน็๏ผBTๆนๆณๆฏๅจๆๆ่ฎญ็ปๆ ทไพ้ฝ็ป่ฟ็ฝ็ปไผ ๆญๅๆๆดๆฐไธๆฌกๆๅผ๏ผๅ ๆญคๆฏไธๆฌกๅญฆไน ๅจๆๅฐฑๅ ๅซไบๆๆ็่ฎญ็ปๆ ทไพๆฐๆฎใBTๆนๆณ็็ผบ็นไนๅพๆๆพ๏ผ้่ฆๅคง้็ๅญๅจ็ฉบ้ด๏ผ่ไธ็ธๆฏEETๆดๅฎนๆ้ทๅ ฅๅฑ้จๆๅฐๅบๅใ่้ๆบ่ฎญ็ป๏ผST๏ผๅๆฏ็ธๅฏนไบEETๅBTไธ็งๆ่กท็ๆนๆณ๏ผSTๅEETไธๆ ทไนๆฏไธๆฌกๅชๆฅๅไธไธช่ฎญ็ปๆ ทไพ๏ผไฝๅช่ฟ่กไธๆฌกBP็ฎๆณๅนถๆดๆฐๆๅผ๏ผ็ถๅๆฅๅไธไธไธชๆ ทไพ้ๅคๅๆ ท็ๆญฅ้ชค่ฎก็ฎๅนถๆดๆฐๆๅผ๏ผๅนถไธๅจๆฅๅ่ฎญ็ป้ๆๅไธไธชๆ ทไพๅ๏ผ้ๆฐๅๅฐ็ฌฌไธไธชๆ ทไพ่ฟ่ก่ฎก็ฎใSTๅEET็ธๆฏ๏ผไฟ็ไบ้ๆบๆ็ดข็่ฝๅ๏ผๅๆถๅ้ฟๅ ไบ่ฎญ็ปๆ ทไพไธญๆๅผๅงๅ ไธชๆ ทไพๅฆๆๅบ็ฐๅฃ่ดจๆฐๆฎๅฏน่ฎญ็ป่ฟ็จ็่ฟๅบฆไธ่ฏๅฝฑๅใ
่ฏฏๅทฎๅๆ
ๅท็งฏ็ฅ็ป็ฝ็ปไธญ็ๆๅผๆดๆฐไนๆฏไฝฟ็จ่ฏฏๅทฎ็ๅๅไผ ๆญ็ฎๆณใๆๅคฑๅฝๆฐไธ่ฌไฝฟ็จๆๅฐๅนณๆน่ฏฏๅทฎๅฝๆฐใ็ฑไบๅท็งฏ็ฝ็ปไธญๅญๅจไธค้จๅๅบๅ๏ผๅท็งฏๅบๅๅ จ่ฟๆฅๅบ๏ผๅฎไปฌๅจ่ฎก็ฎๆๅคฑๆถๆๆไธๅๆไปฌๅฐๅ ถๅๅผ่ฟ่ก่ฎจ่ฎบใ
ๅ
จ่ฟๆฅ็ๆๅผๆดๆฐ
่ฟไธ้จๅไธ็ปๅ ธ็ไบบๅทฅ็ฅ็ป็ฝ็ปไธๅไนๅคๅจไบๅคไบไธไธชๅ็ฝฎๅผใๆไปฌไธป่ฆๅฏนๅคๅบ็่ฟไธชๅ็ฝฎๅผ็ๆดๆฐ่ฟ่กๅๆๅณๅฏ๏ผๅ ถไป็ๆๅผๅๅๅไบบๅทฅ็ฅ็ป็ฝ็ป็ๆนๆณ็ฑปไผผใ
ๅฏนไบๅ จ่ฟๆฅๅบ็็ฌฌlๅฑ็่พๅบๅฝๆฐไธบ๏ผ
็ฌฌnไธช่ฎญ็ปๆ ทไพ็่ฏฏๅทฎๆๅคฑไธบ๏ผ
็ฑไบๅจ่ฎก็ฎ่พๅบๆถๆไธค็ฑปๅๆฐ๏ผๆๅ้wๅๅบๅผbใ็ฐๅจๅๅซๅฏนๅ ถ่ฎก็ฎใๆไปฌๅฏนๅ ถไฝฟ็จๆขฏๅบฆไธ้็ฎๆณใ่ฎพ็ฝ็ปๅ ฑๆLๅฑใ
โ 1๏ผๅฏนๅบๅผb๏ผ๏ผๅ ถๅฎๅจๆฏๅฑ๏ผbๆฏไธไธชๅ้๏ผ
โ A๏ผๅฏนไบ็ฌฌLๅฑๆๅคฑๅฝๆฐๅฏนๅบ็ๅๅฏผๆฐไธบ๏ผ
็ฑไบๆฏๅฑ้ฝๆๅคไธช็นๅพๅพ๏ผๆฏไธช็นๅพๅพ้ฝๅฏนๅบไธไธชๅบๅผ๏ผๅ ไธบไธ้ข็ๅ ถๅฎๆฑๅๅฏผๆฐๅฎ้ ไธๆฏๅฏนๅบๅ้็ๅๅฏผๆฐใ
ไธบไบๆนไพฟ่กจ่ฟฐ๏ผๆไปฌๅฐ่ฏฏๅทฎๅฏนๅบ็ๅฏผๆฐๅฎไนไธบ็ตๆๅบฆ๏ผๅ ถ่กจ่พพๅผไธบ๏ผ
2๏ผๅฏนๆๅ้w๏ผ๏ผๅจๆฏๅฑ๏ผwๆฏไธไธช็ฉ้ต๏ผ
A๏ผๅฏนไบ็ฌฌLๅฑ็ๆๅผ๏ผๆไปฌๆ๏ผ
โ B๏ผๅฏนไบ็ฌฌlๅฑ็ๆๅผ๏ผๆฑๅๅฏผๆฐ๏ผ
โ ๆไปฅๆๅผ็ๆนๅ้ไธบ๏ผ
ๅท็งฏๅบ็ๆๅผๆดๆฐ
็ฑไบๅท็งฏๅฑๅๆฝๆ ทๅฑ็่ฎก็ฎๆนๅผๆๆไธๅ๏ผๆไปฌๅๅซๅฏนๅ ถ่ฟ่กๅๆ๏ผ
ๅท็งฏๅฑ่ฏฏๅทฎ้กนๅๆ
็ฑไบๅฝๅๅฑ็ๆๅผ้่ฟ่พๅบไฝ็จไบไธไธๅฑ็็ฅ็ปๅ ่ไบง็ๅฝฑๅ๏ผๆไปฅๅจ่ฎก็ฎ่ฏฏๅทฎๅฝๆฐๅฏนๆๅผๆฑๅฏผๆถ้่ฆไฝฟ็จ้พๆฅๆณใ้ฆๅ ๅท็งฏๅฑ็่พๅบไธบ๏ผ
็ฑไบๅท็งฏๅฑ็ไธไธๅฑไธบๆฝๆ ทๅฑ๏ผ้ฃไน้ฆๅ
้่ฆ็ฅ้ๅจไธไธๅฑๅชไบ็ฅ็ปๅ
ไธ่ฏฅๅท็งฏๅฑ็่็นi็่็ณป๏ผ็ถๅๆ นๆฎๅๆฅ็้ๆ ทๆนๅผ่ฟ่ก่ฏฏๅทฎๅๆใ็ฑไบ้ๆ ทๅฑๅจไปๅท็งฏๅฑ้ๆ ทๆถ๏ผๅไธไธช็ป็นไธไผ่ขซ้ๅค้ๆ ท๏ผๅ ่๏ผๅท็งฏๅฑ็ไธไธชๅฑ้จๆๅ้ๅฏนๅบ้ๆ ทๅฑไธญ็็ฅ็ปๅ
็ไธไธช่พๅ
ฅใ ๅ่ฎพๆไปฌ็ฐๅจๅๆ็ๅท็งฏๅฑๆฏ็ฌฌlๅฑ๏ผๅๅ
ถไธไธๅฑไธบl+1ๅฑ๏ผไธบๆฑ ๅๅฑ๏ผใๆไปฌๅ่ฎพ็ฌฌl+1ๅฑ็่ฏฏๅทฎ้กนไธบ๏ผ
,ๅ็ฌฌlๅฑ็่็นj็่ฏฏๅทฎ้กนไธบ๏ผ
ไธๅผๅนถๆช่่ๅฐ็ฌฌlๅฑๅฐไธไธๅฑ็ๆๅผ๏ผ
ๆณจ๏ผไธบไบ็ฎไพฟ๏ผๆฌไบบๅฏนๆๆ็็ฉ้ต๏ผๅ้่ฟ็ฎ่ฟ่กไบ็ฎๅ๏ผๅชๆๅฎ็ๆไธไธชๅไธๅ้ๆฅๅค็ใ ๅ ถไธญ๏ผUps (x)๏ผๅฏนx่ฟ่กไธ้ๆ ท๏ผๆญคๅค่กจ็คบไธไธๅฑ็่ฏฏๅทฎ้กนไธญx็่ดก็ฎๅผใ ๅ ถๅ ทไฝๆไฝ่ฆๆ นๆฎๅ้ข็pooling็ๆนๆณ๏ผๅ ไธบไธไธๅฑ็poolingๅฑ็ๆฏไธช่็น็ฑlๅฑ็ๅคไธช่็นๅ ฑๅ่ฎก็ฎๅพๅบ๏ผpoolingๅฑๆฏไธช่็น็่ฏฏๅทฎๆๆๅผไนๆฏ็ฑๅท็งฏๅฑไธญๅคไธช่็น็่ฏฏๅทฎๆๆๅผๅ ฑๅไบง็็ใ A๏ผ่ฅๅ้ขไฝฟ็จmean-poolingๆนๆณ๏ผๅๅฐไธไธๅฑ็่ฏฏๅทฎ้กน้คไปฅไธไธๅฑๆ็จ็ๆปคๆณขๅจ็ๅคงๅฐใๅๅฆไธไธๅฑ็ๆปคๆณขๅจ็ๅคงๅฐไธบk*k๏ผๅ๏ผ
B๏ผ่ฅๅ้ขไฝฟ็จmax-poolingๆนๆณ๏ผๅๅฐ้่ฆ่ฎฐๅฝๅๅไผ ๆญ่ฟ็จไธญpoolingๅบๅไธญๆๅคงๅผ็ไฝ็ฝฎ๏ผ็ถๅๅคๆญๅฝๅ็็ป็นๆฏๅฆๅจๆๅคงไฝ็ฝฎไธ๏ผ่ฅๅจๆๅคงไฝ็ฝฎไธๅ็ดๆฅๅฐๅฝๅ็ไธไธๅฑ็่ฏฏๅทฎๅผ่ตๅผ่ฟๆฅๅณๅฏ๏ผๅฆๅๅ ถๅผ่ต0ใ
ๆไบไธ้ขไบ่ฏฏๅทฎๆๅคฑ้กน๏ผ็ฐๅจๆไปฌๅผๅง่ฎก็ฎๆๅคฑๅฝๆฐๅฏนๅบ็ๅๅฏผๆฐๅๅฏนๆๅ้็ๅๅฏผๆฐ๏ผ
A๏ผๅบ็ๅๅฏผๆฐ
ๆๅคฑๅฝๆฐๅฏนๅบ็ๅๅฏผๆฐไธบ๏ผ
B๏ผๆๅผ็ๅๅ้
ๆๅคฑๅฝๆฐๅฏนๆๅผ็ๅๅฏผๆฐไธบ๏ผ
ๆฑ ๅๅฑ๏ผๆฝๆ ทๅฑ๏ผ่ฏฏๅทฎ้กนๅๆ
ๅฏนไบ้ๆ ทๅฑ๏ผๅ ถ่พๅบๅผ่ฎก็ฎๅ ฌๅผไธบ๏ผ
ๅ ถไธญdown(xj)ไธบ็ฅ็ปๅ j็ไธ้ๆ ทใ
ๅจ่ฟ้ๆไปฌๅไธ้ขๅท็งฏๅฑไธๆ ท๏ผ้่ฆๅ ่ฎก็ฎๅบ่ฏฏๅทฎ้กน๏ผ็ถๅ้่ฟ่ฏฏๅทฎ้กนๅฐฑๅฏไปฅ่ฎก็ฎๅพๅฐๅ ถไปๆๅผๅๅ็ฝฎใ
็ฑไบ้ๆ ทๅฑ็ไธไธๅฑไธบๅท็งฏๅฑ๏ผ้ๆ ทๅฑ็ๆฏไธช่็นๅฏ่ฝ่ขซๅท็งฏๅคๆฌกใๅๅฆๅฝๅ็้ๆ ทๅฑไธบ็ฌฌlๅฑ๏ผๆไปฌ้่ฆ่ฎก็ฎ็ฌฌjไธช็ป็น็็ฅ็ปๅ ็่ฏฏๅทฎ๏ผๅๆไปฌ้ฆๅ ้่ฆๆพๅฐ็ฌฌl+1ๅฑไธญๅชไบ็ฅ็ปๅ ็จๅฐ่ฟ็ป็นj๏ผ่ฟ้่ฆๆไปฌๅจๅฐlๅฑๅท็งฏๅฐl+1ๅฑ็ๆถๅไฟๅญ็ฅ็ปๅ ็ๆ ๅฐ่ฟ็จ๏ผๅ ไธบๅจ่ฎก็ฎๅๅไผ ๆญ่ฏฏๅทฎๆถ้่ฆ็จๅฐใๅ ๅ่ฎพ็ฌฌl+1ๅฑไธญ็จๅฐ็ป็นj็็ฅ็ปๅ ็้ๅไธชๆฐไธบM๏ผ
ๅ็ฌฌlๅฑ็่ฏฏๅทฎ้กนไธบ๏ผ
็ฐๅจๆไปฌๅฏไปฅๅพ่ฝปๆพ็ๅฏน่ฎญ็ปๅ็ฝฎๅไฝ็งปๅ็ฝฎ็ๅฏผๆฐ๏ผ
ๆป็ป
ไธ้ข็ๅ ณไบๅท็งฏๅบ็ๆๅผ็ๆดๆฐ้่ฆ็จๅฐ็ฉ้ต๏ผๅ้็ๅ ็งฏ็ญๆไฝ๏ผๅจๆไธญๅคง้จๅๅฐๆนๆ ๆๅฐๆญค่ฟ่กไบๅผฑๅ๏ผไปฅไพฟไบ่กจ่พพๅผ็็ฒพ็ฎใ
ๅ ถๅฎๅจไธ้ข่ฏฏๅทฎ็ๅๆ่ฟ็จไธญ๏ผๆๆ ธๅฟ็ๆญฅ้ชคๅฐฑๆฏๆฑ่งฃ่ฏฏๅทฎ้กน๏ผๅ็งฐ็ตๆๅบฆ๏ผ๏ผๅ ถไป็่ฎก็ฎ้ฝๆฏไปฅๆญคไธบๅบ็กใ่ฏฏๅทฎ้กน็ๆฑ่งฃ้ฆๅ ่ฆๅๆ้่ฆ่ฎก็ฎ็็ป็นjไธไธไธๅฑ็ๅชไธชๆๅชไบ่็น่็นๆๅ ณ่๏ผๅ ไธบ็ป็นjๆฏ้่ฟไธไธๅฑไธ่ฏฅ่็น็ธ่ฟ็็ฅ็ปๅ ๆฅๅฝฑๅๆ็ป็่พๅบ็ปๆ๏ผ่ฟไนๅฐฑ้่ฆไฟๅญๆฏไธๅฑ่็นไธไธไธๅฑ่็นไน้ด็่็ณป๏ผไปฅไพฟๅจๅๅ่ฎก็ฎ่ฏฏๅทฎๆถๆนไพฟไฝฟ็จใ
ๆปไน๏ผๅท็งฏ็ฅ็ป็ฝ็ป็่ฏฏๅทฎๅๆๅ ถๆ ธๅฟๆๆณไธไบบๅทฅ็ฅ็ป็ฝ็ป็ฑปไผผ๏ผ้ฝๆฏ้่ฟๅๅ้ๅฑๅฝฑๅ็ๆนๆณๆฅๅๆ่ฏฏๅทฎใ
่ถ
ๅ
ๅท็งฏ็ฅ็ป็ฝ็ป็่ฎญ็ป็ธๆฏไธๆ ๅ็MLPๆฏ็ธๅฝๅฐ้พ็๏ผๅ ไธบๅฎๆทปๅ ไบๆดๅค็่ถ ๅๆฐใๅฝๆไปฌๅจๅบ็จๅญฆไน ็ๅๆญฃๅๅ็่งๅไธ๏ผไธ้ข็ๆนๆณไน้่ฆๅจไผๅCNNs่ขซ่่๏ผ
ๆปคๆณขๅจๆฐ้
ๅฝ้ๆฉๆฏๅฑๆปคๆณขๅจๆฐ้็ๆถๅ๏ผ้่ฆ่ฎฐไฝ่ฎก็ฎๅๅท็งฏๅฑ็ๆดปๆงๆฏไผ ็ป็MLPไผๆดๅ ๆ่ดตใ
ๅ่ฎพ็ฌฌl-1ๅฑๅ ๅซK(l-1)ไธช็นๅพๆ ๅฐๅM*Nไธชๅ็ด ็น๏ผไพๅฆ๏ผไฝ็ฝฎๆฐไนไปฅ็นๅพๆ ๅฐๆฐ๏ผ๏ผ็ถๅ็ฌฌlๅฑๆK(l)ไธชๆปคๆณขๅจ๏ผๅฐบๅฏธไธบmnใ้ฃไน่ฎก็ฎไธไธช็นๅพๆ ๅฐ๏ผๅจ(M-m)(N-n)ไธชๅ็ด ไฝ็ฝฎๅบ็จๆฏไธชmnๅคงๅฐ็ๆปคๆณขๅจ๏ผๅฐๆถ่(M-m)(N-n)mn*K_(l-1)็่ฎก็ฎ้ใ็ถๅๆปๅ ฑ่ฆ่ฎก็ฎK_lๆฌกใๅฆๆไธๆฏๆๆ็็นๅพๅชไธๅไธๅฑ็ๆๆ็นๅพ็ธ่ฟ๏ผ้ฃไนไบๆ ๅฐฑๅๅพๆดๅ ๅคๆๅฆใ
ๅฏนๆ ๅMLP่่จ๏ผ็ฌฌlๅฑๅฆๆๆKlไธช็ฅ็ปๅ ๏ผ้ฃ่ฎก็ฎ้ๅชๆK(k-1)*K_lใๅ ๆญค๏ผCNNsไธญๆปคๆณขๅจ็ๆฐ้้ๅธธๆฏMLPsไธญ้ๅๅ ็ๆฐ้ๅฐๅพๅค๏ผ้ๅธธๆฏๅบไบ็นๅพๆ ๅฐ็ๅฐบๅฏธ๏ผ่พๅ ฅๅพๅ็ๅฐบๅฏธๅๆปคๆณขๅจ็ๅฝข็ถ๏ผใ
ๅ ไธบ็นๅพๆ ๅฐ็ๅฐบๅฏธไผ้็ๆทฑๅบฆ็ๅขๅ ่ๅๅฐ๏ผ้ ่ฟ่พๅ ฅๅฑ็ๅฑๅฐ่ถๅไบๆๆดๅฐ็ๆปคๆณขๅจ๏ผ่ๆด้ซ็ๅฑๆๆดๅค็ๆปคๆณขๅจใไบๅฎไธ๏ผไธบไบๅนณ่กกๆฏไธๅฑ็่ฎก็ฎ้๏ผ็นๅพๆฐๅๅพๅไฝ็ฝฎๆฐ็ไน็งฏๅจๅฑ็ไผ ้่ฟ็จไธญ้ฝๆฏๅบๆฌไธ่ด็ใไธบไบไฟๆค่พๅ ฅไฟกๆฏ๏ผๆไปฌ้่ฆไฟ่ฏๆป็ๆฟๆดปๆฐ้๏ผ็นๅพๆ ๅฐๆฐ*ๅ็ด ไฝ็ฝฎๆฐ๏ผๅจๅฑ้ดไผ ้็ๆถๅๆฏ่ณไบๅๅฐ๏ผๅฝ็ถๆไปฌๅจๅ็็ฃๅญฆไน ็ๆถๅๅฝ็ถๆฏๅธๆๅฎๅๅฐ็๏ผใ็นๅพๆ ๅฐ็ๆฐ้็ดๆฅๆงๅถๆดไธชๅฎน้๏ผๅๆถๅฎไพ่ตไบๅฏ็จๆ ทไพ็ๆฐ็ฎๅไปปๅก็ๅคๆๅบฆใ
ๆปคๆณขๅจ็ๅฐบๅฏธ
้ๅธธๅจๆฏไธชๆ็ฎไธญๆปคๆณขๅจ็ๅฐบๅฏธ้ฝๆๅพๅคง็ไธๅ๏ผๅฎๅธธๅธธๆฏๅบไบๆฐๆฎๅบ็ใMNISTๅจ็ฌฌไธๅฑ็ๆๅฅฝ็ปๆๆฏ55ๅฑๆปคๆณขๅจใๅฝ่ช็ถๅพๅ๏ผๆฏ็ปดๆๅ ็พไธชๅ็ด ๏ผ่ถๅไบไฝฟ็จๆดๅคง็ๆปคๆณขๅจ๏ผไพๅฆ12 12๏ผ15 * 15ใ
ๅ ๆญค่ฟไธชๆๅทงไบๅฎไธๆฏๅปๅฏปๆพๆญฃ็กฎ็ญ็บง็โ็ฒๅบฆโ๏ผไปฅไพฟๅฏน็ปๅฎ็ๆฐๆฎ้ๅปๅฝขๆๅ้่ๅดๅ ็ๆฝ่ฑกใ
ๆๅคงๅๆฑ ็ๅฐบๅฏธ
็ปๅ ธ็ๆฏ2 2๏ผๆ่ ๆฒกๆๆๅคงๆฑ ๅใ้ๅธธๅคง็ๅพๅฏไปฅๅจ่พไฝ็ๅฑไฝฟ็จ4 4็ๆฑ ๅใไฝๆฏ้่ฆ่ฎฐไฝ็ๆฏ๏ผๆฑ ๅๅจ้่ฟ16ไธชๅ ๅญๅๅฐไฟกๅท็ปดๅบฆ็ๅๆถ๏ผไนๅฏ่ฝๅฏผ่ดไฟกๅท็ป่็ๅคง้ไธขๅคฑใ
ๅญฆไน ็๏ผLearning Rate๏ผ
ๅญฆไน ็ๅณๅฎไบๆๅผๆดๆฐ็้ๅบฆ๏ผ่ฎพ็ฝฎๅพๅคชๅคงไผไฝฟ็ปๆ่ถ ่ฟๆไผๅผ๏ผๅคชๅฐไผไฝฟไธ้้ๅบฆ่ฟๆ ขใไป ้ ไบบไธบๅนฒ้ข่ฐๆดๅๆฐ้่ฆไธๆญไฟฎๆนๅญฆไน ็๏ผๅ ๆญคๅ้ข3็งๅๆฐ้ฝๆฏๅบไบ่ช้ๅบ็ๆ่ทฏๆๅบ็่งฃๅณๆนๆกใๅ้ข3็งๅๆฐๅๅซไธบ๏ผWeight Decay ๆๅผ่กฐๅ๏ผMomentum ๅจ้ๅLearning Rate Decay ๅญฆไน ็่กฐๅใ
ๆๅผ่กฐๅ๏ผWeight decay๏ผ
ๅจๅฎ้
ๅบ็จไธญ๏ผไธบไบ้ฟๅ
็ฝ็ป็่ฟๆๅ๏ผๅฟ
้กปๅฏนไปทๅผๅฝๆฐ๏ผCost function๏ผๅ ๅ
ฅไธไบๆญฃๅ้กน๏ผๅจSGDไธญๅ ๅ
ฅ
่ฟไธๆญฃๅ้กนๅฏน่ฟไธชCost function่ฟ่ก่ง่ๅ๏ผ
ไธ้ข่ฟไธชๅ ฌๅผๅบๆฌๆๆณๅฐฑๆฏๅๅฐไธ้่ฆ็ๅๆฐๅฏนๆๅ็ปๆ็ๅฝฑๅ๏ผ็ฝ็ปไธญๆ็จ็ๆ้ๅไธไผๆถๅฐWeight decayๅฝฑๅใๅจๆบๅจๅญฆไน ๆ่ ๆจกๅผ่ฏๅซไธญ๏ผไผๅบ็ฐoverfitting๏ผ่ๅฝ็ฝ็ป้ๆธoverfittingๆถ็ฝ็ปๆๅผ้ๆธๅๅคง๏ผๅ ๆญค๏ผไธบไบ้ฟๅ ๅบ็ฐoverfitting,ไผ็ป่ฏฏๅทฎๅฝๆฐๆทปๅ ไธไธชๆฉ็ฝ้กน๏ผๅธธ็จ็ๆฉ็ฝ้กนๆฏๆๆๆ้็ๅนณๆนไนไปฅไธไธช่กฐๅๅธธ้ไนๅใๅ ถ็จๆฅๆฉ็ฝๅคง็ๆๅผใ
weight decay๏ผๆๅผ่กฐๅ๏ผ็ไฝฟ็จๆขไธๆฏไธบไบๆ้ซๆถๆ็ฒพ็กฎๅบฆไนไธๆฏไธบไบๆ้ซๆถๆ้ๅบฆ๏ผๅ ถๆ็ป็ฎ็ๆฏ้ฒๆญข่ฟๆๅใๅจๆๅคฑๅฝๆฐไธญ๏ผweight decayๆฏๆพๅจๆญฃๅ้กน๏ผregularization๏ผๅ้ข็ไธไธช็ณปๆฐ๏ผๆญฃๅ้กนไธ่ฌๆ็คบๆจกๅ็ๅคๆๅบฆ๏ผๆไปฅweight decay็ไฝ็จๆฏ่ฐ่ๆจกๅๅคๆๅบฆๅฏนๆๅคฑๅฝๆฐ็ๅฝฑๅ๏ผ่ฅweight decayๅพๅคง๏ผๅๅคๆ็ๆจกๅๆๅคฑๅฝๆฐ็ๅผไนๅฐฑๅคงใ
ๅจ้๏ผMomentum๏ผ
ๅจ้ๆฅๆบไบ็้กฟๅฎๅพ๏ผๅบๆฌๆๆณๆฏไธบไบๆพๅฐๆไผๅ ๅ ฅโๆฏๆงโ็ๅฝฑๅ๏ผๅฝ่ฏฏๅทฎๆฒ้ขไธญๅญๅจๅนณๅฆๅบๅ๏ผSGDๅฐฑๅฏไปฅๆดๅฟซ็ๅญฆไน ใ
momentumๆฏๆขฏๅบฆไธ้ๆณไธญไธ็งๅธธ็จ็ๅ ้ๆๆฏใๅฏนไบไธ่ฌ็SGD๏ผๅ
ถ่กจ่พพๅผไธบ
,xๆฒฟ่ดๆขฏๅบฆๆนๅไธ้ใ่ๅธฆmomentum้กน็SGDๅๅ็ๅฆไธๅฝขๅผ๏ผ
ๅ
ถไธญ
ๅณmomentum็ณปๆฐ๏ผ้ไฟ็็่งฃไธ้ขๅผๅญๅฐฑๆฏ๏ผๅฆๆไธไธๆฌก็momentum๏ผๅณ
๏ผไธ่ฟไธๆฌก็่ดๆขฏๅบฆๆนๅๆฏ็ธๅ็๏ผ้ฃ่ฟๆฌกไธ้็ๅน
ๅบฆๅฐฑไผๅ ๅคง๏ผๆไปฅ่ฟๆ ทๅ่ฝๅค่พพๅฐๅ ้ๆถๆ็่ฟ็จใ
ๆญฃ่งๅ๏ผnormalization๏ผ
normalization๏ผbatch normalization๏ผใbatch normalization็ๆฏๆๅจ็ฅ็ป็ฝ็ปไธญๆฟๆดปๅฝๆฐ็ๅ้ข๏ผๅฐ
ๆ็
ง็นๅพ่ฟ่กnormalization๏ผ่ฟๆ ทๅ็ๅฅฝๅคๆไธ็น๏ผ
ๆ้ซๆขฏๅบฆๅจ็ฝ็ปไธญ็ๆตๅจใNormalization่ฝๅคไฝฟ็นๅพๅ จ้จ็ผฉๆพๅฐ[0,1]๏ผ่ฟๆ ทๅจๅๅไผ ๆญๆถๅ็ๆขฏๅบฆ้ฝๆฏๅจ1ๅทฆๅณ๏ผ้ฟๅ ไบๆขฏๅบฆๆถๅคฑ็ฐ่ฑก
ๆๅๅญฆไน ้็ใๅฝไธๅๅ็ๆฐๆฎ่ฝๅคๅฟซ้็่พพๅฐๆถๆ
ๅๅฐๆจกๅ่ฎญ็ปๅฏนๅๅงๅ็ไพ่ต
ๅญฆไน ็่กฐๅ๏ผLearning Rate Decay๏ผ
่ฏฅๆนๆณๆฏไธบไบๆ้ซSGDๅฏปไผ่ฝๅ๏ผๅ ทไฝๅฐฑๆฏๆฏๆฌก่ฟญไปฃ็ๆถๅๅๅฐๅญฆไน ็็ๅคงๅฐใ
ๆๅทง
ๅๅฆไฝ ๆณ่ฆๅจๆฐ็ๆฐๆฎ้ไธ้็จ่ฟไธชๆจกๅ๏ผไธ้ข็ไธไบๅฐๆๅทงๅฏ่ฝ่ฝ่ฎฉไฝ ่ทๅพๆดๅฅฝ็็ปๆ๏ผ
็ฝๅ(whitening)ๆฐๆฎ๏ผไพๅฆ๏ผไฝฟ็จไธปๆๅๅๆ๏ผ
่กฐๅๆฏๆฌก่ฟญไปฃ็ๅญฆไน ้็
ๆๅๆดๆฐไบ