알아두면 쓸데있는 신비한 딥러닝 이야기

알아두면 쓸데있는 신비한 딥러닝 이야기 from Kwangsik Lee

• 1. 알아두면 쓸데있는 신비한 딥러닝 이야기 이광식(Kwangsik Lee, lks21c@gmail.com)
• 2. 목적 슬라이드의 목적은 아래와 같습니다. 딥러닝이 뭐야? 딥러닝이 왜 좋아? 그래서 뭘 할수 있는데?
• 3. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 4. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 5. 아래의 슬라이들을 참고했습니다. • https://www.slideshare.net/yonghakim900/ss- 60252533?next_slideshow=1 • https://www.slideshare.net/medit74/ss-74123546 • https://www.slideshare.net/ByoungHeeKim1/ss-71583195
• 6. 딥러닝은 머신러닝의 기법 중 하나입니다. 앞으로의 설명은 딥러닝의 상위 개념인 머신러닝 관점에서의 설명입니다.
• 7. 딥러닝 역사 사실, 딥러닝은 갑자기 등장한 개념은 사실 아닙니다.
• 8. 딥러닝 역사 하지만, 여러 이유로 인해 딥러닝은 르네상스를 맞이하였습니다.
• 9. 캐나다의 딥러닝 지원
• 10. 유명인물 : 판타스틱 4 - 얀 레쿤 미국 뉴욕대 교수 - 제프리 힌튼 캐나다 토론토대 교수 - 요수아 벤지오 몬트리올대 교수 - 앤드루 응 스탠퍼드대 교수
• 11. 판타스틱4와 업계 Trend
• 12. 제프리 힌튼
• 13. 앤드류
• 14. 레쿤, 벤지오
• 15. 기업들의 딥러닝 동향
• 16. 기업들의 딥러닝 동향
• 17. 기업들의 딥러닝 동향
• 18. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 19. 현재 딥러닝 인기의 시작은 2012년 이미지넷 때문입니다.
• 20. 딥러닝이 뜬 계기
• 21. 딥러닝이 뜬 계기
• 22. 딥러닝이 뜬 이유
• 23. 컴퓨팅 파워(GPU)
• 24. 빅데이터
• 25. 빅데이터 #2
• 26. 획기적인 알고리즘
• 27. 개발 환경의 진화
• 28. 개발 환경의 진화
• 29. 정리하자면 4가지의 주요 요인이 시너지를 내며 딥러닝이 각광받음
• 31. 구글 딥마인드는 배경지식 없이 모든 문제를 푸는것이 비전입니다. • https://www.youtube.com/watch?v=V1e YniJ0Rnk
• 32. 자율주행에도 게임이나 시뮬레이션이 활용 됨
• 33. 이후 딥러닝의 다양한 활용이 나타남
• 34. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 35. 딥러닝 용어 정리 • DNN, MLP, 뉴럴넷, 뉴런 • Gradient Descent • Back Propagation • Overfitting • CNN, RNN, 강화학습
• 36. 딥러닝 용어 정리 • DNN, MLP, 뉴럴넷, 뉴런 -> 딥러닝 • Gradient Descent -> 경사감소법 • Back Propagation -> 가중치 튜닝 • Overfitting -> 과적합 • CNN, RNN, 강화학습 -> 알고리즘
• 37. 머신러닝의 3가지 카테고리
• 38. 머신러닝 Workflow
• 39. 머신러닝은 아래와 같이 동작합니다. 1. 문제를 정의합니다. 2. 문제를 수학적 수식으로 정의합니다. 3. 빅데이터로 수식의 해를 구합 니다.
• 40. 얘기한 것을 조금 더 공학적으로 바꾸면
• 41. 지금부터 내용이 조금 어려울 수 있습니다. 고등학교 때 수학의 기억을 다시 떠올려야 합니다. 하지만, 흐름만 이해하셔도 충분합니다.
• 42. 집의 크기로 집값을 예측하는 과정으로 머신러닝의 흐름을 익혀봅시다.
• 45. 1. 문제의 정의 집의 크기가 주어졌을때 집값을 예측하는 추세선(함수)를 만든다.
• 50. 2. 문제를 수학적 수식을 바꿔 봅시다.
• 60. 즉 우리는 가설(예측) 함수를 만들고 데이터를 통해 비용 손실을 최소화 문제로 변환하였습니다.
• 61. 방금 전까지가 확실히 이해되었다면 앞으로의 문제는 어떻게 비용을 최소화 할까? 입니다.
• 62. 설명을 간단히 하기 위해 잠시 세타0를 생략하겠습니다.
• 63. 데이터를 정확히 일치한다면 비용손실은 0입니다.
• 64. 아래의 기울기(0.5)에서는 비용손실은 0.58입니다.
• 65. 세타의 값에 따른 비용값을 함수로 그려보면 아래와 같습니다.
• 66. 실제로 세타가 2개일때는 비용함수 모양이 아래와 같습니다.
• 67. 경사감소의 컨셉을 설명 드리겠습니다.
• 68. 비용값을 등고선으로 나타내면 아래와 같습니다.
• 69. 간단히 먼저 이해하자면
• 70. 경사감소의 수학 수식은 아래와 같습니다.
• 74. 예제로 한번 개념을 잡아보겠습니다.
• 75. 1번째 Iteration
• 76. 2번째 Iteration
• 77. 3번째 Iteration
• 78. 4번째 Iteration
• 79. 5번째 Iteration
• 80. 6번째 Iteration
• 81. 반복하면… 함수가 제자리를 찾아갑니다.
• 82. Logistic Regression 데이터에 따라 0/1값을 예측한다.
• 83. 그런데 이런 복잡한 분류는 어떻게?
• 84. 이미지 분류 문제는 차원 (dimension)이 엄청나게 크다! 이는 차원의 저주를 유발합니다.
• 85. 뉴런의 이해
• 89. 뉴런의 공학적 모사 로지스틱 유닛 하나가 하나의 로지스틱 Regression을 수행합니다.
• 90. 복수의 뉴런으로 네트워크를 구성하면 뉴럴 네트워크
• 91. 딥 뉴럴 네트워크(딥러닝)을 이용하면 복잡한 문제를 풀 수 있다.
• 92. 딥러닝도 경사감소를 통해 최적화가 가능하다.
• 93. 필기체 인식문제도 딥러닝으로 해 결
• 94. 뉴럴 네트워크 종류 사용 목적에 따라 뉴런을 다르게 구성하고 또한 용도가 달라짐
• 95. 뉴럴 네트워크 디자인이 매우 중요 함
• 96. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 97. 딥러닝에 대한 오해 • 수학적 지식이 필요하다? • 기술을 가져다 쓰는게 중요하지 이론이 중요하지는 않다? • 데이터만 많으면 자동으로 학습이 된다던데? • Feature도 자동으로 뽑아준다던데?
• 98. 딥러닝에 대한 오해 • 수학적 지식이 필요하다? Yes • 기술을 가져다 쓰는게 중요하지 이론이 중요 하지는 않다? No • 데이터만 많으면 자동으로 학습이 된다던데? No • Feature도 자동으로 뽑아준다던데? No
• 99. 이유는 아래와 같습니다. • 머신러닝과 딥러닝의 역량은 수식을 설계하고 뉴럴넷을 구성하는데 있 습니다. • 또한 데이터 및 도메인에 따라 튜닝과 디 버깅이 필요할 수 있습니다. • 현재 딥러닝으로 무엇인가 구현하기 위해 서는최신 논문을 봐야 합니다.
• 100. 참고자료, 딥러닝에 필요한 수학 분야
• 101. 참고자료, 딥러닝에 필요한 수학 #1(통계학)
• 102. 참고자료, 딥러닝에 필요한 수학 #1(통계학)
• 103. 참고자료, 딥러닝에 필요한 수학분 야 #2(확률)
• 104. 참고자료, 딥러닝에 필요한 수학분 야 #3(선형대수학)
• 105. 참고자료, 딥러닝에 필요한 수학분 야 #4(해석학)
• 106. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 107. 최신 딥러닝 모델이 어떤것들이 있는지 알아보자.
• 108. CNN
• 109. CNN Example • https://www.youtube.com/watch?v=hAL KoGdEb-8
• 110. RNN
• 111. RNN Demo • https://www.youtube.com/watch?v=nO dz80J4_Rc • https://magenta.tensorflow.org/assets/ sketch_rnn_demo/index.html
• 112. GAN
• 113. 위조지폐범 VS 경찰
• 114. 네트워크로 나타내면
• 115. GAN Examples • https://www.youtube.com/watch?v=D4 C1dB9UheQ • https://carpedm20.github.io/tacotron/
• 116. Word2vec
• 117. Word2vec Examples • https://ronxin.github.io/wevi/
• 118. 무인주행 자동차에도서도 딥러닝이 활용됨
• 119. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 120. Star GAN
• 121. 흑백사진 -> 컬러사진
• 122. 모자이크 복원
• 123. 스케치 -> 실물
• 124. 스케치 -> 그림
• 125. 이미지 -> 설명
• 126. • Screen To TTS • Restoring Sound • Lips Synchronization • Image Colorization • Realtime multi person pose estimation • Cycle GAN • Google Camera Translation
• 127. 목차 • 소개 • 딥러닝이 뜬 이유(역사, 유명인, 이미지넷) • 딥러닝의 간단한 이해 • 딥러닝에 대한 오해 • 최신 딥러닝 종류 • 딥러닝 활용 사례 • 딥러닝 응용 방안
• 128. 활용 분야 • Recommendation • Sentimental Analysis • User Segmentation • Music Analysis • Anomaly Detection • Churn Prediction
• 129. 유튜브 컨텐츠 추천
• 130. 유튜브 컨텐츠 추천 #2
• 131. Collaborative Filtering
• 132. Collaborative Filtering #2
• 133. Sentimental Analysis
• 134. User Segmentation
• 135. Mood Analysis
• 136. User Segmentation by Music
• 137. 장르별 클러스터링
• 138. Anomaly Detection
• 139. Churn Prediction
• 141. 감사합니다.