VC를 위한 인공지능 세미나

VC를 위한 인공지능 세미나

VC를 위한 인공지능 세미나 from JD Yang

VC를 위한 인공지능 세미나

1. (벤쳐 투자자를 위한) 인공지능, 기계학습 그리고 딥러닝 - DATANADA 2016. 01. 17 16:00~ K뱅크 15층. @DATANADA, AI Company - Forked from <인공지능, 기계학습, 그리고 딥러닝> “이진원 / Seoul National University” 원본 슬라이드에 기술적 내용을 빼고, “최성준 / Seoul National University” 의 슬라이드에서 Application 을 추가한 다음, 업계 동향 등 VC가 알아야할 정보를 추가하였습니다.

2. 2 한 장으로 끝내는 회사 소개 회사 소개는 이게 끝입니다. 더 궁금하시면 j@jdlab.org 로…

3. John Park 실리콘 벨리에서 가장 큰 머신러닝 그룹 Organizer 이자 HP 수석 데이터 사이언티스트, Kaggle 세계 랭킹 20위권 대의 머신러닝 전문가입니다. ADA Framework 학력: UC 버클리 전자전기컴퓨터공학/인지과학 이력: IBM Researcher Symantec Security Researcher HP Principle Data Scientist 주요 연구분야: 머신러닝, 비트코인, 보안 저술: Security Topics in Big Data (HP) Bitcoin and Security (HP) 특허: Intelligent Hashes for Centralized Malware Detection (US. Patent 2014)

4. 4 Issue • 딥러닝은 무엇이고 왜 필요한가? • CNN • 딥러닝 응용 사례 • Unsupervised Learning / Reinforcement Learning / RNN • 산업 적용 • 엔지니어 수준 판단 방법 • 인공지능 연구 가능 기업 리스트 • 챗봇과 자연어처리

5. 5 들어가기에 앞서 • “이 시대에 CS를 하고 있다는 것은 나에게 너무 큰 영광이다” - MS Researcher, Park ** • The Great A.I. Awakening (인공지능의 과거와 현재 ) - NYT http://www.nytimes.com/2016/12/14/magazine/the- great-ai-awakening.html?_r=0 • 인공지능 올인 - *******

6. 인공지능과 기계학습

7. 7 1, 2, 3, 4차 산업혁명 Steam Engine Electricity, Automobile PC, Internet Artificial Intelligence 사람의 육체노동을 대체 사람의 지적노동을 대체? 1 2 3 4

8. 8 인공지능, 기계학습, 딥러닝 Credit : Nvidia blog

9. 9 컴퓨터에게 쉬운 것과 어려운 것 • 컴퓨터가 잘하는 것은 명확하게 정의된 일, 즉 알고리즘에 대한 수행이다. • 사람이 진화과정에서 자연스럽게 터득한 것들이 컴퓨터에 게는 어렵다. vs Easy Hard

10. 10 규칙 기반 학습의 부작용(?)

11. 11 기계학습(Machine Learning) • 기계학습(Machine Learning) Machine learning is the subfield of computer science that "gives computers the ability to learn without being explicitly programmed“ 기계 학습은 "컴퓨터에 명시적으로 프로그래밍하지 않고 학습 할 수 있는 능력을 부여하는“ 컴퓨터 과학의 하위 분야입니다. Computer inputs program outputs Computer inputs outputs program 일반적인 programming 기계학습 기계가 program을 직접 작성!

12. 12 Quiz • □와 △에 들어갈 정수는? 3 x □ + 2 x △ = 1 1 x □ + 4 x △ = -3 5 x □ + 5 x △ = 0 8 x □ + 3 x △ = 5 • □ = 1, △ = -1 • (3, 2), (1, 4), (5, 5), (8, 3) 은 input data, 1, -3, 0, 5 는 label 이다 • □와 △를 weight라고 하며 이 weight 값을 기계가 스스로 학습을 통해 찾아내도록 하는 것이 기계학습이 하는 일

13. 13 기계학습의 종류 • Supervised Learning(지도학습) Input 과 labels을 이용한 학습 분류(classification), 회귀(regression) • Unsupervised Learning(비지도학습) Input만을 이용한 학습 군집화(clustering), 압축(compression) • Reinforcement Learning(강화학습) Label 대신 reward가 주어짐 Action selection, policy learning

14. 14 Perceptron(Artificial Neural Network) <Perceptron> sigmoid activation function

15. 15 아파트 가격 예측(Regression) • 아파트 가격을 예측하는 프로그램을 작성해보자 평수(평) 층수(층) 가장 가까운 지하철 역까지의 거리(km) 해당 지역의 1인당 소득 평균(천만원)

16. 16 일반적인 방법 • 평수 x 2 + 층수 x 0.3 + 지하철 역까지 거리 x (-1) + 소득수준 x 0.1 = 아파트 가격(천만원)

17. 17 기계학습을 이용하는 방법 맨 처음 □,△,○,☆ 값을 random으로 정한 후 실제 가격과 비교하 여 그 (차이값)2의 평균 계산한다  □,△,○,☆를 모두 1로 했을 경우, (실제가격 – 추론가격)2 의 평균 = 287.524 이제 □,△,○,☆를 기계 스스로 조금씩 조정하여 (차이값)2의 평균 이 0이 되게 할 수 있다면, 프로그램이 완성된다

18. 딥러닝(Deep Learning)

19. 19 딥러닝(Deep Learning) • 딥러닝은 deep neural network를 통하여 학습하는 것을 의 미함 • Hidden layer의 수 <= 1  shallow network • Hidden layer의 수 >= 2  deep network • 이렇게 많은 weight 값들을 어떻게 학습시킬 것인가??

20. 20 딥러닝을 어렵게 하는 것들 • Vanishing gradient problem • Overfitting problem <- 투자시 알아야 함 • Get stuck in local minima 투자 시에 “오버피팅은 일어나지 않나요?” 라고 물으면 전문가인척 할 수 있습니다.

21. 21 Vanishing Gradient Problem (몰라도 됩니다) • Gradient 값이 뒤로 전달될 수록 점점 작아짐 • Sigmoid 사용으로 인하여(미분값의 최대 : ¼) 아래쪽 layer는 학습이 이루어지지 않음

22. 22 Overfitting Problem (알아야합니다) • Data가 많지 않은 경우에 발생할 수 있음 • 학습한 data에만 최적화되어서, 학습하지 않은 data(test data)에 대한 추론 성능이 악화되는 현상

23. 23 Local Minima (몰라도 됩니다) • 어디서 시작하느냐에 따라서 잘못하면 local minima에 빠 질 위험이 존재

24. 24 어떻게 해결할까? • Vanishing gradient problem  Sigmoid 말고 ReLU를 쓰자 • Overfitting problem  Regularization method를 쓰자(예 : dropout) • Get stuck in local minima Local minima에 빠져도 괜찮다  해결 방안은 다 나와있는 상황

25. Convolutional Neural Network

26. 26 Convolutional Neural Network • 이미지 인식에 가장 널리 사용됨 • 일반적으로 convolution layer, pooling layer, fully- connected layer로 구성 • Parameter(weight) sharing • Convolution과 pooling layer는 feature를 추출하고 fully- connected layer는 어떤 class에 속하는지 판단하는 역할을 수행 Picture Credit : The Data Science blog

27. 27 CNN의 동작원리 • 이미지를 작은 tile로 나누 고, 작은 network를 통해 tile에서 특정 feature를 추 출(예: 귀) • Newtork가 다음 tile로 이동 하면서 같은 방법으로 feature를 추출(동일한 weight 사용) • 다른 feature(예: 눈)를 추출 하는 network를 추가로 만 들고 위와 같은 방법으로 tile을 하나씩 network에 적 용 • 추출된 모든 feature들을 잘 조합하여 최종적으로 이미 지를 판단

28. 28 Convolutional Neural Network • 하위 layer에서는 선, 곡선, 색과 같은 feature들을 추출, 상 위 layer로 갈수록 점점 추상화된 feature 생성

29. 29 ImageNet Classification Results <2012 Result> • Krizhevsky et al. – 16.4% error(top-5) • Next best (non-convnet) – 26.2% error <2013 Result> • All rankers use deep learning(Convnet) Revolution of Depth! AlexNet

30. 30

31. 31 AlexNet(2012 winner) • 7 hidden layers, 650,000 neurons, 60M parameters • 2대의 GPU로 1주일간 학습진행 “ImageNet Classification with Deep Convolutional Neural Networks “

32. 32 AlexNet Result “ImageNet Classification with Deep Convolutional Neural Networks “

33. 33 GoogLeNet(2014 winner) • Inception modul을 반복하여 사용 • 1x1 convolution을 사용하여 channel 수를 조절 • Fully connected layer 대신 global average pooling 사용 • 5M parameters, 1.5B operations/evaluation Inception module “Going Deeper With Convolutions”

34. 34 VGG(2nd place in 2014) • 3x3 filter만 반복해서 사용 • Why?? Convolution filter를 stack하면 더 큰 receptive field를 가질 수 있음 2개의 3x3 filter = 5x5 filter 3개의 3x3 filter = 7x7 filter Parameter수는 큰 filter 사용하는 경 우에 비하여 감소  regularization 효과 “Very Deep Convolutional Networks for Large-Scale Image Recognition”

35. 35 Residual Net(2015 winner) • Revolution of Depth “Deep Residual Learning for Image Recognition”

36. 36 Deep Residual Learning • Identity는 그대로 상위 layer로 전달하고, 나머지 부분만 학 습 “Deep Residual Learning for Image Recognition”

37. 37 Inception-ResNet • Inception + ResNet “Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”

38. 38 ILSVRC 2016 Result

39. 39 Tensorflow를 이용한 구현 • Tensorflow Google에서 개발, 2015년 11월에 open source로 공개된 딥러닝 framework Python기반, computational graph를 이용(theano와 비슷함) CPU, GPU, multi-GPU를 모두 지원 https://tensorflow.org

40. 딥러닝 사례

41. 41 Scene Recognition (CNN) B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva. “Learning Deep Features for Scene Recognition using Places Database.” Advances in Neural Information Processing Systems 27 (NIPS), 2014.

42. 42 Visual Style Recognition (CNN) Karayev, Sergey, et al. "Recognizing image style." arXiv preprint arXiv:1311.3715 (2013).

43. 43 Object Detection (R-CNN) Girshick, Ross, et al. "Region-based convolutional networks for accurate object detection and segmentation." Pattern Analysis and Machine Intelligence, IEEE Transactions on 38.1 (2016): 142-158.

44. 44 Image Captioning (CNN+LSTM) Donahue, Jeffrey, et al. "Long-term recurrent convolutional networks for visual recognition and description." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

45. 45 LSTM

46. 46 RNN : Application

47. 47 Segmentation (DeconvNet) Hyeonwoo Noh, Seunghoon Hong, Bohyung Han, Learning Deconvolution Network for Semantic Segmentation, arXiv:1505.04366.

48. 48 Deep Visuomotor Control (CNN) Levine, Sergey, et al. "End-to-end training of deep visuomotor policies." arXiv preprint arXiv:1504.00702 (2015).

49. 49 Generative Adversarial Network “StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks ”

50. 50 GAN

51. 51 Autonomous Driving

52. 52 Super Resolution “Deeply-Recursive Convolutional Network for Image Super-Resolution”

53. 53 Texture Synthesis “Texture Synthesis Using Convolutional Neural Networks”

54. 54 Artistic Style Transfer “Image Style Transfer Using Convolutional Neural Networks”

55. 55 Visual QnA Q: What is the boy holding? DPPnet: surfboard DPPnet: bat Q: What is the animal doing? DPPnet: resting (relaxing) DPPnet: swimming (fishing) “Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction”

56. 56 RBM

57. 57 Reinforcement Learning https://youtu.be/Q70ulPJW3Gk https://youtu.be/SuoouILpjDo

58. 58 More Application! • https://www.youtube.com/watch?v=hPKJBXkyTKM • https://www.youtube.com/watch?v=nLNHAiST1eQ

59. 벤쳐 캐피탈리스트가 알아야 할 정보

60. 60 Why AI? 카오스 이론 복잡계 이론 H/W의 발전 Algorithm 연구 비용 하락 SASS 서비스 안착 GPU의 재발견 AlexNet / GoogLeNet 의 성공 상용 AI 서비스 등장 Canadian Mafia 등장 (분산형) DB/Infraware 기술 향상 딥러닝의 범용화 분산 레포지토리 보편화 라이브러리 발전/배포 의 용이화

61. 61 머신러닝 적용/투자 실패 사례 • 추천 API (Good performance but…) Collaborative Filtering 등의 범용화 Sales Performance 증명 Performance 차이 조직의 문제 • 음성인식 (Big market but…) Performance Competitiveness (vs Google) • 챗봇 (Viral but…) 기술적 무지

62. 62 머신러닝 비지니스의 판단 • 1. 기존 단순 구축/인력투입보다 얼마나 퍼포먼스가 뛰어난가/동일한가 • 2. 세일즈가 가능한가 • 3. 퍼포먼스가 thrashhold를 넘어갈 수 있는가 • 4. 데이터가 구축 가능한가. 이미 존재하는가. 데이터를 모 으기 위하여 또다른 노력이 들어가는가.

63. 63 Industry VS Academy Academy Industry State of Art 핵심 우회 가능 속도 Case by Case 중요 Tweak 중요하지 않음 매우 중요 Data 규격화 대규모 Noisy Small 결론 평야지대서 펼쳐지는 대규모 회전 산악지대에서의 게릴라전의 연속 ㅠ

64. 64 이 회사, 진짜인가요? • 엔지니어가 대단하다고는 하는데… • 판단 방법?

65. 65 모 대기업의 채용 공고 • 쓸만한 엔지니어 판단 기준 (?) 학계: NIPS 또는 ICML Paper 업계: Kaggle 랭킹 (한국에서는 그다지) 데이터 분석 이력 (역시나 별로…) 구축 이력 (있을리가.. )  딱히 판단 기준이 없습니다.

66. 66 아직도 모르겠다면… • Facebook Group Tensorflow KR AI Korea

67. 67 국내 AI 인력 보유 회사들 • 약 10개~15개 회사 정도 • AI인력 보유 회사 리스트 대기업 삼성전자 네이버 SKT 스타트업 (빠르게 확장 중) D사 D사 V사, L사 등

68. 68 국내 AI인력 출신 연구실 • 포항공대 최승진 한보형 외 1 • 서울대 장병탁 교수 랩 외 다수 • 카이스트 오혜연 김기응 신인식

69. 자연어 처리, 챗봇의 미래

70. 70 Chatbot & NLU • Word2Vec  FastText / Facebook 의 지원  단어 간의 관계 분석 알고리즘  기존 단어 사전이 무의미해짐  아직 불완전 • Seq2Seq  에 유용 (end-to-end 로 가능)  챗봇은 번역보다 더 깊은 언어 이해가 필요. • Parser  형태소(morpheme)분석/품사(PoS)분석의 발전 버젼  문장 구문(structure) 분석 가능

71. 71 챗봇 현재 산업의 방향 • SKT의 방향 • Naver의 방향 • Datanada의 방향 데이터 중심 유져 중심 • 기존 업체들

72. 72 인공지능 챗봇의 한계 • 챗봇 도입을 원하는 기업들의 착각 만능 솔루션 코스트 절약 • 대화 지속 • 도입 Risk • 적용 가능 도메인 (Datanada ADA 사용 설명서 참고)

73. 73 챗봇의 올바른 도입 방향 • Smart Assist for Primary Human CSR • Fast Reply for Easy Questions • Primary Machine + Human Intervention • Marketing

74. To Sum Up…

75. 75 AI는 실체가 있는가? • 단위 기술 요소 : 가능 (자율 주행차, 바둑 잘 두기, 이미지 분류 …… ) • 전체 비지니스 : 지금 들어가는 중 (인공지능 비서, 가치 판단) 결론?  무조건 가야하는 길

76. 76 Business Barrier • 아이디어 괜찮은 비지니스 아이디어인가? • 기술적 장벽 단순 TF와 CNN을 이용한 범용 라이브러리 (앱수준)의 기술은 아닌 가? • 영업적 장벽 영업이 가능한가?

77. More…

78. 같은 알고리즘을 써도 AI 성능은 다름 • 어떻게 데이터를 자르는지에 관한 노하우

79. DATA • (예) Data를 자르는 요령에 따른 마케팅 퍼포먼스 차이

80. 주요 AI 회사 전략

81. Big 5 • 1) Google: Moonshot marketing, toothbrush usage • 2) Amazon: best corp plan • 3) Facebook: largest user-base who are bored and will try anything. • 4) Microsoft: Satya (new CEO) is turning it around. aiming at China. • 5) Apple: Jobs void. Siri.

82. Google • Moonshot Marketing: AlphaGo. DeepMind. TensorFlow. U of Toronto. Stanford. London. • Toothbrush Usage: Smart Reply. Home. Translate. (AI is a feature, not a product)

83. Amazon • Best Corp Planning • Largest Retailer + AWS (largest data center) + Echo (last mile) + Free Delivery (last mile)

84. Facebook • largest user-base who are bored and will try anything. • FAIR (Facebook Artificial Intelligence Research). NYU.

85. Microsoft

86. Apple • Siri, we have a problem. • Carnegie Mellon University

87. Other PLayers • OpenAI / Tesla / Elon’s empire : highest concentration of smartest people • IBM Watson: $1b marketing machine [1][b][m] • Nvidia: we make GPU. Thank you, deep learning. • Uber: we have so much cash. china expansion failed. • Twitter: please buy us. we have data.

88. Messenger/Chat companies • WeChat • Kik • Line (Naver) • Kakao • chatfuel • api.ai