구글의 머신러닝 비전: TPU부터 모바일까지

구글의 머신러닝 비전: TPU부터 모바일까지 

구글의 머신러닝 비전: TPU부터 모바일까지 (Google I/O Extended Seoul 2017) from Jeongkyu Shin

구글의 머신러닝 비전: TPU부터 모바일까지 (Google I/O Extended Seoul 2017)

1. 신정규 Lablup Inc. 20170702 Google I/O Extended Seoul 구글의 머신러닝 비전: TPU부터 모바일까지

2. 세션 레퍼런스: Google I/O Keynote 구글의 머신러닝

3. 세션 레퍼런스: Google I/O Keynote 음성 인식 단어 인식 오류율 2016년 7월 2016년 10월 2016년 12월 현재

4. 세션 레퍼런스: Google I/O Keynote

5. 세션 레퍼런스: Google I/O Keynote

6. 세션 레퍼런스: Google I/O Keynote

7. 세션 레퍼런스: Google I/O Keynote

8. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

9. 머신러닝 관련 요약

10. 기반 / 소프트웨어 하드웨어부터 소프트웨어까지

11. 세션 레퍼런스: Effective TensorFlow for Non-Experts

12. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

13. TensorFlow 요약 ▪통계 ▪2015년 12월 이후 17500 이상의 커밋수 ▪475명 이상의 구글 외부 기여자 (v1.0 기준) ▪상당한 양의 외부 커밋 ▪6400개 이상의 TensorFlow 관련 저장소 ▪현재 ▪완전한 ML 모델 프로토타이핑 ▪분산 훈련 지원 ▪CPU/GPU/TPU/모바일 환경 지원 세션 레퍼런스: Effective TensorFlow for Non-Experts

14. TensorFlow 요약 ▪Keras API support ▪추상화를 통한 고급 프로그래밍 API 도입 ▪TensorFlow Serving ▪텐서플로 모델 추론 서비스를 쉽게 해 주는 도구 ▪XLA compiler ▪다양한 환경 지원 및 속도 향상을 위한 개선

15. 세션 레퍼런스: Effective TensorFlow for Non-Experts

16. 세션 레퍼런스: Effective TensorFlow for Non-Experts

17. TensorFlow Serving ▪C++ 라이브러리 ▪TensorFlow 모델 저장 / 내보내기 포맷: protocol buffer ▪일반 코어 플랫폼 ▪바이너리 ▪바로 쓸 수 있는 예제 포함 ▪Docker 컨테이너, K8s 예제 ▪호스팅 서비스 세션 레퍼런스: From Research to Production

18. 세션 레퍼런스: From Research to Production

19. 세션 레퍼런스: TensorFlow Frontiers

20. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

21. TPU: Tensor Processing Unit ▪2세대 TPU 공개 ▪1세대 TPU ▪ 일반 CPU&GPU 보다 15~30배 빠름 ▪ 30~80배의 전성비 ▪ 추론 과정에 특화 (훈련에 쓰지 않음) ▪2세대 TPU ▪ 180테라플롭스의 FP 성능 ▪ 64GB의 엄청 높은 대역폭의 메모리 ▪ 훈련 및 추론 모두를 위해 디자인 ▪ 상호 연결이 가능하도록 설계 세션 레퍼런스: TensorFlow Frontiers

22. 세션 레퍼런스: TensorFlow Frontiers

23. 세션 레퍼런스: TensorFlow Frontiers

24. 세션 레퍼런스: TensorFlow Frontiers

25. TensorFlow 연구 클라우드 공개 머신러닝 연구의 가속을 위해 제공 세션 레퍼런스: TensorFlow Frontiers

26. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

27. Android O와 TensorFlow ▪TensorFlow 모바일 보급 활성화 방안 ▪TensorFlow Lite 내장 ▪ 별도의 환경 설치를 앱마다 할 필요가 없음 ▪ 운영체제 차원의 하드웨어 가속 지원 ▪XLA 기반의 최적화 제공 ▪ 다양한 프로그래밍 언어에 바인딩 가능 세션 레퍼런스: Android meets TensorFlow

28. 세션 레퍼런스: Android meets TensorFlow 최근 번역 향상 번역 모델 번역품질

29. ML+모바일 적용예 이미지 / 글씨 인식 음성 - 텍스트 변환 번역 자연어 처리 동작 인식 GPS 및 기타 등등 세션 레퍼런스: Android meets TensorFlow

30. 세션 레퍼런스: Android meets TensorFlow 더 적은 트래픽 & 빠른 응답 머신러닝을 이용해 원시데이터에서 의미 를 추출할 수 있음 예. 이미지 인식 원시 이미지를 전송 발견한 레이블 전송 예. 동작 인식 원시 동작 벡터 전송 특징 벡터 전송

31. 휴대성 및 확장성 ▪훈련 환경 ▪Mac/ Windows ▪GPU 서버 ▪클라우드 상의 GPU / TPU ▪예측 ▪안드로이드 / iOS ▪라즈베리파이와 TPU 세션 레퍼런스: Android meets TensorFlow

32. 큰 뉴럴넷 세션 레퍼런스: Android meets TensorFlow

33. 모델 압축 ▪그래프 프리징 ▪그래프 변환 도구 ▪가중치 양자화 ▪계산 양자화 ▪메모리 매핑 세션 레퍼런스: Android meets TensorFlow

34. 양자화 세션 레퍼런스: Android meets TensorFlow

35. TensorFlow에서의 양자화 세션 레퍼런스: Android meets TensorFlow

36. 신경망 압축 세션 레퍼런스: Android meets TensorFlow 압축한 Inception v3 모델 = 23MB TensorFlow 바이너리 = 1.5MB

37. 안드로이드 Neural Network API ▪뉴럴넷을 위한 새 API 추가 ▪Android Framework에 포함 ▪하드웨어 가속기 추상화 ▪GPU, DSP, ISP 및 기타 세션 레퍼런스: Android meets TensorFlow

38. TensorFlow Lite ▪새 TensorFlow 런타임 ▪모바일 및 임베디드 환경에 최적화 ▪기기에서 TensorFlow 모델 실행 ▪안드로이드 NN API 레버리지 ▪오픈소스화 (예정) 세션 레퍼런스: Android meets TensorFlow

39. XLA: TensorFlow의 선형대수 컴파일러 세션 레퍼런스: TensorFlow Frontiers TF 그래프 입력 최적화 및 특성화된 어셈블리가 나옴

40. 서비스 / 제품 : 올해 사용자는 실제로 무엇을 만나게 되나?

41. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

42. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

43. Google Lens ▪센서 기반의 위치 정보 서비스 ▪이미지+지역 정보+추천 검색 ▪실시간으로 현재 위치의 정보 파악 ▪이미지 기반의 POV 정보 추적 ▪추천기능 세션 레퍼런스: Google I/O Keynote

44. 세션 레퍼런스: Google I/O Keynote

45. 세션 레퍼런스: Google I/O Keynote

46. 머신러닝 관련 요약 ▪기반 (infrastructure) / 소프트웨어 ▪TensorFlow ▪ TensorFlow 1.2 → 1.3 ▪TPU ▪ 2nd Generation TPU ▪ CloudTPU ▪Android O ▪ TensorFlow Lite ▪서비스 / 제품 ▪Image-based breakthrough ▪ Google Photo ▪ Google Lens ▪ Visual positioning service ▪Android Things ▪ Google Home ▪ Google IoT ▪TensorFlow + Everyone ▪ Google for Jobs ▪Firebase + TensorFlow

47. Google Home ▪다중 사용자 구분 (신경망 기반의 빔포밍 / 유저 인식 기술) ▪더 많은 도구 및 기기들과의 통합 지원 ▪중요한 점 ▪Google Home은 구글이 보여준 하나의 예에 해당된다 ▪실질적으로 중요한 전략 목표는 Google Assistant API 를 통한 디지털 어시스 턴트의 대중화에 방점을 찍고 있음

48. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things 사용자가 원하는 모든 컨텐트나 서비스들 구글 어시스턴트가 제공 사용자가 필요한 모든 장소

49. Android Things ▪임베디드 및 저스펙 환경을 위한 안드로이드 배포판 ▪HW 프로토타이핑 업체 제휴 ▪Adafruit ▪Pimoroni ▪Sparkfun Project Kit ▪개발킷, BSP 등 제공 ▪Intel® Edison ▪Intel® Joule ▪NXP Pico i.MX7D ▪NXP Pico i.MX6UL ▪NXP Argon i.MX6UL ▪Raspberry Pi 3

50. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

51. Google Assistant API ▪Hotword 라이브러리 ▪Hotword ▪타이머 ▪알람 ▪하드웨어 ▪라즈베리파이 3B ▪하나 또는 두개의 마이크 ▪스피커 ▪인터넷 연결 ▪gRPC API ▪클라이언트/서버 API RPC 콜 ▪ TCP/IP가 되면 지원 ▪최소화된 계산 ▪최소화된 전력 소모 ▪거의 모든 플랫폼에서 실행됨 ▪ TCP/IP가 되면 지원 ▪오픈소스 샘플 코드 제공 ▪ 플랫폼: Linux, macOS, Windows, Android, iOS ▪ 언어: C/C++/C#, Go, Python, Node.js, PHP, Ruby

52. 기기에 어시스턴트 추가 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

53. AIY Voice Kit ▪자연어 인식기 ▪Google Assistant SDK 사용 ▪스피커, 버튼, 마이크, 카드보드 박스 ▪라즈베리파이 3 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

54. Google Assistant SDK ▪런칭된 기능 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

55. Google Assistant SDK ▪공개 예정 기능 ▪개선된 음성 기반 컨트롤 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

56. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things 호출 실행 경로

57. 요약 ▪기반 및 소프트웨어 ▪소프트웨어: TensorFlow를 중심으로 모바일부터 거대 연산 클러스터까지 다양한 스케일 의 머신러닝 보급 및 헤게모니 장악 준비 ▪하드웨어 및 클라우드: TPU를 이용하여 가성비 및 스케일링에 집중 ▪서비스 / 제품 ▪구글 번역, 구글 포토: 머신러닝을 통한 기존 서비스 및 제품의 정확도 향상 ▪Google Lens: 머신러닝이 가장 강력한 힘을 발휘하는 이미지 영역의 응용 서비스 ▪DIY 키트 및 Android Things Assistant API를 내세운 디지털 어시스턴트 전략 ▪ 제 2의 카드보드

58. 잡담 ▪2017년 기업들의 벡터 ▪목표와 위치

59. 끝! :) @inureyes fb/jeongkyu.shin inureyes@gmail.com