[AI & DevOps] BigData Scale Production AI 서비스를 위한 최상의 플랫폼 아키텍처

[AI & DevOps] BigData Scale Production AI 서비스를 위한 최상의 플랫폼 아키텍처 from hoondong kim

• 1. 신 세 계 그 룹 S S G . C O M B i g D a t a & A I P a r t L e a d e r H o o n D o n g , K i m A I M V P 개발과 개발자를 위한 최상의 플랫폼 부제: AI Production 서비스를 위한 개발 도구 및 플랫폼
• 2. • 김훈동 Chief Partner • 신세계 그룹 온라인 포털 SSG.COM BigData&AI Part Leader • 스사모(Korea Spark User Group) 운영진 • BigData 분야 Microsoft MVP(Most Valuable Professional) 선정 2016년, 2017년 • AI 분야 Microsoft MVP(Most Valuable Professional) 선정 2018년 • http://hoondongkim.blogspot.kr [블로그] • https://www.facebook.com/kim.hoondong [SNS] I am …
• 3. 진화의 시작! AI 시대의 발현! - BigData 기술 등장 (2003~2010년대) - NoSQL 기술 등장 (2007~2013년대) - Container & Microservice 기술 등장 (2014년대~) - Deep Learning 고도화 기술 등장 (2015년대~) • IaaS • SaaS • PaaS • Serverless / BaaS Cloud 태동! 그리고… 위 기술들의 융합
• 4. 글로벌 선두권 들은 어떻게 활용하고 있나??!! Cutting-Edge Technology
• 5. [Alibaba] BigData Scale AI + Realtime + Personalization…
• 6. [Alibaba] Reinforcement Learning to Rank in E-Commerce Search Engine • By Alibaba & Taobao • https://arxiv.org/abs/1803.00710 실시간성… 개인화… Training & Serving 이 동시에…
• 7. [Netflix] Realtime Recommendation (원순환구조) ML/DL 의 기저에 BigData Lambda Architecture 가 존재. 실시간성… 개인화… On Lambda Architecture 왜 Netflix 는 100만 달러 Competition 에서 우승한 알고리즘을 사용하지 않는가?
• 8. First Mover 들이 달성한 아키텍처를 Open Source 로 Fast Follow 하기 위한 아키텍처… Open Source Cluster System 30여개???? + Lambda Architecture Batch 원순환! realtime 원순환! 저걸 우리도 다 구축해야 하나?
• 9. [Netflix] Realtime Recommendation (원순환구조+Cloud 활용) 실시간성… 개인화… On Public Cloud ( with Hybrid )
• 10. Fast Follow 해보기 전에… 그러한 아키텍처, 그러한 고도화 기술들이 , 나오게 된 배경 Microservice, Serverless, Cloud, PaaS, BaaS, DevOps … BigData PaaS, NoSQL PaaS … Machine Learning & Deep Learning … Realtime Lambda Architecture … Cutting-Edge Technology
• 11. 국내 상위 쇼핑몰 정도 트래픽, 요즘 트랜디한 개인화 추천 정도 하려고 해도… • RDBMS -> 현존 최고 HW 로 Oracle 5 Node 로도… • MariaDB 샤딩 시스템. 수천대. Select 부하분산. • 큰 테이블 Data 는? Insert & Update 는? • NoSQL + RDBMS 샤딩(R) + RDBMS Master for (CUD) + Kafka (Message Queue for Data Sync) • 복잡한 RDBMS 로직 SQL => NoSQL 로 마이그레이션 불가??? • NoSQL + RDBMS 샤딩(R) + RDBMS Master for (CUD) + Kafka (Message Queue for Data Sync) + Redis(Memory Cache) + MicroService (Scale Out WAS for 복잡한 Business Logic 의 Application layer 처리 ) + Machine Learning/Deep Learning Training/Serving Layer Auto Scale Out Infra 구성 (예, Tensorflow,CNTK Serving PaaS 혹은 flask Serverless Microservice) + 기타(Docker, K8S, DevOps…) 1세대 2세대 3세대 4세대
• 12. 국내 상위 쇼핑몰 정도 트래픽, 요즘 트랜디한 개인화 추천 정도 하려고 해도… • 더 이상 Data Analytics 자체는 경쟁력이 아니다. • 더 이상 Machine Learning 자체는 진입 장벽이 아니다. • Deep Learning 은 아직까지는 경쟁력이나, 점점 툴이 막강해지고, 쉬워지고 있다. • BigData Scale Machine Learning 도 경쟁력이다. (최신성 + Big Scale + 개인화) • 더 더 어려운 문제는 Advanced Analytics 의 결과물을 개인화 하여 노출하고, 그 반응을 다시 실시간으로 모델에 리턴 하여, 그로부터 즉각적인 원순환 시스템을 만든 것 이다. (예, 고객 실시간 검색 히스토리, 클릭 스트림 에 반응하는 Dynamic 한 개인화 추천. 개인화 된 Dynamic Pricing 모델, Enterprise Full Stack Chatbot 등) • Machine Learning / Deep Learning 시스템에 있어서 Serving Layer 의 중요성 BigData + MicroService + DevOps + Auto Scale Out Training + Auto Scale Out Serving 은 Best Production AI 를 위한, 선택이 아닌 필수
• 13. Best Production AI [1]~[4] 각 레이어의 관계는? • [1] RDB Sharding, Web, App, Front Tech… 는 기본 중에 기본. • [2] BigData, NoSQL, Microservice, Analytics 는? • [3] AI(Machine Learning, Deep Learning) Training 은? • [4] AI Serving 은? 실시간 AI 서비스는? 각각 경쟁관계가 아님. 상호 보완 관계. [1] RDB, Web, App, AI Front [2] BigData, NoSQL Microservice, Analytics [3] AI Training BigData NoSQL/Spark NoSQL/ Spark Streaming/ Microservice/ RDB Sharding [4] AI Serving 고로, 종합 예술이다! Engineering Art 다!
• 14. Cutting-Edge Technology 로 좀더 Drill Down [2] BigData & NoSQL & Lambda Architecture ( Spark, Hadoop, Kafka, Nifi, Cassandra, Redis, ELK, etc…) [3] AI > Machine Learning > Deep Learning (Tensorflow, MXNet, Keras, CNTK, BigDL, Horovod, etc…) [4] Cloud, DevOps(CI/CD), Realtime Serving (Docker, Kubernetes, Microservice, Severless, PaaS/BaaS, etc…) • [2]를 만난 [3] 에 대하여, • [3]을 보완하는 [4]에 대하여, • [4] 의 즉각적인 서비스 결과 및 개별 반응이, 다시 [1][2] 로…
• 15. 그렇다면… 이를 어떻게 구현 할 것인가? Production AI on Cutting-Edge Technology
• 16. 각각의 관계를 도식으로 표현해보자. Docker, Kubernetes, Microservice… Serverless, DevOps, Auto-Scale-Out, CI/CD … NoSQL, Streaming, Real-time AI Serving Cloud / PaaS /BaaS / SaaS / Serverless Cloud / PaaS /BaaS / SaaS / Serverless
• 17. Open Source 진영에서는 어떻게??? Production AI with Cutting-Edge Technology
• 18. Training => Inference => reacting Log => 다시 Training Horovod, etc… TensorflowOnSpark, BigDL etc…
• 19. MLFlow (원순환구조) By databricks 자료출처 : Spark + AI Summit 2018 • Goal https://github.com/mlflow/mlflow/
• 20. MLFlow (원순환구조) By databricks 자료출처 : Spark + AI Summit 2018 https://github.com/mlflow/mlflow/
• 21. BigData진영 대표주자 Spark의 진화 => BigData 에서 BigData + AI 로… Spark Summit 2017 에서도 이미…
• 22. Public Cloud 와의 Collaboration! Production AI & Cutting-Edge Technology On Azure
• 23. Training => Inference => reacting Log => 다시 Training Azure Batch AI Horovod => (Keras, Tenosrflow, CNTK) , etc… Databricks on Azure TensorflowOnSpark, BigDL etc…
• 24. Project Hydrogen By databricks On Azure
• 25. Project Hydrogen By databricks On Azure
• 26. Apache Spark + HDInsight IO Cache On Azure ( For 9X speed up ) Azure HDInsight IO Cache is available on Azure HDInsight 3.6 and 4.0 Spark clusters on the latest version of Apache Spark 2.3.
• 27. 우리는 어떻게 하고 있나? SSG.COM Use Case! Production AI & Cutting-Edge Technology On Azure
• 28. SSG 2.59조. 흑자전환성공(2018년) 쿠팡 2016 년 1.9조 , 5600억 적자. Our Volume … (SSG.COM)
• 29. 우리가 했던, Engineering Art 들… For BigData & NoSQL & Distributed AI Training 5~6 년 전 부터 …
• 30. 우리가 했던, Engineering Art 들… For Realtime Analytics & Lambda Architecture 3~4 년 전 부터 …
• 31. BigDL & TensorflowOnSpark On On-Premise Spark Cluster 2~3 년 전 부터 …
• 32. Horovod By Uber On Azure Batch AI 1 년 전 부터 …
• 33. 우리는(SSG.COM) 어떻게 했는가? • 과거를 분석 한다. (BigData Eco System Infra) • 트래킹 로그를 남긴다. • 빅데이타 수집 저장 분석을 위한 인프라를 만든다. • 빅데이타 배치로 과거 시계열 분석을 하고 시각화를 한다. • 현재에 반응 한다. (RealTime Layer / kafka , Spark Streaming / ELK) • 실시간으로 데이터 스트림을 분석한다. • FDS, 보안관제, 모니터링 등 즉각적으로 현재 상황에 대처하여 현재를 능동적으로 대비한다. • 미래를 예측 한다. (Mining / Machine Learning / Deep Learning R&D) • 고객이 관심 갖고 있고 곧 살 것 같은 것을 추천한다. • 미래에 집행할 광고 및 제휴 채널 예산을 보다 ROI 높게 배분한다. • 발주를 예측한다. • 최적의 트럭 경로를 예측한다. • 가격을 올릴지 말지 얼마나 세일할지 최적의 가격을 예측한다. • 미래 예측을 고도화 한다. (Machine Learning / Deep Learning Production) • Chatbot • 자연어 활용, 이미지 활용 -> 검색 및 추천 고도화 • NLP , Item2Vec, etc… • 미래 예측에 개인화 및 실시간성을 더한다. (BigData Scale Deep Learning) • 다중 접속자를 위한 개인화 Deep Learning 서비스. • BigData Scale Training , BigData Scale Inference. • Auto Scale Out 모델 배포, 무중지 Deep Learning 모델의 진화 및 원순환 배포. • 기존 Machine Learning , Deep Learning 모델의 freshness , personalization 고도화. 5~6년 전 3~5년 전 1~2년 전 2~3년 전 요즘 순서가 있고, 단계가 있고, 아랫 기술은 윗 기술로부터 시너지가 나더라….
• 34. Finally, We made BigData Scale AI Infra on Hybrid Cloud. Public cloud Hadoop / NoSQL Spark / Anaconda Spark ML Mahout Sk-learn/gensim Tensorflow/CNTK TensorflowOnSpark Kera s On-Premise Spark On-premise Serverless / K8S PaaSServerless PaaS & AI Infra Microservices Web/Was Docker / BaaS 각종 PaaS AI BaaS/SaaS PaaS App Container PaaS GPU Container ML/DL PaaS & BigData Lake PaaS & GPU Notebooks 4~5년 전 2~3년 전 최근 최근의 아키텍처 …
• 36. Auto Scale Out & Auto Scale Down 무중지 배포 SSG.COM Use Case! Production AI & Cutting-Edge Technology On Azure
• 37. Deep Learning Dev Infra On VM (for Dev/QA)
• 38. Auto Scale Out / 무중지 배포 Deep Learning Training & Serving On Serverless FaaS/BaaS/PaaS (Zero VM) (for Production) Azure Web App For Linux Docker Team Service
• 39. 100% Serverless PaaS + BaaS(Docker) + FaaS Production AI Performance! SSG.COM Use Case! Production AI & Cutting-Edge Technology On Azure
• 40. Keras Scale Up vs. Horovod Scale Out On Azure Batch AI(GPU) Performance Comparison. My Blog : http://hoondongkim.blogspot.kr/2018/01/deep-learning-multi-host-multi-gpu_11.html On Azure Batch AI (GPU)
• 41. Deep Learning Online Inference Load Test CPU vs GPU (1 time Inference. BatchSize=1) My Blog : http://hoondongkim.blogspot.kr/2017/12/deep-learning-inference-serving.html CPU Serving : 1 Machine 265 TPS GPU Serving : 1 Machine 16 TPS CPU 1000 Times Serial Execution GPU 1000 Times Serial Execution Load Test Result! On Azure DSVM (GPU) 병렬성이 약한 LSTM 예
• 42. Deep Learning Inference Performance! (On Docker Microservice) 성능에 대하여 … My Blog : http://hoondongkim.blogspot.kr/2017/12/deep-learning-inference-serving.html • Azure Data Science VM Performance • Azure Web App for Linux Docker Performance • Auto Scale Out Features [Quiz] What are the **** ?
• 43. BigData Scale AI & Data Science Polyglot 중요성 SSG.COM Use Case! Production AI & Cutting-Edge Technology On Azure
• 44. SSG.COM Distributed R on Spark 1 Machine on MS-SQL Server 7 Machine on Spark Cluster Y축 : Elapsed Time 낮을 수록 성능 좋음. 8Core – 65GB Memory. 7 Machine. Polyglot! BigData Scale R
• 45. SSG.COM Python Machine Learning on Spark Polyglot! BigData Scale Python
• 46. Jupyter on Azure DSVM SSG.COM Jupyter Notebook 도 BigData Scale 로 Jupyter on Azure Notebooks Polyglot! BigData Scale Jupyter Notebook
• 47. SSG.COM BigDL GPU Memory Resource 가 문제될 때는 BigData Scale Large Cluster Parallel Deep Learning Approach with BigDL • BigDL Deep Learning Job on Hadoop Yarn Manager (by Spark Job) Polyglot! BigData Scale Scala Deep Learning
• 48. SSG.COM BigDL GPU Memory Resource 가 문제될 때는 BigData Scale Large Cluster Parallel Deep Learning Approach with BigDL • BigDL Deep Learning Text Classification Polyglot! BigData Scale Scala Deep Learning BigDL Deep Learning은 Memory Resouce 를 BigData Scale 로 확장 가능.
• 49. SSG.COM TensorflowOnSpark Tensorflow 의 Legacy Code를 활용한 BigData Scale Deep Learning은? • TensorflowOnSpark 수행 결과 Polyglot! BigData Scale Python + Tensorflow Deep Learning
• 50. SSG.COM Tensorflow + CNTK + Keras + Horovod + Azure Batch AI Tensorflow(or CNTK) + Keras + Horovod + Azure Batch AI => Multi GPU + Multi Host , Distributed Deep Learning Training My Blog : http://hoondongkim.blogspot.kr/2018/01/deep-learning-multi-host-multi-gpu.html
• 51. SSG.COM Tensorflow + CNTK + Keras + Horovod + Azure Batch AI Tensorflow(or CNTK) + Keras + Horovod + Azure Batch AI => Multi GPU + Multi Host , Distributed Deep Learning Training My Blog : http://hoondongkim.blogspot.kr/2018/01/deep-learning-multi-host-multi-gpu.html Polyglot! BigData Scale Python + Tensorflow + CNTK + Keras + Horovod Muti Host, Muti GPU, Distributed Deep Learning (Auto Scale Out & Scheduling Batch Process) On Azure Batch AI
• 52. SSG.COM 라이브러리나 패키지가 없을 때는 직접 구현… 복잡한 알고리즘의 고성능(Python 은 느려서…) 구현은 Java 가 좀 쉽긴 함. But, 병렬성을 고려한 처리는 Java 로 구현 하는것에 한계. 병렬성, 고성능을 위해서는 Scala + Spark RDD 로… Polyglot! BigData Scale Java(algorithm) + Scala(RDD) + On Spark (Distributed In-memory) Algorithm Internal 은 Java RDD Map Looping 은 Scala
• 53. SSG.COM 라이브러리나 패키지가 없을 때는 직접 구현… 복잡한 알고리즘의 고성능(Python 은 느려서…) 구현은 Java 가 좀 쉽긴 함. But, 병렬성을 고려한 처리는 Java 로 구현 하는것에 한계. 병렬성, 고성능을 위해서는 Scala + Spark RDD 로… One Source, Multiple Language. 이건 Java, 나머지는 Scala… Language 섞어 쓰기 신공… Polyglot! BigData Scale Java(algorithm) + Scala(RDD) + On Spark (Distributed In-memory)
• 54. SSG.COM C# Azure Function 의외로… Microservice & Serverless 에서 장점이 많은 C# • Java Serverless 는 • Java Library 하위호환성 취약성으로 확장성 결여. • Python Serverless 는 • 낮은 성능 퍼포먼스. • 비동기, 쓰레드 취약. • docker 확장 배포 시 pip install. 이 과정에서 Java python 패키지나 일부 C Python 패키지는 설치 Dependency 문제 발생. (예, Jpype 패키지, OS Dependency, Driver Dependency) • Node.js Serverless 는 • 낮은 성능 퍼포먼스. • C# Serverless 는 • 높은 성능 퍼포먼스. • 비동기 강점. • 강한 하위호환성. • Library 호환성. • DLL 패키징을 통한 배포 확장 용이 Polyglot! BigData Scale Serverless + Microservice + CI/CD + C# Azure Function!
• 55. 요즘 Cutting-Edge 기술들이 나오게 된 배경 Microservice, Serverless, Cloud, PaaS, BaaS, DevOps … BigData PaaS, NoSQL PaaS … Machine Learning & Deep Learning … Realtime Lambda Architecture … For Better Production AI … 결국, AI 시대의 발현과 무관하지 않았음! 결론
• 56. AI시대에 임하는 Developer 에게…
• 57. 집단 지성의 힘! 검증된 것들을 MashUp! 핵심경쟁력이 아닌 것은 빠르게 하는 것이 더 좋음…. (Over Engineering 방지) (Open Source + Cloud PaaS) 요즘 가장 Hot 한 Develop 방식들이 추구하는 것들… • No-Ops(or Dev Ops, Agile, Serverless, Microservices… 이게 목적이 되면 안됨. 수단일 뿐.) • Scale(유연한 Scale Out, Scale Down, 유연성, 확장성) • Low Cost(개인화와 최신성, 최신 기법 적용을 위해 필수적 요소) • Performance (동접 성능, 모델 성능, 개발생산성) 다 직접 개발하는 것이 능사는 아니다!
• 58. Low Cost & Agile & Serverless 접근 방법에 대하여 1 Docker , 1시간에 얼마? 1달에 얼마? 1,000,000 Transaction 에 얼마??? 이 단계로 포팅하려면, Deep Learning Output 그래프 노드 값을 Graph DB 화 하거나, Hash DB 등 으로 inverted-Index 화 해야 하며, 고 난이도의 Engineering 작업이 수반 됨. 딥러닝 모델러는 Graph DB, Microservice 를 모르고…, NoSQL 개발자는 딥러닝을 모르고… GPU VM > CPU VM > GPU Docker > CPU Docker > K8S PaaS > Docker PaaS > Docker BaaS > ML BaaS > Serverless Microservice GPU on-premise 1 GPU VM , 1 달에 얼마? 이 단계로 되면, 알리바바 Scale의 Front AI 서비스가 매우 빠르고 매우 저렴하게 적용 가능. Deep Learning Framework 자체는 여기 까지만 구동 가능 Production AI 는 모델링 보다 Engineering 이 더 어렵다. Production AI 는 Engineering Art 에 가깝다. Cloud 를 잘 활용한다면, 개발자가 유리한 부분이 많다!
• 59. AI시대에 임하는 BigData Engineer 에게…
• 60. Production A/B Test 에서 중요한 것! Sample Data, Selected Feature 정교한 모델 주1회 or 일1회 모두에게 적용하는 정교한 단일 모델 최고 정확도 VS 더 많은 Data(or 전수 Data)에 적용하는 Simple 모델 최신성 (매 시간 or 준실시간) 개인화 모델 덜 정확해도 빠르고, 다수에게, 실시간으로… 논문 쓸 때랑, Kaggle 할 때와 달라요!
• 61. SSG.COM ***예측(회귀) 모델 (By BigData + AI) Item Average Accuracy 68% 90% 49% 38% Regression / Python Decision Tree / Python 초기방 식 / 15일 컬럼 4개 사용 / 15일 컬럼 6개 사용 / 15일 Random forest / Python 컬럼 6개 사용 / 15 일 Time Series Deep Learning + TensorflowOnSpark 컬럼 26개 사용 / 3년 Random forest /Spark ML 컬럼 6개 사용 / 3년 Rule Python BigData + ML XGBoost / Python 컬럼 6개 사용 / 15 일 3년 데이터. Incremental Continuous Learning. Time Series Deep Learning Tensorflow + Spark (Scale Out) Single Host + DL BigData + DL 컬럼 26개 사용 / 15일 Time Series Deep Learning / Tensorlfow Data 크기 /병렬성 Data 크기 /병렬성 For 최신성 Locally Weighted Regression
• 62. AI시대에 임하는 Manager, Leader 에게…
• 63. AI 시대에 리더가 임하는 자세! • Think Big. • 길게 보고 Plan을 세우자. • 당장의 효과에 연연하지 말자. • Bottom Up! ( Not Top Down! ) • 유행에 편승해서, 혹은 윗 분들의 지시에 의해서가 아닌, • 실무자(Self Motivated 된)들에 의해 기획,개발 하고, • 내부 내재화를 고려하며 지속적 고도화 하도록 하자. • 작게 그리고 빠르게 시작하자. • 데이터를 빨리 쌓는게 더 중요. • 모델이 진입장벽이 아니라, 데이터가 더 진입 장벽.( Bigdata Infra 중요) • Mashup 하고, 결합 Merge 하고, 반복 개선 시키자. 그럼 Top 에서 할 일은? • Motivation. 동기부여. • 환경조성. • 방향성 부여. • Self Motivated 된 직원들에게 길을 열어주는 것. • 강요가 아닌 마음을 움직이는 것이 필요. 때로는 내재화보다, 기민함이 더 중요할 수 있으며, Cloud PaaS 는 이 경우 Key Factor 가 될 수 있음.
• 64. Thank You • 기타 문의는… • http://hoondongkim.blogspot.kr • https://www.facebook.com/kim.hoondong Q & A 4층 로비 왼편 안쪽 MVP 부스(Ask the Expert 부스)