[정보] 네트워크 가상화를 통한 효율적인 빅데이터 처리

날고싶은 커피향

네트워크 가상화를 통한 효율적인 빅데이터 처리 관련 자료입니다. 

내용 참고 하시기 바랍니다. 

네트워크 가상화를 통한 효율적인 빅데이터 처리 from 정명훈 Jerry Jeong

Transcript

1. 네트워크 가상화를 통한 효율적인 빅데이터 처리 정명훈 이사, 오픈소스컨설팅

2. 제가 최근 작업 중인 내용들... 다른 듯 하면서도 연관된 것들 2 SDN/NFV, 네트워크 가상화 OpenStack, Cloud Internet Of Things & Big Data M2M Data Collection & Business Intelligence(BigData) on Cloud

3. 세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA 3

4. 세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA • Domain 2.0 (공급망 관리) • 개방형 표준 네트워크 아키텍처로의 변화 • "트래픽 증가 + 수익 정체" 트래픽 증가에 비해 수익성은 정체 !! 4 자료 출처: Ericsson, Internet Trends, KPCB

5. 세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA • Domain 2.0 (공급망 관리) • 개방형 표준 네트워크 아키텍처로의 변화 • "트래픽 증가 + 수익 정체" • 11억 명의 사용자 (7.2억명 매일 로그인) • 매일 47억 개 컨텐츠 추가 (45억 번의 '좋아요') •"1명의 시스템 관리자가 20,000대의 서버 관리" • 통상 기존의 관리/모니터링 시스템으로 한 명이 관리할 수 있는 한계는 수 백대 수준 • 관리/모니터링 시스템의 로그와 메트릭들을 분석해서 자동적인 상황 파악 및 Notification이 가능하다면 수 천대까지 관리 가능 • 수 만대까지 관리를 위해서는 장애에 대한 자동 복구까지 가능해야 함. 페이스북은 현재 장애 발생 시 자동 복구까지도 가능한 시스템 구축 5

6. 세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA • Domain 2.0 (공급망 관리) • 개방형 표준 네트워크 아키텍처로의 변화 • "트래픽 증가 + 수익 정체" • 11억 명의 사용자 (7.2억명 매일 로그인) • 매일 47억 개 컨텐츠 추가 (45억 번의 '좋아요') •"1명의 시스템 관리자가 20,000대의 서버 관리" • 다양한 구글 서비스 (e.g. Youtube, Google Apps) • 수 백만 대의 서버 + 세계 최대의 네트워크 트래픽 • "G-Scale (SDN 네트워크 기반 데이터센터 백본)" 6

7. 세상 변하는 이야기... 2014년 10월... Dallas, Texas, USA SDN(OpenFlow)으로 구축된 Google의 글로벌 데이터 센터 네트워크 •G-Scale: 데이터 센터 간(East-West Traffic) 처리 • 리소스가 가용한 곳으로 트래픽 분산 • 심지어 전기 요금이 싼 시간에는 해당 국가로 트래픽 분산 • 구글 데이터센터의 PUE(전력 이용 효율)는 1.1, 일반적인 데이터 센터 평균 1.5~1.7 • 다양한 구글 서비스 (e.g. Youtube, Google Apps) • 수 백만 대의 서버 + 세계 최대의 네트워크 트래픽 • "G-Scale (SDN 네트워크 기반 데이터센터 백본)" 7

8. 8 SDN/NFV USA Summit 키워드 Programmable Orchestration Convergence

9. 네트워크 가상화

10. 10 네트워크 가상화 자료 출처: Hype Cycle 2014, Gartner

11. 11 네트워크 가상화 전체 아키텍처 Application, Policy Network OS (NFV) Orchestration (e.g. Open Stack + Open Daylight) Hardware Abstraction Layer Hardware (OpenFlow Switch) Physical Service VMs SDN

12. 12 SDN(Software Defined Network) 전체 네트워크를 컨트롤 하는 Application (예) Google G-Scale 네트워크 정보를 가지고 하위 데이터 플레인을 제어하는 컨트롤 플레인 실제 패킷 전송 역할을 하는 데이터 플레인 자료 출처: ONF(Open Networking Foundation) 기존 네트워크는 이 부분이 분리되지 않았음 - 네트워크 장비의 부하가 큼 (고비용) - 전체적인 가시성 확보 어려움 (비효율)

13. SDN의 Navigation 비유 – 현재의 네트워크 현재의 각 라우터는 들어온 패킷을 다음 단계(Tier)를 어디로 보내야 할지 정보만 가지고 있음. 즉, 각 구간 별 정보만 보고 단계적으로 목적지까지 패킷이 이동 13

14. SDN의 Navigation 비유 – SDN 기반 지능형 네트워크 14

15. SDN의 Navigation 비유 – SDN 기반 지능형 네트워크 SDN Controller는 마치 Navigation처럼 전체 네트워크에 대한 정보를 가지고 있으므로 최단 거리 운행. 심지어 일부 트래픽은 A 루트로, 일부는 B 루트로, 나머지는 C 루트로 보내는 등의 지능적인 트래픽 분산도 가능 15 20% 30% 50%

16. NFV(Network Function Virtualization) 가상 라우터 가상 파이어월 가상 VPN 가상 스위치 가상 NAT 16 상단 그림 출처: Virtual Cloud Networking, AT&T Virtualization (RHEV, Vmware, Xen, KVM, …) 기존 전용 장비(Appliance)에서 동작하던 네트워크 기능(라우터, VPN, 파이어월 등)을 소프트웨어만 분리해서 일반적인 X86 장비나 가상머신에서 동작하게 하는 함

17. 네트워크 가상화와 클라우드 통합

18. Open Daylight (SDN 관련 오픈소스 표준화 프로젝트) 리눅스재단 주도하고 다수의 OS, 서버, 네트워크 벤더(BigSwitch,Cisco, Citrix, Erricson, IBM, Juniper Networks, Microsoft, NEC, RedHat, Vmware 등) 참여 개방형 인터페이스로 OpenDaylight 기반 인터페이스 구현된 모든 장비 상호 운영 가능 중심이 되는 SDN 플랫폼과 애플리케이션을 통해 그것을 자유롭게 제어할 수 있는 "NorthBound 인터 페이스", 다양한 SDN 기반 네트워크 장비들을 제어할 수 있는 "SouthBound 인터페이스" 제공 18 자료 출처: www.opendaylight.org NorthBound 인터페이스 SouthBound 인터페이스

19. OpenStack Neutron – SDN Integration OpenDaylight의 두 가지 인터페이스  NorthBound API – SDN 응용 애플리케이션, 오케스트레 이션(e.g. OpenStack)  SouthBound API – OpenFlow 기반 스위치 제어 OpenDaylight의 NorthBound 서비스  Cloud 데이터 센터와 통합  OpenStack Neutron과 상호 작용 가능  OpenStack은 SDN 제어 관련 복잡한 부분을 OpenDaylight에 위임 19 NorthBound 인터페이스

20. OpenStack Neutron – NFV Integration(플러그인 아키텍처 ) 가상네트워크의 실제 생성 작업은 플러그인 Agent가 담당  각 NFV 벤더들은 Neutron을 위한 다양한 플러그인 제공  오픈스택은 Reference Implementation로 Linux Bridge와 Open vSwitch 플러그인 제공 20

21. 초 연결 사회와 빅데이터 Hyper Connected Big Data

22. 초 연결 사회 (Hyper Connected Society) (근거리 센서 데이터) (원거리 데이터 센터) 22 미들웨어 Gateway BigData & DW  비정형, 대용량 데이터 처리  대용량 데이터 Wifi Zigbee Bluetooth NFC Beacon MQTT CoAP TCP/IP TCP/IP 데이터 시각화

23. 초 연결 사회 (Hyper Connected Society)  사물인터넷(IoT, M2M) (근거리 센서 데이터) (원거리 데이터 센터) 23 미들웨어 Gateway BigData & DW  비정형, 대용량 데이터 처리  대용량 데이터 Wifi Zigbee Bluetooth NFC Beacon MQTT CoAP TCP/IP TCP/IP 데이터 시각화

24. SDDC(Software Defined Data Center란?) 이미 많은 발전이 이루어진 컴퓨팅, 스토리지 분야의 가상화와 함께 네트워크 가상화 기술인 SDN/NFV의 발전을 전재로 현재 주목 받고 있는 것이 바로 미래 데이터센터의 모델의 하나인 '소프 트웨어 정의 데이터센터(Software Defined Datacenter)'이다. 소프트웨어 정의 데이터센터는 서버, 스토리지, 네트워킹, 보안 시스템, 관리 솔루션 등 데이터센터의 모든 구성요소들을 가상화하고, 이러 한 가상화 환경의 인프라를 소프트웨어로 자동 통제 및 관리하는 것을 그 기본 사상으로 삼고 있다. 이런 소프트웨어 정의 데이터센터(SDDC)를 구현하려면 IT인프라의 표준 화에 이어 서버, 스토리지, 네트워크, 보안, 관리 및 모니터링 등 전 IT 인프라의 가상화, 그리고 자동화가 이뤄져야 한다. 즉, 모 든 인프라가 가상화되고, 딜리버리는 서비스 방식으로 이뤄지고, 전반적인 통제는 소프트웨어를 이용 해 자동적으로 이뤄지는 곳이 소프트웨어 정의 데이터센터(SDDC)이다. 데이터센터 안에 여러 개의 가 상 데이터센터를 만들 수 있으며, 그것도 수 초만에 구성할 수 있을 것이다. 자료 출처: 클라우드 인프라 소프트웨어정의의 동향, 클라우드 지원센터 24

25. SDDC(Software Defined Data Center란?) 이미 많은 발전이 이루어진 컴퓨팅, 스토리지 분야의 가상화와 함께 네트워크 가상화 기술인 SDN/NFV의 발전을 전재로 현재 주목 받고 있는 것이 바로 미래 데이터센터의 모델의 하나인 '소프 트웨어 정의 데이터센터(Software Defined Datacenter)'이다. 소프트웨어 정의 데이터센터는 서버, 스토리지, 네트워킹, 보안 시스템, 관리 솔루션 등 데이터센터의 모든 구성요소들을 가상화하고, 이러 한 가상화 환경의 인프라를 소프트웨어로 자동 통제 및 관리하는 것을 그 기본 사상으로 삼고 있다. 이런 소프트웨어 정의 데이터센터(SDDC)를 구현하려면 IT인프라의 표준 화에 이어 서버, 스토리지, 네트워크, 보안, 관리 및 모니터링 등 전 IT 인프라의 가상화, 그리고 자동화가 이뤄져야 한다. 즉, 모 든 인프라가 가상화되고, 딜리버리는 서비스 방식으로 이뤄지고, 전반적인 통제는 소프트웨어를 이용 해 자동적으로 이뤄지는 곳이 소프트웨어 정의 데이터센터(SDDC)이다. 데이터센터 안에 여러 개의 가 상 데이터센터를 만들 수 있으며, 그것도 수 초만에 구성할 수 있을 것이다. 자료 출처: 클라우드 인프라 소프트웨어정의의 동향, 클라우드 지원센터 25 Software Defined Computing Software Defined Storage Software Defined Network Software Defined Everything

26. 결론 및 요약

27. Gartner's Nexus of Forces – 작년에 많이 했던 얘기 27 You Were Here !!!! 자료 출처: Gartner

28. 28 Where Are You Today? 자료 출처: Cisco

29. 29 변화의 거대한 물결 가상화, 클라우드 사물인터넷 빅데이터 SDN, NFV, SDDC, … You Are Here !!!!

30. 자료에 도움을 주신 분들 자료 작성을 위해 제가 도움을 받았던 분들입니다. 파이오링크 이장노 실장님  네트워크 기본 지식 및 SDN/NFV로의 변화 트렌드에 대한 자문 나임네트웍스 안종석 전무님  오픈플로우 코리아 활동하시는 SDN 최고의 전문가 분으로서, SDN과 네트워크 가상화 전반 30 적인 부분에 대한 자문 펜타링크 최홍식 수석님  NFV/Vyatta 전문가로서 통전 NFV 프로젝트 진행하고 계시고, NFV에 대한 자문