AR/VR 기술 트렌드와 Immersive Web 동향

AR/VR 기술 트렌드와 Immersive Web 동향 from iamhjoo (송형주)

• 1. 0 송형주 매니저 ICT 기술원, 미디어 기술원, AR/VR Lab. SK Telecom AR/VR 기술 트렌드와 Immersive Web 동향
• 2. 1 Introduction AR / VR
• 3. 2 드래곤볼 스카우터 주변 환경/인물 등을 분석해서 정보를 제공하는 장치
• 4. 3 Poketmon GO 주변 환경(도로 바닥)에 포켓몬이 있는 것처럼 보여줌
• 5. 4 Snow 얼굴 정보를 인식해, 필터를 적용하거나 스티커 이미지를 붙여줌
• 6. 5 사용자가 눈으로 보는 현실세계에 가상 컨텐츠를 겹쳐 보여주는 기술이다. AR(증강현실)이란? 현실 세계 가상 컨텐츠 드래곤볼 스카우터 상대편 전투력 정보 Pocketmon GO 주변 환경 포켓몬 Snow 얼굴 필터 / 스티커
• 7. 6 AR 이 추구하는 사용자 경험의 궁극적인 목표 “가상의 컨텐츠가 현실처럼 느끼도록 있도록 하는 것” Reality (현실) Augmented Reality (증강 현실) 가상 컨텐츠가 현실 위에 나타나는 컨셉
• 8. 7 VR (가상 현실)이란? 영화 <레디플레이어 원>
• 9. 8 VR이 추구하는 사용자 경험의 궁극적인 목표 “사용자가 가상의 경험을 마치 현실처럼 느끼게 하는 것” 사용자가 가상 현실 속으로 들어가는 컨셉 영화 <레디플레이어 원>
• 10. 9 AR / VR trend
• 11. 10 AR 활용 사례 - 방송 (@롤드컵 2017) https://www.youtube.com/watch?=t97kVnrK9
• 12. 11 AR 활용 사례 - 방송 (@롤드컵 2018) https://www.youtube.com/watch?v=p9oDlvOV3qs
• 13. 12https://www.youtube.com/watch?v=q01vSb_B1o0 AR 활용 사례 - 방송
• 14. 13 AR 활용 사례 ­ AR Navigation https://www.youtube.com/watch?v=j9axOvBIykk
• 15. 14 AR 활용 사례 ­ Google AR Sticker (AR 기반 영상 저작앱) https://www.youtube.com/watch?v=DoS7VwKd0Ys
• 16. 15 AR 활용 사례 ­ AR Angry Birds
• 17. 16 AR 활용 사례 ­ AR Sports https://www.youtube.com/watch?v=TjbtH_MxDQI
• 18. 17 T 전화 ‘콜라’ 서비스 - AR 기반 영상통화 서비스
• 19. 18 VR 활용 사례 ­ Facebook Spaces “VR은 서로 다른 공간의 사용자들이 가상의 공간에서 만나서 서로 소통하고 컨텐츠를 공유하는 새로운 경험의 소셜 플랫폼으로 활용될 것이다” Mark Zuckerberg (@F8 2016.4) 같은 가상의 공간, 모임, 대화, 함께하는 활동, 원격 회의, Multi-player Game…
• 20. 19 VR 활용 사례 - 이벤트
• 21. 20 VR 활용 사례 - 이벤트 https://youtu.be/-C19Lg5k_-A
• 22. 21 VR 활용 사례 - KT GIGA Live TV https://www.youtube.com/watch?v=XRtCf3EfiWw
• 23. 22 VR 활용 사례 - Oksusu social VR https://www.youtube.com/watch?v=ZZGKGs44yg4
• 24. 23 VR 활용 사례 - VR 게임방 / VR 테마파크
• 25. 24 Core Technologies of AR/VR
• 26. 25 Rendering Display (Device) 일반적인 컨텐츠 처리 Flow Interaction 컨텐츠를 생성해서 화면에 보여준다 사용자 입력을 처리 Contents
• 27. 26 Tracking Rendering Display (Device) AR/VR 컨텐츠 처리 Flow Interaction 사용자 위치 파악 / 주변 환경 분석 컨텐츠를 생성해서 화면에 보여준다 사용자 입력을 처리 Contents
• 28. 27 AR/VR 핵심기술 (1) - Display/Devices Tracking Rendering Display (Device) Interaction Contents
• 29. 28 AR/VR별 Display 종류 HMD 스타일 (Closed) Glass 스타일 (Open) ARVR
• 30. 29 PC VR 고성능 PC에 HMD, 컨트롤러, 트래킹 센서를 연결하는 방식
• 31. 30 스마트폰을 HMD에 장착하는 방식 Mobile VR
• 32. 31 VS 고성능 PC 기반 HMD 스마트폰 기반 HMD PC VR vs Mobile VR High Performance Mobility
• 33. 고성능 + 이동성을 동시에 만족할 수는 없을까??
• 34. 33 Lenovo Mirage Solo (2018.5 출시, $199) Standalone VR
• 35. 34 Standalone VR Comparison
• 36. 35 AR용 Display는?? 현재까지는 스마트폰이 대세임
• 37. 36 AR용 Display ­ 최적의 디바이스는 안경 형태 구글 글래스 (단안) MS 홀로렌즈 (양안)
• 38. 37 2005년 Google이 약 1조원 투자 AR용 Display ­ Magic Leap 2018.3월 발표
• 39. 38 AR/VR 핵심기술 (2) - Rendering Tracking Rendering Display (Device) Interaction Contents
• 40. 39 AR/VR Contents의 실감나는 3D Object의 표현 및 Motion, Animation이 중요하여, 사용성이 좋고 고성능 Rendering Engine을 탑재한 3D Game Engine이 핵심 Player로 각광받고 있음 AR/VR 핵심기술 (2) - Rendering 3D Game Engine
• 41. 40 주변 환경 등을 고려해서 컨텐츠를 좀더 현실감있게 보여주는 기술 [ Light Estimation ] [ Occlusion ] [ Reflection] AR/VR 핵심기술 (2) - Rendering Realistic Rendering
• 42. 41 AR/VR 핵심기술 (3) - Tracking Tracking Rendering Display (Device) Interaction Contents AR이든 VR이든 결국 공간 속에 컨텐츠를 보여주는 기술이므로, 공간 내에서 사용자의 위치가 어디인지를파악/추적하는 것이 매우 중요함
• 43. 42 Tracking ­ 공간에서 사용자의 움직임을 파악하는 두가지 요소 내가 고개를 돌리면, 내가 보는 화면도 회전해서 보이는 방식 Rotation TrackingPosition Tracking 내가 전후 좌우로 움직이면, 내가 보는 화면도 전후 좌우로 움직이는 방식
• 44. 43 Rotation Tracking (3DoF Tracking) 기어VR을 쓰고, 걸어다닌다면??기어VR을 쓰고, 고개를 돌리면?? 컨텐츠는 그냥 제자리 모바일 VR은 주로 Rotation Tracking만을 지원 컨텐츠가 시점에 따라 회전
• 45. 44 Positional Tracking + Rotation Tracking (6DoF Tracking)
• 46. 45 Outside-in Positional Tracking Inside-out Positional Tracking 6Dof Positional Tracking의 두가지 방식? 주로 PC VR에 많이 사용 Mobile, Standalone VR에 적합
• 47. 46 HTC Vive (Outside-In Tracking 방식)
• 48. 47 iOS ARKit (Inside-out Tracking 방식)
• 49. 48 iOS와 Android 플랫폼 내 AR Tracking 기능이 기본 탑재~ ARKit 안드로이드 iOS
• 50. 49 Face Tracking face landmark recognition blend shape estimation + face retargeting
• 51. 50 AR/VR 핵심기술 (4) - Interaction Tracking Rendering Display (Device) Interaction Contents
• 52. 51 어느 쪽이 더 몰입감이 있을지?? 시각 중심의 VR Interaction 중심의 VR
• 53. 52 VR Interaction - 가상 공간에서의 사용자 입력 처리
• 54. 모션 컨트롤러 기반의 Smart Interaction 사례 - Google Tilt Brush https://youtu.be/TckqNdrdbgk
• 55. 제스처 인식 기반의 Smart Interaction 사례 - Leap Motion https://youtu.be/6MivRLfbKYs
• 56. 전용 장비를 통해 현실적 체험을 강화한 VR 사례 - Virtuix Omni https://youtu.be/rdRZMGcA4zs
• 57. 56 AR에서의 사용자 입력 처리 ­ MS Hololens Gaze Pointer 사용자가 바라보는 지점에 커서 생성 Gesture Voice 앱 실행, 입력 처리, 드래그 앤 드롭 음성을 통해 명령
• 58. 57 AR/VR 핵심기술 (5) - Contents Tracking Rendering Display (Device) Interaction Contents
• 59. 58 AR/VR은 결국 컨텐츠 기반 서비스이므로, 3D 모델 등 다양한 리소스들을 활용해서 AR/VR 컨텐츠를 보다 쉽게 저작 및 활용할 수 있게 해주는 저작 도구 기술 개발이 한창 [ VR 기반 3D 컨텐츠 저작도구 ] [ 3D 컨텐츠 Repository ] Google Blocks (‘17년 7월 발표) Google Poly (‘17년 11월 발표) AR/VR 핵심 기술 (5) - Contents Contents Authoring
• 60. 59 AR/VR 핵심기술 (6) - Network Tracking Rendering Display (Device) Interaction Contents Network
• 61. 60© SK telecom, Immersive Media Lab - Strictly Confidential T real Telepresence (Remote AR 의료 협진 시연) https://www.youtube.com/watch?v=ow04FyQg100 원격에 있는 다수의 의료진이 환자의 3D 데이터를 AR로 보며 협진하는 원격 Communication AR 서비스 기술을 개발하여 SKT 5G 혁신센터에서 전시함 T real Telepresence 원격 협진 (‘15.10)
• 62. 61© SK telecom, Immersive Media Lab - Strictly Confidential T real Game https://youtu.be/_m1-MNOYoOE T real Telepresence 기능을 활용한 원격 AR 대결 Game으로 각각 참여자가 흑마왕/백마왕 역할을 하며 자기 팀을 도와주는 MMORPG Game을 시연함 T real AR Game (‘16.6)
• 63. 62© SK telecom, Immersive Media Lab - Strictly Confidential ▪ AR/VR을 활용한 원격 협력 및 통신 Framework ▪ 다수의 사용자가 동일한 Hologram을 공유하고 상대방의 정보를 Avatar 형태로 표시 https://youtu.be/lTKMQU8p6tE T real Telepresence (‘17.2)
• 64. 63© SK telecom, Immersive Media Lab - Strictly Confidential 함께 보는 시청 패러다임 다수의 사용자가 같은 VR 공간에 모여 Oksusu 미디어 콘텐츠 소비 경험을 함께 하는 서비스(’18년 10월 상용화) 함께 시청하기 광고 등 커머스 연동 아바타 플랫폼 확장 Oksusu Social VR
• 65. 64 Immersive Web 동향
• 66. 65 AR 상용화의 허들 - 컨텐츠 부재
• 67. 66 Web은 AR 컨텐츠 저작의 주요 요소가 될 것임
• 68. 67 Helio - browser for Spatial web content
• 69. 68 https://www.youtube.com/watch?v=nTfhmJrRt_Y Helio Demo
• 70. 감사합니다