[정보] 웨어러블 환경에서의 모션 인식: 모션센서 기반의 웨어러블 기기 제어기술

날고싶은 커피향

웨어러블 환경에서의 모션인식을 이해하기 좋은 자료입니다. 

내용 참고 하시기 바랍니다. 

웨어러블 환경에서의 모션 인식: 모션센서 기반의 웨어러블 기기 제어기술 from Jonghoon Seo

Transcript

1. 연세대학교 미디어시스템 연구실 서종훈 / jonghoon.seo@msl.yonsei.ac.kr http://msl.yonsei.ac.kr 웨어러블 환경에서의 모션 인식 : 모션센서 기반의 웨어러블 기기 제어기술

2. i n d e x 1. 모션 인식 기술 1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. 웨어러블 홖경에서의 모션 인식 기술 2-1. 접촉식 모션 인식 기술: MYO 2-2. 비접촉식 모션 인식 기술: Leap Motion 3. 모션센서 기반 웨어러블 기기 제어 기술 발젂 방향 3-1. 더 다양핚 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀핚 인식: 고정밀 인식 3-3. 더 편리핚 인식: NUI Platform 공개 3-4. 더 다양핚 환경: 인식 환경의 변화

3. i n d e x 1. 모션 인식 기술 1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. 웨어러블 홖경에서의 모션 인식 기술 2-1. 접촉식 모션 인식 기술: MYO 2-2. 비접촉식 모션 인식 기술: Leap Motion 3. 모션센서 기반 웨어러블 기기 제어 기술 발젂 방향 3-1. 더 다양핚 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀핚 인식: 고정밀 인식 3-3. 더 편리핚 인식: NUI Platform 공개 3-4. 더 다양핚 환경: 인식 환경의 변화

4. 웨어러블 모션 인식 기술 [1] http://www.invensense.com/mems/motioninterface.html 1. 자세 인식 2. 입력 도구

5. 사용자 싞체의 움직임을 인식하여 컴퓨터와 상호작용하는 기술 모션 인식 기술 [1] http://www.invensense.com/mems/motioninterface.html

6. 모션 인식 기술 동향 Microsoft Kinect 사람의 골격(Skeleton) 정보를 기반으로 제스처 기반 상호작용 제공. 각 골격 정보를 원거리에서 추적하므로 정밀핚 인식 성능은 제공하지 못함. 다양핚 포스처 인식이 불가능하였고(1.7버젂부터 지원), 손에 대핚 추적(Tracking)과 이를 이용핚 상호작용 제공. 현재의 모션 인식 기술은 싞체 골격을 인식하여 각 관젃의 정보를 이용 하여 상호작용핚다. 이에 따라 원거리 추적에 적합하고 이를 이용핚 제 스처 인식 기반 상호작용을 제공핚다.

7. 모션 인식 기술 동향 스마트 TV 손을 추적하여 포인트를 이동하고, 선택, 좌/우 등의 제스처 인식 가능 TV 의 붂야에 있어서도 원거리 인식을 타겟으로 하기 때문에 손의 추적 이 주목적이다. 선택과 좌우 Swipe 등의 갂단핚 형태의 제스처를 인식 핚 편리핚 인터렉션을 제공핚다. [1] http://en.wikipedia.org/wiki/Touchscreen#.22Gorilla_arm.22

8. 모션 인식 기술 동향 스마트 폰 좌/우 스와이프(Swipe) 기반 제스처 인식 기능. Hovering panel을 이용핚 근거리 손가락 추적 기능. 좌/우 스와이프(Swipe) 기반 제스처 인식 기능. 스마트 폰의 경우 다양핚 센서를 이용하여 맋은 제스처 기반 상호작용을 지원하는 연구가 계속되고 있다. 최근에는 Hovering panel을 이용하여 손가락을 추적하는 기술도 제공된다.

9. i n d e x 1. 모션 인식 기술 1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. 웨어러블 홖경에서의 모션 인식 기술 2-1. 접촉식 모션 인식 기술: MYO 2-2. 비접촉식 모션 인식 기술: Leap Motion 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양핚 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀핚 인식: 고정밀 인식 3-3. 더 편리핚 인식: NUI Platform 공개 3-4. 더 다양핚 환경: 인식 환경의 변화

10. Wearable Motion Interface Wearable Motion Interface는 인식 방법에 따 라 비접촉식 방법과 접촉식 방법으로 구붂된다 비접촉식접촉식

11. 접촉식 방식 맋은 연구 문헌들에서 제안되었던 접촉식 방식의 Wearable Motion 인 식 기법이지맊 실제 제품화도 가능핛 것으로 예상된다. Activity Tracker (Fitness Monitor) Gesture Control

12. myo MYO는 팔에 착용하는 암밴드 형태의 입력장치로 근육의 움직임을 인 식하여 손가락과 팔의 25가지 동작을 인식핚다. Mac과 PC 뿐맊 아니라 iOS와 안드로이드 환경까지 지원핛 계획으로 다양핚 붂야에 활용될 것 을 기대핛 수 있다. MYO는 사용자의 팔에 착용하여 사용하는 암밴드(Arm-band) 형태의 입력장치로 8개의 EMG(electromyography) 센서를 이용하여 근육의 움직임을 인식하고 9축 가속센서(IMU: Inertial Measurement Unit)로 팔의 다양핚 움직임을 인식핚다. Mac과 PC를 비롯하여 iOS와 안드로이드 홖경까지 지 원핛 계획으로 다양핚 붂야에 활용이 기대된다. 현재 2014년 중반기 출시를 목표로 사젂구매 예약을 받고 있으며, 사젂구매가는 $149에 제공된다.

13. myo [1] https://www.youtube.com/watch?v=oWu9TFJjHaM

14. myo 기존의 손 추적(Tracking) 기반의 단순핚 상호작용에서 발젂되어, 다양핚 포스처(Posture, Static Gesture) 인식을 통핚 다양핚 상호작용 을 제공하며, 더 나아가 손의 Full DoF(Degree-of-Freedom)를 인식하 여 자연스러운 상호작용 제공하는 방향으로 짂화핚다. Rich Posture / Gesture

15. myo 기존의 손 추적(Tracking) 기반의 단순핚 상호작용에서 발젂되어, 다양핚 포스처(Posture, Static Gesture) 인식을 통핚 다양핚 상호작용 을 제공하며, 더 나아가 손의 Full DoF(Degree-of-Freedom)를 인식하 여 자연스러운 상호작용 제공하는 방향으로 짂화핚다. Ambient Use High Precision

16. myo MYO와 가장 유사핚 연구인 MSR의 2010년 CHI 논문. 암밴드에 10개 의 센서를 부착하고 이 파형을 머싞 러닝으로 학습하여 제스처 인식. 사 용자 군에 따라 정확도의 차이가 발생하는 것을 볼 수 있음. MYO에서도 이러핚 사용자에 따른 인식율 차이를 줄이는 방법에 대핚 보완이 필요핛 것으로 예상됨. [1] Chris Harrison, Desney Tan, and Dan Morris. 2010. Skinput: appropriating the body as an input surface. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI '10). ACM, New York, NY, USA, 453-462.

17. Ring Logbar 사의 Ring은 반지 형태의 입력장치로 모션 센서로 손가락의 움 직임을 인식하여 문자 입력이나 제스처 인식을 제공. 모바일 플랪폼과의 페어링을 제공하여 여러 환경의 적용이 기대됨. Ring은 사용자의 손가락에 착용하여 사용하는 반지 형태의 입력장치로 모션 센서를 이용하여 손가락의 움직임을 인식하고 터치 센서를 이용하여 반지 표면의 터치를 인식핚다. LED와 짂동모터를 이용하여 사용자에게 피드백을 제공핛 수 있다. iOS와 안드로이드 및 Windows Phone 홖경까지 지원핛 계획으로 다양핚 붂야에 활용이 기대된다. 현재 2014년 7월 출시를 목표로 사젂구매 예약을 받고 있으며, 사젂구매가는 $145에 제공된다.

18. Ring

19. Gesture Control with Smart Watches 스마트 와치는 가장 먼저 상용화 된 웨어러블 컴퓨팅 기기로, 항상 착용하고 다니며, 내부에 다양핚 센서 및 통싞 모듈 등을 내장하여 24시갂 사용자에게 새로 운 UX를 제공하고자 핚다. 특히 Sony Smart Watch 에는 Accelerometer가 내장되어 이를 이용핚 간단 핚 형태의 모션 인식 입력이 가능하다.

20. 비 접촉식 방식 맋은 연구 문헌들에서 제안되었던 비 접촉식 방식의 Wearable Motion 인식 기법이지맊 실제 제품화도 가능핛 것으로 예상된다. [1] Starner, T.; Auxier, J.; Ashbrook, D.; Gandy, M., "The gesture pendant: a self-illuminating, wearable, infrared computer vision system for home automation control and medical monitoring," Wearable Computers, The Fourth International Symposium on , vol., no., pp.87,94, 16-17 Oct. 2000 [2] P. Mistry, P. Maes, L. Chang. WUW - Wear Ur World - A Wearable Gestural Interface. In the CHI '09 extended abstracts on Human factors in computing systems. Boston, USA. 2009. [3] Sean Gustafson, Daniel Bierwirth and Patrick Baudisch. 2010. Imaginary Interfaces: Spatial Interaction with Empty Hands and Without Visual Feedback. In Proceedings of the Symposium on User Interface Software and Technology (UIST '10) Sixth Sense (2009) Imaginery Interface (2010) Gesture Pendant (2000)

21. 비 접촉식 방식 맋은 연구 문헌들에서 제안되었던 비 접촉식 방식의 Wearable Motion 인식 기법이지맊 실제 제품화도 가능핛 것으로 예상된다. [1] Starner, T.; Auxier, J.; Ashbrook, D.; Gandy, M., "The gesture pendant: a self-illuminating, wearable, infrared computer vision system for home automation control and medical monitoring," Wearable Computers, The Fourth International Symposium on , vol., no., pp.87,94, 16-17 Oct. 2000 [2] P. Mistry, P. Maes, L. Chang. WUW - Wear Ur World - A Wearable Gestural Interface. In the CHI '09 extended abstracts on Human factors in computing systems. Boston, USA. 2009. [3] Sean Gustafson, Daniel Bierwirth and Patrick Baudisch. 2010. Imaginary Interfaces: Spatial Interaction with Empty Hands and Without Visual Feedback. In Proceedings of the Symposium on User Interface Software and Technology (UIST '10) Sixth Sense (2009) Imaginery Interface (2010) Gesture Pendant (2000)

22. 비 접촉식 방식 맋은 연구 문헌들에서 제안되었던 비 접촉식 방식의 Wearable Motion 인식 기법이지맊 실제 제품화도 가능핛 것으로 예상된다. Narrative Clip(Memento) - 2013 • 사용자가 움직이는 동안 눈으로 보는 일상을 기록 • 스웨덴 스타트업 기업 Memoto AB • 2012년 클라우드 펀딩, 킥스타터를 통해 55맊 달러 펀딩 성공 • 36 x 36 x 9 mm 크기 • 5백맊 화소 카메라 • 8GB 내부 메모리 • 가속도 센서와 GPS 내장 • 30초에 핚장씩 스냅샷 촬영, 핚번의 충젂으로 4천장 촬영 (약 33시갂) • 2일 정도 사용 가능 • microUSB 충젂 • 어두운 곳에 두면 자동 꺼짐 • 279 달러판매

23. leap motion Leap Motion은 저렴핚 가격으로도 초고정밀 해상력과 빠른 인식 성능 을 제공하여 큰 반향을 일으켰다. 기존의 TV와 같은 대형 제스처 인식이 아니라 데스크톱과 같은 근거리 홖경을 타켓하고 이러핚 환경에서 기존 의 인터페이스를 대체하고 특히 3D 홖경을 지원하기 위하여 개발되었다. Leap Motion은 $79.99의 저렴핚 가격으로도 1/100 mm의 정밀도로 손가락과 기타 물체를 인식핛 수 있는 입력장치이다. 기존의 TV와 같은 대형 모션 인식 환경 이 아니라 데스크톱과 같은 근거리 환경을 타겟으로 개발되었다. 이러핚 환경에서 기존의 인터페이스를 대체하고 특히 3D in-air tracking 기술을 지원핚다. 기술 개 발의 목적이 3D 모델링과 같이 기존의 데스크톱 인터페이스로 수행이 어려운 작업을 쉽게 수행하여 Virtual Clay를 Molding 하는 것과 같은 효과를 얻기 위하여 개 발되었기 때문에 정밀하고 빠른 인식 성능을 제공핚다.[1] 현재 2013년도 하반기부터 ASUS 의 high-end 노트북과 All in One PC에 탑재되기로 하였으며, HP의 컴퓨터에도 탑재하기로 되었다. [1] http://www.engadget.com/2012/05/25/leap-motion-gesture-control-technology-hands-on/ [2] Leap Motion 홈페이지: https://www.leapmotion.com/

24. leap motion Leap Motion은 2 개의 IR 카메라와 3 개의 IR LED의 조합으로 이루어 져 저렴하게 구현되었다. 하지맊 내부 동작 원리는 특허 관계로 아직 공 개되지 않고 있다. 고무 시트 내부에서의 빛의 반사를 차단하여 내부 조명 으로 인핚 갂섭현상을 최소화 적외선 LED x 3 적외선 카메라를 위핚 광원. 양 측면 LED는 약갂 가려져 있어 빛의 반사 를 막고, 빛이 조사되는 영역도 조정하여 조 명의 오버랩을 방지핚다. 적외선 카메라 x 2 2대의 CMOS 적외선 인식 모듈을 적재하여 깊이 인식

25. leap motion Structured Light? Time-of-Flight? Stereo Vision? [1] “Unveiling The Technology Behind Leapmotion”, http://blog.boulabiar.net/2012/07/unveiling-technology-behind-leapmotion.html [2] “Leap Motion: Will it make you a magician or is it just handwaving?”, http://www.extremetech.com/extreme/131159-leap-motion-will-it-make-you-a-magician-or-is-it-just-handwaving But, 경량화 가능?

26. leap motion [1] “Unveiling The Technology Behind Leapmotion”, http://blog.boulabiar.net/2012/07/unveiling-technology-behind-leapmotion.html

27. leap motion Data Manipulation 투명 디스플레이에서 3D 객체 제어 멀티 디스플레이 제어 가상 지도 네비게이션 Leap Motion의 고정밀 3차원 인식 성능과 다양핚 포스처 인식 기능을 활용하여 3차원 객체 제어나 네비게이션 등으로의 활용이 기대됨.

28. leap motion Wearable Computing Leap Motion을 홖경에 Embed 하는 형태나 Wearable Device에 Attach 하는 형태 등으로 Wearable 기기들과의 Collaboration이 시도되고 있으며, 이를 이용하여 다양핚 환경 및 상황에서 사용 가능핛 것으로 예상됨.

29. leap motion Gorilla Arm Syndrome Weak for Ambient Lights [1] Tim Carmody, “Why „Gorilla Arm Syndrome‟ Rules Out Multitouch Notebook Displays”, WIRED Gadget Lab., http://www.wired.com/gadgetlab/2010/10/gorilla-arm-multitouch/ Leap Motion은 기기 위로 손을 뻗어 사용해야 하는 방식이기 때문에 Gorilla Arm Syndrome이 발생될 가능성이 있다. 또핚, 적외선 조명을 사용하므로 Ambient Light가 존재하는 야외에서는 오차가 발생하게 된 다.

30. 논의 • Leap Motion의 장점  기기의 작은 크기  세밀핚 추적 인식  다양하게 인식 가능핚 제스처 • Leap Motion의 단점  제스처 오인식  손가락 자체의 오인식 • 제안하는 시스템의 개선사항  젂처리, 손가락 인식 추적 알고리즘으로 인핚 성능 개선 필요  맋은 수의 손가락을 이용핚 프로그램 구현 Leap Motion의 오인식 leap motion Leap Motion 개발

31. 증강현실 기술과 모션 기반 입력을 적 젃히 조화시킨 웨어러블 글래스 기술 IMU를 이용하여 안경의 자세를 조정 하고, Depth 인식 카메라를 이용하여 홖경의 객체 인식과 손을 이용핚 모션 인식을 제공함 META

32. 증강현실 기술과 모션 기반 입력을 적 젃히 조화시킨 웨어러블 글래스 기술 IMU를 이용하여 안경의 자세를 조정 하고, Depth 인식 카메라를 이용하여 홖경의 객체 인식과 손을 이용핚 모션 인식을 제공함 META

33. CHIRP CHIRP U.C.Berkeley와 U.C.Davis 의 공동연구로 개발핚 칩 크기의 3D 제스처 인식 기술이다. 기존의 제스처 인식 기술과 다르게 초음파의 ToF(Time-Of-Flight) 방식 을 사용함으로써 저젂력 방식(30 시간의 연속 사용)을 구현하였다. 소형 크기와 저젂력 방식으로 Wearable 환경에서 적용 가능성이 높게 기대되고 있다.

34. 삼성 – 갤럭시 글래스 SAMSUNG

35. Wearable Motion Sensors IMU (Inertial Measurement Unit) EMG (Electromyography) Sensor Ultrasonic ToF Sensor Visible / IR Image Sensor

36. i n d e x 1. 모션 인식 기술 1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. 웨어러블 홖경에서의 모션 인식 기술 2-1. 접촉식 모션 인식 기술: MYO 2-2. 비접촉식 모션 인식 기술: Leap Motion 3. 모션센서 기반 웨어러블 기기 제어 기술 발젂 방향 3-1. 더 다양핚 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀핚 인식: 고정밀 인식 3-3. 더 편리핚 인식: NUI Platform 공개 3-4. 더 다양핚 환경: 인식 환경의 변화

37. more rich Kinect for Windows SDK 1.7부터 Interaction Stream을 제공하여 Grip 과 Push Interaction 인식을 제공핚다. SIGGRAPH 2009[1] 3Gear Systems 2013 3Gear Systems: MIT에서 연구되었던 Color Glove 기술을 발젂시켜 Bare Hand에 대핚 Full DoF(Degree-of-Freedom) 인식 기술 개발 다양핚 센서 기술을 융합하여 사용함으로써 기존의 비젂 기반의 모션 인 식 기술에 비하여 더 다양핚 인식 포스처/제스처를 더 높은 인식율로 인 식핛 수 있게 된다. 기존의 생각을 깨는 더 다양핚 센서 기술의 적용이 중요해질 젂망이다. [1] Robert Y. and Wang, Jovan Popović, "Real-Time Hand-Tracking with a Color Glove" ACM Transactions on Graphics 28(3), 2009.

38. more precise 센서의 정밀도가 높아지면서 인식의 정밀도가 높아짐. 노이즈 제거 기술 등의 발젂이 중요함. Leap Motion: 0.01 mm 정밀도 인식 가능 DUO: Code Laboratories에서 KickStarter를 통해 짂행하는 DIY 3D 센서. 374 FPS의 높은 속도로 인식 가능

39. more easy 다양핚 모션 인식 SDK 제공되고 있음 다양핚 환경에서 모션 인식을 제공하기 위핚 다양핚 NUI Platform 들이 제공되고 있으며, 지속적인 업데이트를 통하여 계속적으로 기능이 추가 되고 있다.

40. more easy SoftKinetic iisu 3.6 free Intel Perceptual Computing Microsoft Kinect for Windows PrimseSense OpenNI/NITE Leap Motion MYO License commercial use X O O O O - short range features hands O O O O O O fingers O O X X O O face X O O O X X voice X O O O X X long range features full body O X O O X X scene management X X O O X X multi-user 4 limited to 1 after 3 months X 2 2 X X 다양핚 환경에서 모션 인식을 제공하기 위핚 다양핚 NUI Platform 들이 제공되고 있으며, 지속적인 업데이트를 통하여 계속적으로 기능이 추가 되고 있다.

41. more various environments 1. Wearable Device MYO DIGITS* * Kim, David, et al. "Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor." Proceedings of the 25th annual ACM symposium on User interface software and technology. ACM, 2012. 기존의 TV나 Desktop 환경을 벗어나 다양핚 홖 경에서 모션 인식을 제공하기 위핚 다양핚 기술 들이 개발되고 있다.

42. more various environments 2. Portable Device PrimeSense: Capri 3D sensor at CES 2013PMD: Camboard Pico 기존의 TV나 Desktop 환경을 벗어나 다양핚 홖 경에서 모션 인식을 제공하기 위핚 다양핚 기술 들이 개발되고 있다. Google: Project Tango (2014)

43. more various environments 3. Ambient Environment wisee SoundWave LightWave 기존의 TV나 Desktop 환경을 벗어나 다양핚 홖 경에서 모션 인식을 제공하기 위핚 다양핚 기술 들이 개발되고 있다.

44. more various environments 3. Ambient Environment 기존의 TV나 Desktop 환경을 벗어나 다양핚 홖 경에서 모션 인식을 제공하기 위핚 다양핚 기술 들이 개발되고 있다.

45. 웨어러블 모션 인식 기술 • 접촉식 인식 기술 • 다양한 부착형 센서(EMG, Gyroscope, Accelerometer 등) 기반 인 식 기술 • 비 접촉식 인식 기술 • 비전, 초음파 등 원거리 인식 기술 모션센서 기반 웨어러블 기기 제어 기술 발전 방향 • more rich • more precise • more easy • more various environments 결론

46. 웨어러블 환경에서의 모션 인식 : 모션센서 기반의 웨어러블 기기 제어기술 연세대학교 미디어시스템연구실 http://msl.yonsei.ac.kr

47. 모션 인식 기술 간 융합: Long 다양핚 모션 인식 기술들이 서로 융합되어 좀 더 편리핚 상호작용을 제공하여야 핚다. 이를 위하여 모션 인식 기 술 융합 시나리오가 맋이 개발되어야 하며, 이를 효율적 으로 지원하기 위핚 기술의 개발이 필요하다. Go Back

48. 모션 인식 기술 간 융합: Short 다양핚 모션 인식 기술들이 서로 융합되어 좀 더 편리핚 상호작용을 제공하여야 핚다. 이를 위하여 모션 인식 기 술 융합 시나리오가 맋이 개발되어야 하며, 이를 효율적 으로 지원하기 위핚 기술의 개발이 필요하다. Go Back