KAIST-서울대 공동연구팀, 피부형 센서 패치 하나로 사람 움직임을 측정하는 기술 개발

딥러닝 기술을 센서와 결합, 단 한 개의 센서로 인체의 움직임 예측 가능한 알고리즘 개발
최소의 데이터로 정확하게 측정, 차세대 웨어러블 AR 기술의 빠른 보편화 기대

(대전=세종충청뉴스) 송윤영 기자 = KAIST(총장 신성철)는 전산학부 조성호 교수 연구팀이 서울대 고승환 교수(기계공학과) 연구팀과 협력 연구를 통해 딥러닝 기술을 센서와 결합, 최소한의 데이터로 인체 움직임을 정확하게 측정 가능한 유연한 `피부 형 센서'를 개발했다고 20일 밝혔다.

공동연구팀이 개발한 피부 형 센서에는 인체의 움직임에 의해 발생하는 복합적 신호를 피부에 부착한 최소한의 센서로 정밀하게 측정하고, 이를 딥러닝 기술로 분리, 분석하는 기술이 적용됐다.

이번 연구에는 김민, 김권규, 하인호 연구원이 공동 제1 저자로 참여했으며 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)' 5월 1일 字 온라인판에 게재됐다. (논문명 : A deep-learned skin decoding the epicentral human motions).

사람의 움직임 측정 방법 중 가장 널리 쓰이는 방식인 모션 캡처 카메라를 사용하는 방식은 카메라가 설치된 공간에서만 움직임 측정이 가능해 장소적 제약을 받아왔다. 반면 웨어러블 장비를 사용할 경우 장소제약 없이 사용자의 상태 변화를 측정할 수 있어, 다양한 환경에서 사람의 상태를 전달할 수 있다.

다만 기존 웨어러블 기기들은 측정 부위에 직접 센서를 부착해 측정이 이뤄지기 때문에 측정 부위, 즉 관절이 늘어나면 더 많은 센서가 수십 개에서 많게는 수백 개까지 요구된다는 단점이 있다.

공동연구팀이 개발한 피부 형 센서는 `크랙' 에 기반한 고(高) 민감 센서로, 인체의 움직임이 발생하는 근원지에서 먼 위치에 부착해서 간접적으로도 인체의 움직임을 측정할 수 있다. `크랙' 이란 나노 입자에 균열이 생긴다는 뜻인데, 연구팀은 이 균열로 인해 발생하는 센서값을 변화시켜 미세한 손목 움직임 변화까지 측정할 수 있다고 설명했다.

연구팀은 또 딥러닝 모델을 사용, 센서의 시계열 신호를 분석해 손목에 부착된 단 하나의 센서 신호로 여러 가지 손가락 관절 움직임을 측정할 수 있게 했다. 사용자별 신호 차이를 교정하고, 데이터 수집을 최소화하기 위해서는 전이학습(Transfer Learning)을 통해 기존 학습된 지식을 전달했다. 이로써 적은 양의 데이터와 적은 학습 시간으로 모델을 학습하는 시스템을 완성하는 데 성공했다.

KAIST 조성호 교수는 "이번 연구는 딥러닝 기술을 활용해 실제 환경에서 더욱 효과적으로 사람의 실시간 정보를 획득하는 방법을 제시했다는 점에서 의미가 있다ˮ며 "이 측정 방법을 적용하면 웨어러블 증강현실 기술의 보편화 시대는 더욱 빨리 다가올 것ˮ 이라고 예상했다.

서울대 고승환 교수 또한 "고 민감 피부 형 센서와 딥러닝 기술의 효과적 결합은 앞으로 주목받을 웨어러블 가상/증강현실 기기의 새로운 입력 시스템으로 활용될 것으로 기대된다ˮ 고 강조했다.

한편 이번 연구는 한국연구재단 기초연구사업(선도 연구센터 지원사업 ERC)과 기초연구사업 (중견연구자)의 지원을 받아 수행됐다.

붙임 : 연구개요, 그림 설명, 교수 이력

□ 연구개요

배경

웨어러블 장비를 사용한 움직임 측정은 카메라를 사용한 측정 방식과 달리 사용자의 상태 변화를 장소에 국한되지 않고 받을 수 있다. 장소 제한 없는 측정 방식은 보다 다양한 환경에서 사람의 상태를 효과적으로 전달할 수 있다. 기존의 웨어러블 장비를 통한 움직임 측정 방식은 측정 부위에 직접적으로 센서를 부착하는 형식으로, 측정하는 관절의 개수가 늘어남에 따라 더 많은 센서를 필요로 할 수밖에 없다. 보조해주는 actuator 장비가 관절에서 가장 효과적으로 힘을 전달할 수 있기 때문에 관절에 센서를 붙일 경우 actuator와 충돌을 일으킨다. EMG와 같이 관절에서 조금 떨어진 곳에서 움직임을 측정하는 방식이 있지만 각 근육마다 측정기를 장착해야 하며, 근접해 있는 근육 간 노이즈, 신호 증폭기와 같은 값비싼 외부 장비 필요 등의 문제가 있다. 상기 한계점들로 웨어러블 기술을 사용한 인체 모션 측정 방식은 수많은 외부장비와 와이어가 필요하여 기술의 확정성에 비해 시장에 적극적으로 사용되지 못하였다. 움직임이 발생하는 근원지에서 최소한의 센서로 움직임을 측정한다면 사람 움직임 보조, 인간 기계 인터페이스, 증강 현실 등 기술 발전에 혁신을 가져올 수 있다.

2. 연구 내용

크랙 기반 고민감도 피부형 센서와 딥러닝 기술을 결합하여 인체의 움직임을 효과적으로 예측할 수 있는 시스템을 개발하였다. 상기 시스템은 레이저 공정을 활용하여 유연한 폴리이미드 기판 위에 도포된 은 나노 입자에 크랙을 유도함과 동시에 피부 위에 올릴 수 있는 늘어나는 패턴으로 식각 하였다. 특정 레이저 소결 환경에서 은 나노 입자층의 전도성이 좋음과 동시에 크랙이 쉽게 발생하는 조건이 되어, 매우 작은 움직임에도 저항 변화가 매우 큰 센서를 제작할 수 있다. 센서 특유의 구불거리는 패턴을 통해 피부에 밀착/부착하여 활용할 수 있어 인체의 미세한 움직임을 먼 거리에서 간접적으로 측정이 가능하게 한다. 손가락의 움직임을 예측하기 위해 단일 센서를 손목에 부착하였으며, 복잡한 관절 움직임을 표현하기 위해 시계열 데이터 분석에 용이한 LSTM (Long Short Term Memory) 기반 딥러닝 모델을 구성했다. 손가락 위치 배치를 고려하기 위해, 각 손가락 움직임을 반원 모양의 유클리디안 (Euclidean) 공간상 좌표로 라벨링(labeling)하여 서로 먼 손가락은 멀게 표현되게 구성하였다. 사용자 혹은 센서 별 신호의 차이를 교정하기 위한 데이터 수집 및 재학습 시간을 최소화하기 위해 전이학습 (Transfer Learning)을 기반한 학습 시스템 RSL(Rapic Situation Learning)을 개발했다. 사용자가 시스템이 보여주는 짧은 데모 영상을 따라 하기만 하면 짧은 시간 내에 모델을 재학습하여 새로운 사용 환경에 맞게 모델이 변화한다. 새로운 착용자가 손목에 센서를 부착 후 짧은 5분간의 학습 시간으로도 사용자의 각 손가락 움직임을 구분하여 화면에 나타낼 수 있었다. 센서를 골반 부위에 부착할 경우 부착된 다리의 움직임 또한 효과적으로 측정할 수 있어 다른 신체 부위로의 확장성을 검증하였다.

3. 기대 효과

본 연구는 단 한 개의 센서로 복잡한 인체의 움직임 (손가락 움직임)을 예측하는 센서 및 알고리즘을 개발하였다. 관절 혹은 근육 움직임을 직접적으로 측정하는 기존 방식이 가지고 있는 한계점을 극복하여 웨어러블 기기, 인간 기계 상호 작용, 증강현실 등 기술의 전파 및 발전에 기여를 할 것이다. 또한 센서가 사용자 신체에 부착돼 있어 장소 제한 없이 다양한 환경에서 착용자의 상태를 효과적으로 전달할 수 있고, 측정 관절에 직접적으로 부착하지 않아 행동을 보조해주는 exo-skeleton의 actuator와 같은 다른 분야의 시스템과 통합을 통해 새로운 시너지 효과를 기대한다. 시계열 데이터를 분석하는 딥러닝 모델을 사용하여 하나의 센서 값으로도 관절이 밀집 분포돼 있는 손 움직임을 예측하여 3D 모델로 보였다. 사용자 별 신호 차이를 교정, 학습하기 위해 전이학습을 통해 기존 학습된 지식을 전달하여, 짧은 재학습 과정만을 거쳐 새로운 착용자의 움직임을 예측했다. 이러한 접근법은 향후 웨어러블 센서 연구 및 사용자 움직임 측정 연구 분야에서 활발히 응용될 수 있을 것이라 기대한다.