최근 it-show를 다녀오고나서 흥미로운 서비스를 보여준 회사가 있어 개인적으로 어떻게 구현된 건지 궁금해서 찾아봤다. 서비스는 비접촉 심박수 예측이었는데 일반 카메라에 영상을 촬영하면 나의 심박수를 체크해주는 것이였다.
비접촉 심박수 측정 서비스는 비대면, 원격 의료에서 많이 사용될 것 같고 보통 병원에 가면 팔에 직접 두르고 측정하는데 개개인마다 팔의 두께도 다르고 피부병이 있거나 피부가 예민한 사람들은 사용하기 불편하고 심지어 아기들은 통제가 잘 안되니 물리적으로 측정했을때 단점을 커버해줄것 같았다.
Non-contact heart rate measurement (비접촉 심박수 측정)
비접촉 심박수 측정은 웹캡, 폰 카메라로 충분히 가능한데 이 말뜻은 사람이 따로 장비를 구매하지 않아도 된다는 의미여서 어쩌면 가격이 합리적일 것 같다.
PPG(Photoplethysmogram)
PPG(Photoplethysmogram): 광 혈류 측정=광 용적 맥파 측정=광 용적 측정이라고 부르며 빛을 이용해 피의 흐름을 관찰하는 기술이다.
심장이 피를 보내기위해 뛸때 혈관을 따라 미세한 변화가 생기는데 이걸 맥파라고 한다. 맥파를 측정하면서 맥파가 움직이는 속도가 동맥의 두께, 혈액의 밀도와 같은 혈관 상태에 영향을 받아 순환계-심장 및 혈관 상태를 알 수 있는 자료이다.
PPG 센서에서 피부로 빛을 쏠 때, 혈류량에 따라 흡수되는 빛의 양이 달라지고 빛이 얼마나 흡수됬는지 측정하면 혈액량의 변화를 알 수 있다.
plethysmographic signal은 보통의 컬러 카메라에서도 감지될 수 있다고 한다. 이게 어떻게 가능한거냐면 컬러 카메라로 피부를 촬영하면 이 plethysmographic 시그널이 green chennel에서 강하게 감지되며 이는 헤모글로빈이이 초록과 노랑 빛을 흡수하는 피크를 가지는 사실과 일치해서 일반 카메라로 plethysmographic 시그널를 감지 할수 있다는 것이다.
적용 방법
1. 데이터(얼굴 영역) 추출 & 전처리
비디오에서 얼굴을 찾고 얼굴부분만 가져옵니다. 얼굴에서 RGB 패널 픽셀 값을 추출합니다. Green 채널이 혈규와 관련있는 부분이라 해당 채널을 강조하고 나머지 채널의 영향을 감소시켜 다시 하나로 합쳐줍니다.
2. 혈류 예측 모델링
모델은 3D-CNN을 사용했는데 시간축을 추가해서(시계열적인 특정을 파악하기 위해서) 3차원 합성곱을 진행한 것 같습니다.
3. CWT에 의한 주파수 분석
cwt는 신호를 다양한 주파수 범위에 대해 시간-주파수 영역으로 분석하는 기술로 신호를 다양한 주파수 대역으로 분해하여 분석하는 방식입니다. 심박은 저주파수 대역에서 발생하기 때문에 저주파수 영역에 위치합니다.
위의 과정을 거치면 예측 심박수를 알 수있게된다.
단순한 촬영만으로 심박수 체크할 수 있는 서비스를 보여줬던 회사가 있어서 이번에도 새롭게 배우는게 많았다.
현재, 자사의 서비스는 독거노인 생활패턴 분석을 주로 진행하고 있지만 더 나아가서 집에서 일반 카메라만으로 건강에 이상상황을 체크할 수 있는 서비스로 확장할 때 의견을 내볼 수 있을 것 같다.
링크: https://web.stanford.edu/class/cs231a/prev_projects_2016/finalReport.pdf
링크: https://patentimages.storage.googleapis.com/5f/0f/cd/38e4c24e85c90c/KR102215557B1.pdf