تخمین ضربان قلب به صورت غیرتماسی مبتنی بر یادگیری عمیق

نوع مقاله : Original Article(s)

نویسندگان

1 دکتری، گروه پردازش علائم زیستی، پژوهشکده پردازش سیگنال، پژوهشگاه توسعه فناوری‌های پیشرفته، تهران، ایران

2 کارشناسی ارشد، گروه پردازش علائم زیستی، پژوهشکده پردازش سیگنال، پژوهشگاه توسعه فناوری‌های پیشرفته، تهران، ایران

10.48305/jims.v43.i836.1383

چکیده

مقاله پژوهشی




مقدمه: با استفاده از تکنولوژی فوتوپلتیسموگرافی غیرتماسی (remote Photoplethysmography) rPPG پایش ضربان قلب (Heart rate) HR بدون نیاز به تماس فیزیکی امکان‌پذیر شده است. در دهه‌های گذشته، روش‌هایی برای تخمین سیگنال rPPG و نرخ ضربان قلب با استفاده از فریم‌های ویدئویی توسعه داده شده‌اند‌. در سال‌های اخیر روش‌های یادگیری عمیق نیز در این حوزه به کار گرفته شده و عملکرد مناسبی داشته‌اند.
روش‌ها: در این مطالعه، از یک شبکه عصبی عمیق (MTTS-CAN) همراه با الگوریتم تشخیص چهره (mediapipe) به منظور تخمین ضربان قلب به صورت غیر تماسی از روی ویدئوی چهره افراد در یک مجموعه داده عمومی (PURE) و یک مجموعه داده بومی (Stroop) بهره گرفته شده است.
یافته‌ها: نتایج پیاده‌سازی بر روی مجموعه داده PURE قابل مقایسه با نتایج منتشر شده در مقالات (MAE:7.72bpm) است. بعلاوه نتایج بر روی مجموعه داده بومی نیز قابل قبول (MAE:5.53bpm) می‌باشد.
نتیجه‌گیری: در این مطالعه، دقت تخمین قابل قبولی برای ضربان قلب غیرتماسی ارائه شده است. علاوه بر آن، نتایج نشان می‌دهند که روش پیشنهادی به دیتاست خاصی وابسته نبوده و در یک دیتاست بومی در مقایسه با دیتاست بنچمارک نتایج مناسبی ایجاد کرده است.

تازه های تحقیق

سارا پورمحمدی: PubMed, Google Scholar

کیان شاهی: Google Scholar

 

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Remote Heart Rate Estimation Based on Deep Learning

نویسندگان [English]

  • Sara Pourmohammadi 1
  • Kian Shahi 2
1 PhD, Signal Processing Group, Research Center for Development of Advanced Technologies, Tehran, Iran
2 MSc, Signal Processing Group, Research Center for Development of Advanced Technologies, Tehran, Iran
چکیده [English]

Background: Using remote photoplethysmography (rPPG) technology, monitoring heart rate (HR) has become possible without physical contact. Over the past decades, methods have been developed to estimate rPPG signals and heart rates using video frames. Recently, deep learning techniques have also been applied in this field, showing promising performance.
Methods: In this study, a deep neural network (MTTS-CAN) along with a face detection algorithm (MediaPipe) was used to estimate heart rate remotely from videos of individuals in a public dataset (PURE) and a local dataset (Stroop).
Findings: The implementation results on the PURE dataset are comparable to those published in articles (MAE: 7.72 bpm). Moreover, the results on the local dataset are also acceptable (MAE: 5.53 bpm).
Conclusion: This paper presents an acceptable accuracy for non-contact heart rate estimation. Additionally, the results indicate that the proposed method is not dependent on a specific dataset and has produced satisfactory results in a local dataset compared to the benchmark dataset.

کلیدواژه‌ها [English]

  • Heart Rate
  • Remote Heart Rate Monitoring
  • rPPG Signal
  • PURE Dataset
  • Deep Learning

مراجع

  1. Leonhardt S, Leicht L, Teichmann D. Unobtrusive vital sign monitoring in automotive environments—a review. Sensors (Basel) 2018; 18(9): 3080.
  2. Lorato I, Stuijk S, Meftah M, Kommers D, Andriessen P, van Pul C, et al. Multi-camera infrared thermography for infant respiration monitoring. Biomed Opt Express 2020; 11(9): 4848-61.
  3. Chan P, Wong G, Dinh Nguyen T, Nguyen T, McNeil J, Hopper I. Estimation of respiratory rate using infrared video in an inpatient population: an observational study. J Clin Monit Comput 2020; 34(6): 1275–84.
  4. Spicher N, Kukuk M, Maderwald S, Ladd ME. Initial evaluation of prospective cardiac triggering using photoplethysmography signals recorded with a video camera compared to pulse oximetry and electrocardiography at 7T MRI. BioMed Eng OnLine 2016; 15(1): 126.
  5. Wang J, Spicher N, Warnecke JM, Haghi M, Schwartze J, Deserno TM. Unobtrusive health monitoring in private spaces: the smart home. Sensors (Basel) 2021; 21(3): 864.
  6. Wang J, Warnecke J, Haghi M, Deserno T. Unobtrusive health monitoring in private spaces: the smart vehicle. Sensors (Basel) 2020; 20(9): 2442.
  7. Selvaraju V, Spicher N, Wang J, Ganapathy N, Warnecke JM, Leonhardt S, et al. Continuous monitoring of vital signs using cameras: a systematic review. Sensors (Basel) 2022; 22(11): 4097.
  8. Hirzi MF, Efendi S, Sembiring RW. Literature study of face recognition using the viola-jones algorithm. in: 2021 international conference on Artificial Intelligence and Mechatronics Systems (AIMS) Bandung, Indonesia: IEEE; 2021 [cited 2024 Mar 28]. Available from: https://ieeexplore.ieee.org/document/9466010/
  9. Liu X, Fromm J, Patel S, McDuff D. Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement.
  10. Shahi K, kaveh R,Saeedi M, Godarzi MM, Babaee N, Rezaee M, Gholi pour Hasan, Azizi A, Pejman H. Multimodal data (physiological signals and Thermal images) from individual to provide a continous index of different levels of mental arousal. Proceedings of the 26th Nathonal Conference and 4th International Conference on Biomedical Enginnering of Tehran, Iran. 2019.[in Persian]
  11. Gudi A, Bittner M, Van Gemert J. Real-time webcam heart-rate and variability estimation with clean ground truth for evaluation. Appl Sci 2020; 10(23): 8630.
  12. de Haan G, Jeanne V. Robust pulse rate from chrominancebased rppg. IEEE Transactions on Biomedical Engineering 2013; 60(10): 2878–86.
  13. Špetlík R, Vojtech F, Jirí M. Visual heart rate estimation with convolutional neural network. Proceedings of the British machine Vision Conference, Newcastle, UK, 2018. p. 3-6.

Deniz Cyli N. rPPG based heart rate estimation using deep learning [Thesis]. Istanbul: Marmara University; 2021. 

مجله دانشکده پزشکی اصفهان
دوره 43، شماره 836
هفته 4، آذر
مهر و آبان 1404
صفحه 1383-1389

فایل ها

سابقه مقاله

  • تاریخ دریافت: 19 آذر 1403
  • تاریخ پذیرش: 01 بهمن 1404

هم رسانی

ارجاع به این مقاله

آمار