Bewertung der Genauigkeit von Fitness-Smartwatch-Daten für die Überwachung von Herz-Kreislauf- und körperlicher Aktivität: Eine Validierungsstudie im Bereich Digital Health

Zusammenfassung

Die tragbare Technologie ist kostengünstig und bietet eine bequeme Überwachung physiologischer Daten. Die Genauigkeit und Zuverlässigkeit dieser Geräte erfordert jedoch eine sorgfältige Bewertung, um ihre Wirksamkeit und Sicherheit für die Benutzer zu gewährleisten. Dieser Bericht beschreibt den Validierungsprozess einer kommerziellen Smartwatch bei der Überwachung physiologischer Daten und körperlicher Aktivität.

Zusammenfassung

Diese Studie zielt darauf ab, die Genauigkeit von kostengünstigen Fitness-Smartwatches zu validieren, indem ihre Daten mit Goldstandard-Messungen für kardiovaskuläre und körperliche Aktivitätsparameter verglichen werden. An der Studie nahmen 50 Probanden teil, von denen 26 Validierungstests für Herzfrequenz, Blutsauerstoffsättigung (SpO2) und Schlafdaten gegen Polysomnographie (PSG) unterzogen wurden. Darüber hinaus nahmen 24 Probanden am 3-Minuten-Gehtest (3MWT) und am Treppensteigen (SC) teil, wobei die Schrittzahlen anhand manueller Videoberechnungen validiert wurden. Die Ergebnisse zeigten keinen signifikanten Unterschied zwischen den Messungen des Geräts und den Goldstandardwerten für flachen Schlaf, Tiefschlaf, REM-Zeit, mittlere Herzfrequenz, minimale Herzfrequenz und SpO2. Allerdings unterschätzte das Gerät die manuell gezählten Schritte (p = 0,009 (3MWT); p = 0,012 (SC)), die Gesamtschlafdauer (p = 0,004) und die Wachzeit (p = 8,94 × ^10-8) deutlich und überschätzte die maximale Herzfrequenz (p = 0,011). Diese Ergebnisse unterstreichen, wie wichtig eine genaue Validierung und Interpretation von Daten tragbarer Geräte im klinischen Kontext ist. Angesichts dieser Einschränkungen wird empfohlen, die Messwerte des Geräts in zukünftigen Analysen auszuschließen, um die Zuverlässigkeit der Daten und die Integrität der Forschung zu gewährleisten. Diese Studie unterstreicht die Notwendigkeit einer kontinuierlichen Validierung und Verbesserung der tragbaren Technologie, um ihre Zuverlässigkeit und Wirksamkeit im Gesundheitswesen zu gewährleisten.

Einleitung

Tragbare Technologie hat an Popularität gewonnen und ist in verschiedenen Bereichen des täglichen Lebens alltäglich geworden¹. Diese Technologien, die mit Sensoren und Algorithmen ausgestattet sind, haben die Art und Weise, wie physiologische Parameter überwacht und interpretiert werden, verändert, indem sie den Benutzern Gesundheitsinformationen liefern, Trainingseinheiten verfolgen und einen gesünderen Lebensstil ermöglichen. Die Integration von künstlicher Intelligenz und Mustererkennung, kombiniert mit immer beliebteren Funktionen wie Virtual- und Augmented-Reality-Funktionen, verbessert nicht nur die Funktionalität von tragbaren Geräten, sondern ermöglicht auch eine fortschrittliche personalisierte Datenanalyse und ein ansprechenderes Benutzererlebnis ^2,3. Da tragbare Geräte immer mehr in den Alltag integriert werden, wird das Verständnis ihrer Genauigkeit und Zuverlässigkeit von größter Bedeutung, insbesondere in Branchen wie der Leistungsüberwachung im Sport und im Gesundheitswesen.

Wearables bieten den Vorteil der Echtzeit-Protokollierung von Patientendaten für chronische Krankheiten und liefern sowohl Patienten als auch medizinisches Fachpersonal unschätzbare Erkenntnisse. Metriken wie körperliche Aktivität, Gesprächszeiten und Schlafdauer können helfen, den Schweregrad von Krankheiten wie Depressionen, Schlafapnoe und Parkinson zu beurteilen ^4,5,6. Neue Technologien, wie z. B. elektronische Stempel, die Glukose, Herzfrequenz und Temperatur überwachen, befinden sich in der klinischen Erprobung und erweitern die Möglichkeiten fortschrittlicher Wearables in der Gesundheitsfürsorge⁷. Darüber hinaus nutzen Sportler und Fitnessbegeisterte tragbare Technologie, um Trainingspläne zu optimieren, Leistungskennzahlen zu verfolgen und Verletzungen vorzubeugen ^8,9. Die Integration der regelmäßigen Auswertung physiologischer Parameter, Aktivitätsdaten und Funktionalitäten wie der Aufzeichnung von Elektrokardiogrammen hat das Interesse an dem Potenzial von Wearables geweckt, die Diagnose und Verfolgung von Herz-Kreislauf-Erkrankungen zu unterstützen ^8,10. Tragbare Geräte haben sich als vielversprechend erwiesen, wenn es darum geht, die Sicherheit am Arbeitsplatz zu erhöhen, das Lebensstilmanagement zu verbessern und den Benutzern gesündere Gewohnheiten zu vermitteln¹¹.

Fitness-Smartwatch-Armbänder wie das Xiaomi Mi Band, eine bekannte kostengünstige tragbare Technologie und eine der weltweit am weitesten verbreiteten Smartwatches¹², wurden in einer Vielzahl von Anwendungen eingesetzt, darunter Medizin, Sport und Bildung¹³. In der Forschung wurden beispielsweise Fitness-Smartwatches zur Überwachung der physiologischen Parameter älterer Menschen^{eingesetzt 14,15}, zur Analyse des Schülerverhaltens während der MINT-Ausbildung¹³ und zur Bewertung der körperlichen Aktivität bei Personen^16,17. Trotz ihrer umfangreichen Nutzung gibt es immer wieder Fragen zur Präzision und Zuverlässigkeit der von diesen Geräten bereitgestellten Messungen. Zahlreiche Untersuchungen haben versucht, die Messungen aus der tragbaren Technologie zu validieren 12,18,19,20. Frühere Studien untersuchten die Genauigkeit der Schrittzählung und die Funktionalität der Schlafüberwachung und gaben Einblicke in die Leistung der Geräte in einer Vielzahl von Einstellungen und Benutzerdemografien. Die bestehende Forschung weist jedoch auf erhebliche Wissenslücken hin, wie z. B. widersprüchliche Ergebnisse in allen Studien und eine unzureichende Validierung anhand von Goldstandardmethoden wie der Polysomnographie 21,22,23.

Der Zweck dieser Studie ist es, die von Fitness-Smartwatches erhaltenen Daten zu validieren und die Zuverlässigkeit von Fitness-Smartwatches zu untersuchen. Das Ziel der Bewertung der Schlaf-Tracking-Genauigkeit des tragbaren Geräts und anderer relevanter Metriken wie Herzfrequenz, Blutsauerstoffgehalt und Schritte besteht darin, aussagekräftige Einblicke in die Eignung des Geräts für klinische und Forschungsanwendungen zu erhalten, die ein hohes Maß an Genauigkeit und Präzision erfordern. Dies soll durch strenge Methodik und solide statistische Analysen zur wachsenden Zahl von Forschungsergebnissen zur Validierung von Wearable-Technologien beitragen und letztendlich die Fähigkeit verbessern, diese Instrumente für bessere Gesundheitsergebnisse und besseres Wohlbefinden einzusetzen.

Protokoll

Das Studienprotokoll wurde vom Ethikausschuss des Universiti Malaya Medical Centre (UMMC) genehmigt (MREC-Nr.: 2021325-9983). Die Validierungsstudie der Fitness-Smartwatch-Messungen gliedert sich in drei Teile: (1) Validierung der Schlafmessungen gegen den Goldstandard mit einem PSG-Gerät, (2) Validierung der Schrittmessungen durch den Vergleich manueller Berechnungen aus Videoaufzeichnungen und (3) Datenanalyse der Validierungstests.

1. Validierung von Schlafmessungen mittels Polysomnographie (PSG)

HINWEIS: Die Studie wird in einem kontrollierten Schlaflabor durchgeführt, um äußere Störungen zu minimieren. Vor dem Test wurden alle Teilnehmer ausführlich über die Studie informiert und erhielten das Studieninformationsblatt, bevor die schriftliche Einwilligungserklärung eingeholt wurde. Alle gesammelten Informationen werden anonym behandelt.

1. Stellen Sie sicher, dass die Teilnehmer 1 Stunde vor Beginn des Tests eintreffen, um die notwendige Vorbereitung zu gewährleisten.
2. Die Teilnehmer tragen die Fitness-Smartwatch an ihrem nicht dominanten Handgelenk.
3. Befestigen Sie die Teilnehmer an der Vorrichtung der PSG-Maschine gemäß dem Herstellerhandbuch²⁴.
   HINWEIS: Verwenden Sie eine standardisierte Platzierung der PSG-Elektroden gemäß dem Herstellerhandbuch, um den Teilnehmern während des Schlafs minimale Beschwerden zu gewährleisten.
4. Führen Sie zwei Messungen der Blutsauerstoffsättigung (SpO2) mit der Fitness-Smartwatch in Rückenlage durch.
5. Stellen Sie sicher, dass die Teilnehmer maximal 6 Stunden schlafen.
   HINWEIS: Technisches Personal überwacht das PSG-Gerät während der gesamten Ruhedauer.
6. Nehmen Sie zwei SpO2-Messungen mit der Fitness-Smartwatch in Rückenlage vor, nachdem der Teilnehmer wach ist.
7. Exportieren Sie Schlaftrends sowohl von PSG-Geräten als auch von Fitness-Smartwatches, d. h. Tiefschlafdauer, Leichtschlafdauer, REM-Zeit (Rapid Eye Movements) und Schlafdauer, Herzfrequenz (minimale, mittlere, maximale Herzfrequenz) und SpO_2, in eine .csv Datei. Lesen Sie im Herstellerhandbuch des jeweiligen Geräts nach, wie Sie die Daten exportieren^{können 24,25}.
8. Fahren Sie mit Abschnitt 3 zur Datenanalyse fort.

2. Validierung von Fitness-Smartwatch-Schrittmessungen mit manueller Berechnung aus Videoaufzeichnungen

HINWEIS: Vor dem Test werden alle Teilnehmer ausführlich über die Studie informiert und erhalten das Studieninformationsblatt, bevor eine schriftliche Einverständniserklärung eingeholt wird. Alle gesammelten Informationen werden anonym behandelt. Für diesen Validierungstest werden nur Teilnehmer mit gutem Gesundheitszustand und ohne Einschränkung der Mobilität ausgewählt.

1. Stellen Sie sicher, dass die Teilnehmer die Fitness-Smartwatch an ihrem nicht dominanten Handgelenk tragen und ein Smartphone für die Aufzeichnung von Schrittvideos halten.
2. Stellen Sie die Schrittzahl auf der Fitness-Smartwatch auf Null. Starten Sie die Aufzeichnung auf dem Smartphone und lassen Sie den Teilnehmer den Schritttest wie in Schritt 2.3 beschrieben durchführen. Stoppen und speichern Sie die Aufnahme. Notieren Sie die Anzahl der gemessenen Schritte in der Fitness-Smartwatch.
3. Stellen Sie sicher, dass der Teilnehmer zwei Arten von Stufentests absolviert: (i) 3MWT- und (ii) SC-Tests.
   1. 3MWT: Stellen Sie sicher, dass der Teilnehmer 3 Minuten lang in einem normalen und gleichmäßigen Tempo auf einer ebenen Fläche geht.
   2. SC-Test: Lassen Sie den Teilnehmer zwei Treppen in aufsteigender und absteigender Reihenfolge in einem normalen und gleichmäßigen Tempo nehmen.
4. Spielen Sie die Aufzeichnung ab und berechnen Sie die Anzahl der Schritte aus der Videoaufnahme. Notieren Sie die Daten in einer .csv Datei. Exportieren Sie die Schrittzahlen von der Fitness-Smartwatch in dieselbe Datei. Lesen Sie im Handbuch des Herstellers der Fitness-Smartwatch nach, wie Sie die Daten exportieren^{können 25}.
5. Fahren Sie mit Abschnitt 3 zur Datenanalyse fort.

3. Datenanalyse der Validierungstests

HINWEIS: In diesem Protokoll wurde das Paket scipy.stats in Python verwendet, um alle Analysetests durchzuführen, mit Ausnahme des Cohen d-Tests, bei dem stattdessen das Paket pingouin verwendet wurde. Der Code befindet sich in der Zusatzdatei 1, in der jeder Schritt in der Kommentarzeile erwähnt wird.

1. Importieren Sie das erforderliche Paket in den Arbeitsbereich von Python.
2. Importieren Sie Messdaten in den Arbeitsbereich von Python. Ersetzen Sie den Dateinamen measurement_data.csv durch einen Dateinamen Ihrer Wahl.
3. Entfernen Sie alle leeren Werte mit der Funktion dropna() für jeden Messdaten. Führen Sie dann den Shapiro-Wilk-Normalitätstest durch, um zu bestimmen, ob die Daten eine Normalverteilung aufweisen, indem Sie das shapiro-Paket scipy.stats in Python verwenden.
4. Führen Sie einen t-Test für gepaarte Stichproben mit dem ttest_rel-Paket scipy.stats in Python durch, wenn die Daten eine Normalverteilung aufweisen, andernfalls führen Sie Mann-Whitney Wilcoxon mit dem wilcoxon-Paket scipy.stats in Python durch. Wenn das Ergebnis einen p-Wert < 0,05 hat, bedeutet dies, dass es einen signifikanten Unterschied zwischen den Messdaten beider Instrumente gibt. Ersetzen Sie im Code measure1_toolA und measure1_toolB durch die entsprechenden Spaltennamen.
5. Messen Sie die Größe der Differenz zwischen Instrumenten über die Effektstärke mit der Cohend-Methode. Eine Ausgabe von 0,2 bedeutet einen kleinen Effekt, 0,5 einen moderaten Effekt und 0,8 einen großen Effekt.
6. Verwenden Sie die Bland-Altman-Analyse, um die Übereinstimmung zwischen zwei Instrumenten zu bewerten, z. B. der mittleren oder mittleren Differenz, der Standardabweichung (SD) und dem 95 %-KI der Verzerrung. Plotten Sie die Bland-Altman-Analyse zur einfachen Visualisierung der Ausgabe mit dem Paket matplotlib.pyplot in Python.
7. Wiederholen Sie die Schritte 3.5 bis 3.7 für jedes Paar der Messdaten beider Geräte.

Ergebnisse

Tabelle 1 zeigt signifikante Unterschiede (p-Wert < 0,05) zwischen den Daten von PSG und der Fitness-Smartwatch während des ersten Teils des Validierungstests. Die Fitness-Smartwatch überschätzte die Weckzeit (p < 0,001), unterschätzte die Schlafdauer (p = 0,004) und meldete eine höhere maximale Herzfrequenz (p = 0,001). Es wurden jedoch keine signifikanten Unterschiede zwischen dem PSG-Gerät und der Fitness-Smartwatch bei den folgenden Messungen festgestellt: flac...

Diskussion

Aufgrund der gemischten Ergebnisse in der Vergleichsanalyse wurden mehrere Einschränkungen der Fitness-Smartwatch identifiziert. Die hohe Variabilität bei den Messungen der Smartwatch kann darauf zurückzuführen sein, dass sie sich auf Bewegungs- und Herzfrequenzdaten verlässt und nicht auf detailliertere Messungen wie das Elektroenzephalogramm (EEG), das bei PSG verwendet wird. Tiefschlaf und REM-Zeit zeigten eine bessere Übereinstimmung, was darauf hindeutet, dass die Fitness-Smar...

Materialien

Name	Company	Catalog Number	Comments
Sleep Diagnostic System	Natus Neurology & Compumedics		Referred in manuscript as PSG machine
Xiaomi Mi Band 6	Xiaomi		Referred in manuscript as fitness smartwatch