Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama

Özet

Makale, doğal parmak hareketi sırasında el elektromiyografisi (EMG) ve görsel parmak takibini aynı anda kaydetmek için kapsamlı bir protokol sunmaktadır. Görsel veriler, parmak hareketi tanıma için doğru EMG tabanlı hesaplama modellerinin geliştirilmesi için temel gerçek olarak hizmet etmek üzere tasarlanmıştır.

Özet

Parmak hareketleri, insan iletişiminde kritik bir unsurdur ve bu nedenle, parmak hareketi tanıma, son teknoloji protezler ve optimize edilmiş rehabilitasyon için bir insan-bilgisayar arayüzü olarak geniş çapta incelenmektedir. Yüzey elektromiyografisi (sEMG), derin öğrenme yöntemleriyle birlikte, bu alanda umut verici bir yöntem olarak kabul edilmektedir. Bununla birlikte, mevcut yöntemler genellikle hantal kayıt kurulumlarına ve statik el konumlarının tanımlanmasına dayanır ve bu da gerçek dünya uygulamalarındaki etkinliklerini sınırlar. Burada rapor ettiğimiz protokol, dinamik el hareketleri sırasında kapsamlı verileri yakalamak için giyilebilir bir yüzey EMG ve parmak izleme sistemini birleştiren gelişmiş bir yaklaşım sunmaktadır. Yöntem, denekler farklı el pozisyonlarında ve hareket sırasında hareketler gerçekleştirirken ön kol üzerine yerleştirilen yumuşak baskılı elektrot dizilerinden (16 elektrot) kas aktivitesini kaydeder. Görsel talimatlar, EMG ve parmak pozisyonları kaydedilirken deneklerden belirli hareketleri gerçekleştirmelerini ister. Senkronize EMG kayıtlarının ve parmak izleme verilerinin entegrasyonu, kas aktivite modellerinin ve ilgili hareketlerin kapsamlı bir şekilde analiz edilmesini sağlar. Rapor edilen yaklaşım, EMG ve görsel izleme teknolojilerini, protez, rehabilitasyon ve etkileşimli teknolojilerdeki uygulamalarla sezgisel ve duyarlı jest tanıma sistemleri geliştirmek için önemli bir kaynak olarak birleştirme potansiyelini göstermektedir. Bu protokol, araştırmacılara ve uygulayıcılara rehberlik etmeyi, dinamik ve gerçek dünya senaryolarında hareket tanımanın daha fazla yeniliğini ve uygulanmasını teşvik etmeyi amaçlamaktadır.

Giriş

El hareketleri insan iletişiminde çok önemlidir ve parmak hareketlerinin tanınmasını insan-bilgisayar etkileşimi, gelişmiş protezler 1,2,3,4 ve rehabilitasyon teknolojileri ^5,6 gibi alanlarda çok önemli bir araştırma alanı haline getirir. Sonuç olarak, parmak hareketi tanıma, sezgisel kontrol sistemlerini ve yardımcı cihazları geliştirme potansiyeli nedeniyle büyük ilgi gördü. Derin öğrenme algoritmaları ile birleştirilen yüzey elektromiyografisi (sEMG), el hareketleriyle ilişkili kasların elektriksel aktivitesini tespit etme yeteneği nedeniyle bu hareketleri yakalamak ve yorumlamak için oldukça umut verici bir yaklaşım olarak ortaya çıkmaktadır 7,8,9,10,11,12,13,14,15.

Bununla birlikte, bu ilerlemelere rağmen, mevcut yaklaşımlar gerçek dünya uygulamalarında sınırlamalarla karşı karşıyadır. Mevcut sistemlerin çoğu, kontrollü ortamların dışında uygulanması genellikle zor olan çok sayıda elektrot 5,7,9,16,17 ve hassas konumlandırma ^3,18 içeren karmaşık, hantal kayıt kurulumları gerektirir. Ek olarak, bu sistemler statik el pozisyonlarına odaklanma eğilimindedir 13,18,19,20,21 ve günlük aktivitelerde meydana gelen dinamik, akıcı hareketleri yorumlama yeteneklerini sınırlar. Protokol, daha doğal koşullarda dinamik hareket tanımayı destekleyerek bu sınırlamaları ele almayı amaçlıyor. Bu tür bir metodoloji, gerçek zamanlı, doğal hareket yorumlamasının gerekli olduğu protez ve rehabilitasyon gibi alanlarda daha pratik ve kullanıcı dostu uygulamalar sağlayacaktır.

Bu zorlukların üstesinden gelmek için, daha doğru ve uyarlanabilir algoritmalar geliştirmek, doğal, günlük koşulları yansıtan veri kümeleri gerektirir ^3,4. Bu tür veri kümeleri, model sağlamlığını sağlamak için çok çeşitli dinamik hareketleri, çeşitli el pozisyonlarını ve büyük hacimli verileri yakalamalıdır. Ayrıca, eğitim ve test veri kümeleri arasındaki değişkenlik çok önemlidir ve modellerin farklı el duruşları, kas aktivasyon modelleri ve hareketleri arasında genelleme yapmasına olanak tanır. Bu tür bir çeşitliliği verilere dahil etmek, algoritmaların günlük, gerçek dünya uygulamalarında hareket tanımayı daha doğru bir şekilde gerçekleştirmesini sağlayacaktır²².

Bu zorlukların üstesinden gelmek, daha pratik ve yaygın olarak uygulanabilir hareket tanıma sistemlerinin gelecekteki gelişimi için çok önemli olacaktır. Burada açıklanan çalışma ve protokol, doğal ortamlarda dinamik el hareketlerini yakalayabilen taşınabilir, kullanıcı dostu bir kuruluma sahip olma ihtiyacından kaynaklanmaktadır. Kapsamlı veri kümeleri ve gelişmiş algoritmalar, insan-bilgisayar arayüzlerinde, nöroprotezlerde ve rehabilitasyon teknolojilerinde sEMG ve derin öğrenmenin potansiyelini tam olarak ortaya çıkarmak için kritik öneme sahiptir. Bu protokolün, çeşitli el pozisyonlarında genelleme yapan algoritma modellerinin geliştirilmesini daha da sağlamak için kapsamlı veri toplamayı kolaylaştırarak alana katkıda bulunmasını bekliyoruz.

Hareket tanımadaki önemli bir zorluk, sEMG sinyallerinin el konumlandırmasına duyarlılığında yatmaktadır. Birçok çalışma, hareket tahmini için sabit el pozisyonlarına odaklanırken, gerçek dünya uygulamaları, çeşitli el duruşlarında parmak hareketlerini tanıyabilen modeller gerektirir. Son yaklaşımlar, bilgisayar görüşünü bir temel gerçek referansı olarak dahil ederek, bu modellerin doğruluğunu ve esnekliğini artırarak bunu ele almıştır ^15,19. Ek olarak, sEMG sinyallerini görsel verilerle entegre eden hibrit modeller, çeşitli senaryolarda tanıma doğruluğunda daha fazla iyileştirme sunar²³.

Bu protokolde, gerçek dünya benzeri koşullarda hem EMG hem de el izleme verilerini birleştirerek dinamik hareket tanımayı geliştiren veri toplamaya senkronize bir yaklaşım sunuyoruz. Hareket performansını statik pozisyonlarla sınırlayan geleneksel yöntemlerin aksine, bu protokol dört farklı pozisyonda gerçekleştirilen hareketleri içerir: el aşağı, el yukarı, el düz ve el hareketi. El izleme kamerası, üç boyutlu etkileşimli bir bölge içinde el hareketlerini takip ederek farklı el öğelerini tanımlar ve dinamik hareketleri yüksek çözünürlükte yakalar. Kas aktivitesini kaydetmek için ön kola yerleştirilen 16 elektrottan oluşan yumuşak bir elektrot dizisi, katılımcı hareketliliğini engellemeden sabit ve kablosuz kayıtlar sunar. Bu iki kaynaktan gelen senkronize veriler, gerçek dünya koşullarında çalışabilen gelişmiş hareket tanıma algoritmaları geliştirmek için kapsamlı bir temel sağlar. Yaklaşım, gerçekçi senaryolarda serbest dolaşımı ve kararlı sinyal kaydını kolaylaştırarak özellikle mevcut kurulumların sınırlamalarını ele alır. Bu ilerleme, sezgisel kontrol ve esnekliğin gerekli olduğu protez, rehabilitasyon ve etkileşimli teknolojilerdeki uygulamalar için hareket tanıma teknolojilerini destekler.

Protokol

Tel Aviv Üniversitesi Etik İnceleme Kurulu tarafından onaylanan bu çalışma için sağlıklı katılımcılar (n = 18, 18-32 yaş, hem erkek hem de kadın) işe alındı (Onay No. 0004877-3). Protokol, insan katılımcıları içeren araştırmalar için kurulun yönergelerine bağlıdır. Tüm katılımcılardan kurumsal gerekliliklere uygun olarak bilgilendirilmiş onam alındı.

1. Deneyci brifingi

1. Katılımcılardan bir dizi 14 farklı parmak hareketi gerçekleştirmelerini isteyin (bkz. Şekil 1) ve her hareketi rastgele bir sırayla 7 kez tekrarlayın. Her hareketi 5 saniye boyunca sıkıca sürdürmelerini ve ardından 3 saniye dinlenmelerini isteyin. Her seans için toplam süre 13:04 dk'dır.
2. Bir bilgisayar ekranında görüntülenen hareketin büyük bir görüntüsüne, hareket performansını belirtmek için bir geri sayım sayacı eşlik eder. Dinlenme süresi boyunca, katılımcıdan kalan dinlenme süresini gösteren bir zamanlayıcı ile birlikte gösterilen yaklaşan hareketin küçük resmine bakmasını isteyin. İki farklı bip sesi, her hareketin başlangıcını ve bitişini işaret ederek katılımcıların bir sonraki harekete hazırlanmalarına yardımcı olur.
3. Her katılımcıdan, daha önce sunulan^22'ye benzer şekilde prosedürü dört farklı pozisyonda yürütmesini isteyin:
   Pozisyon 1: Katılımcı ayakta. Eller aşağı, düz ve rahat.
   Pozisyon 2: Koltukta oturan katılımcı. El 90° öne doğru uzatılmış, avuç içi rahat (bir destek cihazı kullanılabilir).
   Pozisyon 3: El yukarı doğru katlanmış (dirsek koltuğa dayanmış durumda), avuç içi rahat.
   Konum 4: Katılımcı önceki konumlardan birini seçer ve elini kameranın algılama aralığı içinde serbestçe hareket ettirebilir, bu da bir PC ekranında gerçek zamanlı olarak izlenir (daha fazla ayrıntı için bkz. adım 1.4).
4. Her seans için katılımcının koluna bir elektromiyografi cihazı takmasını sağlayın ve onlara doğru bir el izleme kamerası yerleştirin. Katılımcılardan avuçlarının her zaman kameraya dönük olduğundan emin olmalarını isteyin. El izleme yazılımı ayrı bir ekranda görüntülenir, böylece hem katılımcı hem de orkestra şefi elin doğru bir şekilde tanındığını doğrulayabilir.
5. Her konum için, doğru el tanımayı sağlamak için el izleme kamerasının konumunu ve açısını ayarlayın. Ek olarak, spektrogram komut dosyasını kullanarak elektrotlardan gelen sinyallerin kalitesini değerlendirin.

Şekil 1: Veri toplama sürecinin şematik gösterimi. Denek, hareket performansı sırasında yüksek çözünürlüklü yüzey elektromiyografisi (sEMG) sinyallerini yakalayan ön kol (3) üzerine yerleştirilmiş yumuşak bir elektrot dizisi ile donatılmıştır. Denek, bir bilgisayar ekranında rastgele sırayla sunulan 14 farklı parmak hareketi gerçekleştirir (4). EMG verileri, veri toplama ünitesinden (DAU; 1) kablosuz olarak bir kişisel bilgisayara (PC) aktarılır. Eşzamanlı olarak, parmak eklem açılarını temsil eden el kinematik verileri (HKD) bir el izleme kamerası (2) kullanılarak yakalanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

2. Veri toplama birimlerinin kurulması

1. Github deposunu https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git açın ve Kurulum bölümündeki ayrıntılı talimatları izleyin. finger_pose_estimation/data_acquisition klasöründe data_collection.py birincil Python dosyasını bulun. Deneyi çalıştırmak için bunu kullanın, deney başlamadan önce EMG sinyal kalitesini değerlendirmek için komut dosyası spectrogram.py kullanın ve komut dosyası sinyal filtreleme ve segmentasyon için data_analysis.py.
2. EMG Veri Toplama Ünitesinin (DAU) her seanstan önce tam olarak şarj olduğundan emin olun ve açın.
3. Özel uygulamayı kullanarak DAU'yu Bluetooth aracılığıyla PC'ye bağlayın. Bluetooth iletişim hızını saniyede 500 örnek (S/s) olarak ayarlayın.
4. El izleme kamerasının yazılımını PC'ye kurun ve açın. El izleme kamerasını bir kablo kullanarak PC'ye bağlayın.
5. El izleme kamera yazılımını her zaman görüntülemek için tek bir ekran kullanın. Bu şekilde, orkestra şefi ve katılımcı, deney sırasında kameranın eli doğru bir şekilde tanıdığından emin olabilecektir.

3. Katılımcı hazırlığı

1. Giriş ve onay
   1. Çalışmanın alaka düzeyini ve deneysel prosedürü katılımcıya kısaca açıklayın. İnsanları içeren araştırmalar için kurumsal yönergeleri izleyerek bilgilendirilmiş onay alın.
2. Elektrot yerleştirme
   1. Katılımcıya güçlü bir yumruk oluşturarak sağ elini esnetmesini söyleyin. Katılımcı esnerken, kas aktivasyonunun en belirgin olduğu noktayı belirlemek için kas boyunca hafifçe bastırarak ön kolu palpe edin. Bu konum, kasılma sırasında kasın şiştiği bölgeyi hissederek kolayca tanımlanabilir.
   2. İsteğe bağlı: Tanımlanan cilt bölgesini alkol lifsiz bir bez, hazırlık jeli veya su ve sabunla temizleyerek hazırlayın. Alanın kurumasına izin verin. Cildi kurutabileceği için alkolle aşırı temizlikten kaçının. Bu adım isteğe bağlıdır; Tartışma bölümüne bakın.
   3. EMG elektrot dizisinden beyaz koruyucu tabakayı soyun ve elektrotları adım 3.2.1'de belirtildiği gibi belirlenen ön kol bölgesine dikkatlice takın. (bkz. Şekil 1). Yapışkan bandın avuç içine daha yakın olduğundan emin olun. Hafifçe vurarak elektrot dizisini cilde sabitleyin.
   4. Elektrot dizisi cilde bağlandıktan sonra, şeffaf destek tabakasını soyun.
   5. Elektrot dizisi konektör kartını DAU'nun konektör soketine takın. DAU'yu elektrotların yanındaki yapışkan banda takın.
   6. Gerçek zamanlı sinyal kalitesini doğrulamak için özel Python spektrogram komut dosyası Spectrogram.py çalıştırın. Tüm elektrotlar için ham verileri (solda) ve frekans alanını (sağda) gösteren bir pencere açılacaktır (referans için Ek Şekil 1'e bakın).
      1. Tüm elektrotların algılandığını ve düzgün çalıştığını ve sinyalin aşırı gürültü ve 50 Hz gürültüden temiz olduğunu doğrulayın.
      2. Gerekirse, parazite neden olabilecek elektronik cihazlardan uzaklaşarak ve gereksiz cihazların fişini çekerek 50 Hz gürültüyü azaltın. Sinyalin stabilize olması için zaman tanıyın.
      3. EMG sinyalinin yakalandığını doğrulayın: katılımcıya koltuğa dirsek koymasını ve parmaklarını hareket ettirmesini söyleyin, ardından rahatlayın. Net bir EMG sinyalinin ve ardından statik temel gürültünün görüntülendiğinden emin olun.
      4. Sinyal doğrulaması tamamlandıktan sonra komut dosyasını kapatın.
3. Hareket ve el pozisyonu incelemesi
   1. Finger_pose_estimation > Data_acquisition tıklayarak Görüntüler klasörünü açın. Katılımcılarla birlikte hareket görüntülerini gözden geçirin.
   2. Her hareketi anladıklarından ve doğru bir şekilde gerçekleştirebildiklerinden emin olun. Dört el pozisyonunu katılımcıya net bir şekilde açıklayın.
   3. Katılımcıya her seanstan önce elini nasıl tutması gerektiği konusunda talimat verin, uygun duruş ve konumlandırmayı sağlayın.
4. Katılımcı ve kamera konumlandırma
   1. El pozisyonu 1 için, katılımcıya masadan yaklaşık 1 m uzakta düz durmasını söyleyin. Katılımcıya sağ elini aşağıda, düz ve rahat bir şekilde, avuç içi el izleme kamerasına bakacak şekilde tutmasını söyleyin. El izleme kamerasını bir selfie çubuğu ile masanın üzerine sabitleyin ve katılımcının eline bakacak şekilde yönlendirin.
   2. El pozisyonu 2 için, katılımcıya monitörlerden 40-70 cm uzakta bulunan bir koltuğa rahatça oturmasını söyleyin. Katılımcıya, rahat bir avuç içi el izleme kamerasına bakacak şekilde sağ elini 90° öne doğru uzatmasını söyleyin. Gerekirse elinizi sabit tutmak için bir destek cihazı kullanın. El izleme kamerasını yukarı bakacak şekilde masanın üzerine yerleştirin.
      NOT: Katılımcının sabit bir duruşta kalması istendiğinden, seans boyunca koruyabilecekleri rahat bir pozisyon bulmak önemlidir.
   3. El pozisyonu 3 için, katılımcıya adım 3.4.2'de açıklandığı gibi oturmasını söyleyin. Katılımcıya, dirseğini koltuğa dayayarak elini yukarı doğru katlamasını söyleyin. Avuç içi rahat olmalı ve katılımcı el izleme kamerasına bakmalıdır. El izleme kamerasını masanın üzerine, katılımcının eline bakacak şekilde sabitleyin (gerekirse bir selfie çubuğu kullanın). Katılımcının konumunun hem ekranları görüntülemek hem de kameranın görüş alanı içinde olmak için en uygun olduğundan emin olun.
   4. Kameranın deney boyunca eli ve parmakları algıladığından emin olmak için el izleme verilerini görüntüleyen ekranı sürekli olarak izleyin. İsteğe bağlı: deneye başlamadan önce her el pozisyonunda EMG sinyal kalitesini (adım 3.2.6.) doğrulayın.

4. Veri toplama

1. Denemeyi çalıştırma
   1. Python'u açın ve data_collection.py yükleyin. num_repetition, gesture_duration rest_duration parametrelerinin istediğiniz gibi ayarlandığını doğrulayın.
      1. num_repetition: Her bir hareket görüntüsünün kaç kez gösterileceğini tanımlayın. Bu deney için 7'ye ayarlayın, yani her görüntü 7 kez gösterilir. gesture_duration: Katılımcının el hareketini gerçekleştireceği süreyi (s cinsinden) belirtin. Bu deney için, her bir hareket görüntüsünün ne kadar süreyle görüntüleneceğini belirleyerek 5 s'ye ayarlayın. Rest_duration: Katılımcının hareketler arasında avucunu gevşetme süresini (s cinsinden) belirtin. Bu deney için 3 s'ye ayarlayın.
   2. El izleme kamerasının konumunu ve açısını katılımcının el konumuna göre ayarlayın.
   3. data_collection.py betiğini çalıştırın. Katılımcının ayrıntılarını (seri numarası, yaş, cinsiyet, oturum numarası ve el pozisyonu) girmek için bir pencere açılacaktır. Bu bilgileri doldurun ve deneyi otomatik olarak başlatmak için Tamam'a basın.
2. Veri toplama
   1. Her seans için, otomatik olarak kaydedilen EMG ve el izleme verilerini kaydedin. Deneyi her katılımcı için her el pozisyonu için bir kez olmak üzere 4 kez tekrarlayın.

5. Deney sonu ve deney sonrası veri işleme

1. Deney tamamlandığında veriler otomatik olarak kaydedilir. Verilerin, katılımcının seri numarasıyla etiketlenmiş bir klasöre kaydedildiğinden emin olun. Her oturum, S# (örneğin, S1) adlı bir alt klasörde depolanır ve her el konumu için P# (P1, P2, P3 ve P4) için dört alt klasör bulunur. Tek bir oturum için klasör boyutu yaklaşık 160 MB'tır.
2. Bir katılımcı birden fazla oturumu tamamlarsa, tüm verilerin ilgili oturum klasörüne kaydedildiğinden emin olun (ör. S1, S2).
3. Veri dosyaları
   Her el konumu klasörünün (P#) aşağıdaki dosyaları içerdiğinden emin olun: Aşağıdaki gibi adlandırılan bir EDF dosyasına kaydedilen EMG verileri: fpe_pos{pozisyon numarası}_{konu numarası}_S{oturum numarası}_rep0_BT; fpe_pos{pozisyon numarası}_{konu numarası}_S{oturum numarası}_rep0_BT_full adlı bir CSV dosyasına kaydedilen el izleme verileri; ve oturumla ilgili meta verileri içeren bir günlük dosyası (log.txt.
4. Bilgi işlem
   NOT: Bir kullanıcı, sinyal analizine nasıl devam edileceğini ve hangi araçların kullanılacağını seçebilir. Burada, Python'da sinyal filtreleme ve veri segmentasyonu gerçekleştirmek için bir komut dosyası sağlıyoruz. Python kullanırken, tüm bağımlılıkların (ör. Numpy, Pandas, SciPy, MNE, Sklearn) kurulu olduğundan emin olun.
   1. Python'u açın, data_analysis.py yükleyin ve betiği çalıştırın.
   2. Veri işleme için gerekli parametreleri sağlamak üzere konsolda istek görünecektir: EMG dosyasına giden yol, el kinematik verilerine giden yol, işlenen verilerin kaydedileceği yol, Hz cinsinden örnekleme hızı, ms cinsinden pencere süresi ve ms cinsinden adım aralığı.
   3. Bu adımın ardından komut dosyası veri işlemeyi gerçekleştirecektir.
   4. EMG sinyal filtreleme: Komut dosyasını yukarıdaki gibi çalıştırın. Komut dosyası önce EMG olmayan sinyalleri çıkarmak için 20 Hz'lik bir kesmeye sahip 4. dereceden bir Butterworth yüksek geçiren filtre, ardından 50 Hz ve 100 Hz harmonikleri çıkarmak için bir çentik filtresi uygulayarak sEMG sinyalini filtreler. Ek olarak, komut dosyası EMG sinyalinin normalizasyonunu uygular.
   5. EMG, HKD verileri ve talimatlı hareket segmentasyonu: Komut dosyasını yukarıdaki gibi çalıştırın. Komut dosyası, belirtilen pencere süresi ve adım aralığı tarafından tanımlanan bir yuvarlanan pencere tekniğini kullanarak segmentasyon uygular. Bu deneyde, bunları sırasıyla 512 ve 2 ms'ye ayarlayın. Komut dosyası daha sonra elektrot dizisi düzenini korurken sEMG kanal organizasyonunu 4 x 4 uzamsal ızgara konfigürasyonuna dönüştürür. Son olarak, komut dosyası, turşu dosyası olarak meta verileri içeren bir sözlük oluşturur.
   6. Veri temizleme ve doğrulama adımları
      1. Yapıtlar, gürültü veya tutarsız hareket etiketleri içeren segmentleri tanımlayın ve veri kümesinden hariç tutun.
      2. Veri güvenilirliğini korumak için pencereler arasında segment eksiksizliği ve zamansal süreklilik sağlayın.
      3. Tutarlılık için hareket verilerini HKD'ye göre çapraz kontrol edin. HKD oturum standartlarından sapan hareket desenlerini görüntüleyen pencereleri kaldırın.
      4. Oturum için beklenen kinematik desenlere uymayan aykırı değer segmentlerini algılayın ve atın.
      5. Gelişmiş algoritmaları kullanarak daha fazla veri analizi gerçekleştirin. Bunlar mevcut protokolde sağlanmamıştır.

Sonuçlar

Veri seti, zamanla senkronize edilmiş iki bileşenden oluşur: 16 kanallı bir EMG veri seti ve bir el izleme kamera sisteminden gelen veriler. 16 kanallı EMG verileri, zaman içinde farklı kaslardan gelen elektrik sinyallerini kaydederek kas aktivitesini yakalar. El izleme sistemi, elin iskelet modelindeki kilit noktalara karşılık gelen 16 kanal veri sağlar. Modelde bilek hariç 21 nokta bulunurken, hareket kısıtlamaları nedeniyle bu sayı 16'ya düşürüldü²⁴. EMG ve görsel veriler, kayıt sırasında aynı bilgisayarda iki ayrı işlem yapılarak senkron oluşturularak toplandı. Her işlemin başlangıcını işaretlemek için bir zaman damgası kullanıldı ve veri analiz kodunun kaydın sonunda kas aktivitesini ve el hareketi verilerini hizalamasına izin verildi. Zaman damgası ek açıklamaları hem EDF hem de CSV dosyalarında otomatik olarak kaydedildi, bu da belirli parmak hareketlerine talimat verildiği tam zamanı işaretledi ve veri analizi sırasında hizalamayı kolaylaştırdı. Filtrelenmiş EMG sinyali (20 Hz 4. dereceden Butterworth yüksek geçiren filtre), tipik olarak 3-9 μV²⁵ aralığında olan düşük bir taban çizgisi (gri gölgeli alanlar) ile karakterize edilir. Bu taban çizgisi, deneğin eli sabit ve kaslar hareketsiz durumdayken gözlenir. Bununla birlikte, dinlenme pozisyonunda bile kas tonusu varsa, belirgin bir EMG sinyali tespit edilebilir. Hareketin neden olduğu mekanik artefaktlar genellikle 10-20 Hz aralığında ortaya çıkar ve buna göre filtrelenmelidir. Önemli ölçüde yükseltilmiş temel değerler, 50 Hz hat girişimini gösterebilir ve deney kurulum aşamasında kaçınılmalıdır. Orta derecede 50 Hz gürültünün devam ettiği durumlarda; Bir çentik filtresi uygulanır. Çıkarılması daha zor olan keskin hareket artefaktları, genellikle sinyalde belirgin yüksek genlikli ani artışlar olarak görünür ( Şekil 2A'daki yıldız işaretine bakın). EMG sinyalinin 16 elektrot dizisi boyunca genliği, ölçülen bölge üzerindeki kas aktivitesinin uzamsal dağılımını yansıtacak şekilde değişir. Bu varyans, el hareketleri sırasında kas kasılmasının heterojenliği hakkında değerli bilgiler sağlar.

El izleme kamerası, kaydedilen EMG sinyalleriyle yakından ilişkili olması beklenen parmak açıları (el kinematik verileri, HKD) hakkında doğrudan bilgi sağlar. Hareketler sırasında, belirli harekete bağlı olarak normal aralıkta²⁶ parmak açıları. El izleme kamerası ile el arasındaki görsel yol engellenmediğinde, ortaya çıkan sinyal, Şekil 2'de gösterildiği gibi kararlı ve doğrudur. Ancak, görsel temasın kaybolduğu veya sistemin teknik sınırlamalarla karşılaştığı durumlarda, HKD düzensiz hale gelebilir ve yanlış değerler arasında atlamalar gösterebilir. Bu tür aykırı veriler, veri toplama sırasında en aza indirilmeli ve sonuçların bütünlüğünü korumak için son analizde atılmalıdır.

HKD sezgiseldir ve gerçekleştirilen gerçek hareketlerle doğrudan bir karşılaştırma sağlar. Konular arasında ve farklı el pozisyonlarında düşük değişkenlik sergiler. Buna karşılık, EMG verileri, el büyüklüğü ve kas gelişimi gibi anatomik farklılıklar nedeniyle bireyler arasında önemli ölçüde farklılık gösterme eğilimindedir²⁷. Ek olarak, baskın ve baskın olmayan eller arasında değişkenlik gözlenebilir. Bu konuya özgü değişkenlik, çevrimdışı analiz sırasında ele alınabilir.

Şekil 2'de, hem EMG hem de HKD'nin talimat verilen hareket tetikleyicisine göre dengelendiği açıktır. Bu tutarsızlık, tepki süresi ve doğal hareket yürütme nedeniyle ortaya çıkar²⁸. Regresyon görevlerinde, bu tür bir değişkenlik verilerin zenginliğine katkıda bulunabilirken, sınıflandırma görevlerinde, benzer senaryolarda uygulandığı gibi genelleştirilmiş bir olabilirlik oranı yaklaşımı kullanılarak yönetilebilir²⁸.

Resim 2: Parmak kaçırma sırasında temsili sEMG ve HKD. Tek bir katılımcı tarafından el pozisyonu 1 (el aşağı, düz ve rahat) sırasında gerçekleştirilen dinamik parmak abdüksiyonu ve dinlenme sırasında kaydedilen yüzey elektromiyografisi (sEMG) sinyalleri ve el kinematik verileri (HKD). (A) Zamanın bir fonksiyonu olarak 16 kanaldan filtrelenmiş EMG sinyalleri. Yıldız işareti (*), Kanal 5'in EMG kaydında tespit edilen mekanik bir artefaktı belirtir. (B) Eklem açılarını zamanın bir fonksiyonu olarak gösteren HKD. Eklem açıları çeşitli eklemlerde ölçülür: trapeziometakarpal (TMC), metakarpofalangeal (MCP) ve proksimal interfalangeal (PIP). Deneyin aşamaları (dinlenme ve kaçırma) x ekseni boyunca gösterilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Bu temsili sonuçlar, senkronize EMG ve HKD verilerinin el hareketlerini yakalamada faydasını göstermiştir. EMG sinyallerinin karşılık gelen HKD ile hizalanması, kas aktivitesinin belirli parmak hareketlerine haritalandırılmasına izin verir. Tahmine dayalı bir model oluştururken, araştırmacılar HKD'yi temel gerçek olarak kullanabilir, EMG tabanlı jest tahminlerini yinelemeli olarak doğrulayabilir ve iyileştirebilir. Bu yaklaşım, protokolün pratik uygulanabilirliğini vurgulamakta ve daha doğal ortamlarda daha fazla araştırmaya ihtiyaç olduğunu göstermektedir.

Ek Şekil 1: Sinyal doğrulama adımı sırasında görüntülenen spektrogram pencereleri. Soldaki paneller ham EMG verilerini gösterirken, sağdaki paneller tespit edilen frekans alanlarını gösterir. (A) Güçlü 50 Hz ve 100 Hz parazite sahip çok gürültülü bir EMG sinyali örneği. (B) Katılımcıyı elektrikli cihazlardan daha uzağa taşıdıktan sonra aynı EMG sinyali kaydının örneği, minimum parazitle temiz bir EMG sinyali ile sonuçlanır. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışmalar

Bu çalışmada sunulan protokol, sEMG sinyalleri ve HKD kombinasyonu yoluyla el hareketi tanımayı geliştirmeyi amaçlayan kritik adımları, değişiklikleri ve sorun giderme stratejilerini özetlemektedir. Temel sınırlamaları ele alır ve bu yaklaşımı mevcut alternatiflerle karşılaştırarak çeşitli araştırma alanlarındaki potansiyel uygulamalarını vurgular. Protokolün en önemli yönlerinden biri, el izleme kamerasının doğru konumlandırılmasını ve hizalanmasını sağlamaktır. Doğru hareket yakalama, büyük ölçüde kameranın katılımcının eline göre açısına ve mesafesine bağlıdır. Kamera konumlandırmasındaki küçük sapmalar bile izleme hatalarına yol açarak hareket verilerinin doğruluğunu azaltabilir. Bu hizalama, tutarlı ve güvenilir veri toplamayı sağlamak için her katılımcı ve el pozisyonu için dikkatli bir şekilde ayarlanmalıdır. Ek olarak, hareketlerin yanlış yürütüldüğü veya deneysel akışla yanlış hizalandığı gereksiz verileri önlemek için katılımcıların protokol hakkında bilgi sahibi olmaları çok önemlidir. Katılımcıların rahat ve hareketlere ve deney düzeneğine aşina olmalarını sağlamak, veri gürültüsünü en aza indirebilir ve kayıtların kalitesini artırabilir.

Bu tür bir çalışmada yaygın bir zorluk, hem sEMG hem de HKD'de gürültü kirliliğidir. sEMG sinyalleri, kas yorgunluğu, hareket artefaktları ve elektromanyetik girişim gibi çevresel gürültü gibi faktörlere karşı özellikle hassastır. Bant geçiren filtreleme gibi ön işleme teknikleri, gürültüyü azaltmak ve sinyal netliğini artırmak için gereklidir. Uygun elektrot yerleşimi ve katılımcılara dinlenme aşamalarında gevşemiş kasları korumaları talimatını vermek, hareket artefaktlarını daha da azaltabilir. Bu önlemlere rağmen, anatomi, el kuvveti ve kas aktivasyon modellerindeki bireysel farklılıklar nedeniyle sEMG sinyallerinde bir miktar değişkenlik kaçınılmazdır. Bu değişkenlik, bu farklılıkları konular ve koşullar arasında normalleştirebilen esnek algoritmalar aracılığıyla ele alınabilir.

Yüksek kaliteli sEMG sinyalleri elde etmede önemli bir faktör, ilk sinyal doğrulamasıdır. Jel elektrotları kullanan geleneksel protokoller, sinyal netliğini artırmak için pul pul dökülme veya alkolle temizleme gibi cilt hazırlığı gerektirir. Bununla birlikte, önceki bir çalışmada, kuru elektrotlarla cilt hazırlığının sinyal kalitesini önemli ölçüde etkilemeyebileceğini gösterdik²⁵. Bu protokolde cilt temizliği isteğe bağlıdır ve bu sayede işlem basitleştirilir. Sinyal kalitesini etkileyen ciltle ilgili bir diğer sorun da aşırı ve kalın kol kıllarıdır. Bu gibi durumlarda, ya bölgeyi tıraş etmenizi ya da konuyu çalışmadan çıkarmanızı öneririz.

Hareket tanıma için sEMG kullanmanın kritik zorluklarından biri, el konumlandırmaya karşı duyarlılığıdır. Aynı hareketi gerçekleştirirken bile, el oryantasyonundaki değişiklikler farklı EMG sinyal modellerine yol açabilir. Bu sorunu çözmek için, el pozisyonlarındaki değişkenliği barındırabilen makine öğrenimi modelleri çok önemlidir²². Bu modeller, sağlamlığı ve genelleştirilebilirliği geliştirmek için birden fazla el duruşundan elde edilen verilerle eğitilmelidir. Görsel ve sEMG verilerinin senkronizasyonu bir diğer önemli husustur. Hareketlerin tutarlı zamanlaması, hareketin yürütülmesi ile veri kaydı arasındaki tutarsızlıkları önlemek için kritik öneme sahiptir. Bu protokol, veri toplama sırasında herhangi bir yanlış hizalamayı düzeltmek için gerektiğinde doğru zamanlama ve yeniden kalibrasyon adımlarının kullanılmasını sağlamaya yardımcı olmak için görsel geri sayımlar ve işitsel ipuçları kullanır.

Güçlü yönlerine rağmen, bu protokolün çeşitli sınırlamaları vardır. Önemli bir kısıtlama, katılımcının ellerinin kameranın algılama aralığı içinde kalmasını gerektiren el izleme kamerasının sınırlı görüş alanıdır. Bu, analizi küçük bir hareket kümesiyle sınırlar. Laboratuvar dışı deneyler için daha karmaşık bir video görüntüleme veya akıllı eldivenlerin kullanılması gerekecektir. Katılımcı yorgunluğu ayrıca daha uzun oturumlar sırasında bir zorluk teşkil eder ve potansiyel olarak jest doğruluğunu ve kas aktivasyonunu etkiler ve bu da sEMG verilerinin kalitesini düşürebilir. Bu etkileri azaltmak için, yorgunluğu en aza indirmek için seans uzunluğunu sınırlamak veya molalar vermek gerekebilir. Ek olarak, elektrik hattı paraziti, özellikle katılımcılar veri yakalamak için PC'ye yakın olduğunda, sEMG sinyallerine parazit ekleyebilir. Sistemin kablosuz bir versiyonu, katılımcıların bilgisayardan daha uzakta olmasına izin vererek bu tür parazitleri azaltabilir.

EMG tabanlı parmak hareketi algılamanın önemli bir metodolojik sınırlaması, her katılımcı için özel modellerin geliştirilmesini gerektiren sEMG sinyallerindeki yüksek denekler arası değişkenlikten kaynaklanmaktadır. Bu konuya özel yaklaşım, daha doğru olsa da, protokolün ölçeklenebilirliğini sınırlar ve her yeni kullanıcı için ek kalibrasyon ve eğitim süresi gerektirir. EMG ve HKD veri akışları, çift işlem kaydı nedeniyle küçük zamansal senkronizasyon farklılıkları gösterir. Bu zamanlama tutarsızlıkları, korunan pozlar zamansal olarak kararlı olduğu için statik hareket analizi üzerinde minimum bir etkiye sahiptir. Statik hareketlerin sürekli doğası, daha hassas senkronizasyon gerektiren dinamik hareketlerin aksine, hem EMG hem de kinematik özelliklerin stabilize olması için yeterli zaman sağlar.

Bu yöntemin önemli bir avantajı, hareketleri yakalamadaki esnekliğidir. Katı kurulumlar ve katı hareket parametreleri gerektiren diğer sistemlerin aksine, bu protokol dinamik ve esnek el pozisyonlarını^{barındırır 19}. Bu esneklik, özellikle geniş bir hareket yelpazesini analiz etmeyi amaçlayan çalışmalarda kullanışlıdır ve bu da onu gerçek dünyadaki uygulamalara daha uyumlu hale getirir. Ayrıca, bu protokol, genellikle karmaşık kurulumları içeren daha gelişmiş hareket yakalama ve sEMG sistemlerine kıyasla uygun maliyetlidir²⁹. Bir el izleme kamerasını yarı otomatik sEMG algoritmalarıyla entegre eden bu yöntem, veri kalitesinden ödün vermeden hareket tanıma çalışmaları için uygun bir alternatif sunar. Ek olarak, sistemin gerçek zamanlı veri işleme potansiyeli, gerçek zamanlı yanıt vermenin gerekli olduğu nöroprotez ve rehabilitasyon gibi uygulamalarda anında geri bildirim olanakları sunar. Bu protokolün, özellikle nöroprotezler olmak üzere birçok alan için önemli etkileri vardır. sEMG sinyallerinden el hareketlerinin doğru tahmini, protez uzuvları kontrol etmek için çok önemlidir ve bu yöntemin sunduğu el konumlandırma esnekliği, onu gerçek zamanlı protez cihazları için ideal bir aday haline getirir. Rehabilitasyonda, bu protokol el veya parmak bozukluğu olan hastalarda motor iyileşmeyi izlemek ve geliştirmek için kullanılabilir. Hareket performansı sırasında kas aktivasyon modellerini analiz ederek, bu sistem rehabilitasyon egzersizlerini bireysel ihtiyaçlara göre uyarlamak için kullanılabilir ve motor iyileşmeye kişiselleştirilmiş bir yaklaşım sunar. İnsan-bilgisayar etkileşimi (HCI) için bu yöntem, kullanıcı arayüzlerinin sezgiselliğini ve etkinliğini artırarak daha doğal hareket tabanlı kontrol sistemlerini mümkün kılar. Son olarak, protokol, farklı el pozisyonlarının ve jestlerinin kas aktivitesini ve yorgunluğunu nasıl etkilediğini değerlendirmek için ergonomik çalışmalara uygulanabilir ve bu da potansiyel olarak işyeri tasarımında ve kullanıcı ergonomisinde ilerlemelere yol açabilir.

Katılımcılar arasında tutarlı bir kasılma mukavemeti sağlamak için, gelecekteki çalışmalar, kuvveti doğrudan ölçmek için kuvvete duyarlı dirençlere sahip bir eldiven uygulayabilir. Bu, denekler arasında standartlaştırılmış çabaya izin verecek ve EMG verilerinin güvenilirliğini artıracaktır. Ek olarak, bu kuvvet ölçümünü eklem kinematiğine bir etiket olarak entegre etmek, kasın iç durumunun daha ayrıntılı bir temsilini sağlayacak ve potansiyel olarak kas fonksiyonu ve hareket modellerinin analizini zenginleştirecektir. Bu yaklaşım yalnızca veri tutarlılığını artırmakla kalmayacak, aynı zamanda kas kasılması ve eklem hareketi arasındaki ilişkiye dair daha derin bilgiler sunacaktır.

Sonuç olarak, bu protokol nöroprotez, rehabilitasyon, HCI ve ergonomi alanlarında geniş uygulamalarla el hareketi tanımaya yeni ve esnek bir yaklaşım sağlar. Sistemin sınırlamaları olmasına rağmen, esnekliği, maliyet etkinliği ve gerçek zamanlı kullanım potansiyeli, mevcut yöntemlere göre önemli ilerlemeleri temsil etmektedir. Bu güçlü yönler, onu hareket tanıma teknolojilerinde daha fazla gelişme ve yenilik için umut verici bir araç haline getiriyor.

Malzemeler

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT