İnsanın Çok Haneli Kavraması Sırasında Eller ve Nesneler Arasındaki Temas Bölgelerinin Tahmini

Özet

Bir nesneyi kavradığımızda, parmakların ve elin birden fazla bölgesi tipik olarak nesnenin yüzeyiyle temas eder. Bu tür temas bölgelerini yeniden inşa etmek zordur. Burada, işaretleyici tabanlı hareket yakalamayı mevcut derin öğrenme tabanlı el ağı rekonstrüksiyonu ile birleştirerek temas bölgelerini yaklaşık olarak tahmin etmek için bir yöntem sunuyoruz.

Özet

Bir nesneyi başarılı bir şekilde kavramak için, nesnenin yüzeyindeki ellerimiz için uygun temas bölgelerini seçmeliyiz. Ancak, bu tür bölgeleri tanımlamak zordur. Bu makalede, işaretleyici tabanlı izleme verilerinden iletişim bölgelerini tahmin etmeye yönelik bir iş akışı açıklanmaktadır. Katılımcılar gerçek nesneleri kavrarken, parmakların eklemleri de dahil olmak üzere hem nesnelerin hem de elin 3B konumunu izleriz. Ortak Euler açılarını ilk olarak elin arkasına yerleştirilmiş paletli işaretleyicilerden belirliyoruz. Daha sonra, katılımcının elinin mevcut pozda ve 3D konumunda bir örgü modeli oluşturmak için son teknoloji el ağı rekonstrüksiyon algoritmalarını kullanıyoruz.

3B yazdırılmış veya 3B taranmış nesnelerin kullanılması - ve bu nedenle hem gerçek nesneler hem de örgü verileri olarak kullanılabilir - el ve nesne ağlarının birlikte kaydedilmesini sağlar. Buna karşılık, bu da el ağı ile birlikte kayıtlı 3B nesne ağı arasındaki kesişimleri hesaplayarak yaklaşık temas bölgelerinin tahmin edilmesini sağlar. Bu yöntem, insanların çeşitli koşullar altında nesneleri nerede ve nasıl kavradıklarını tahmin etmek için kullanılabilir. Bu nedenle, yöntem görsel ve dokunsal algı, motor kontrolü, sanal ve artırılmış gerçeklikte insan-bilgisayar etkileşimi ve robotik üzerine çalışan araştırmacılar için ilgi çekici olabilir.

Giriş

Nesneleri kavrama ve manipüle etme kapasitesi, insanların çevreyi kendi istek ve ihtiyaçlarına göre yeniden şekillendirmelerini sağlayan önemli bir yetenektir. Bununla birlikte, çok eklemli elleri etkili bir şekilde kontrol etmek, sofistike bir kontrol sistemi gerektiren zorlu bir görevdir. Bu motor kontrol sistemi, aralarında görmenin çok önemli olduğu çeşitli duyusal girdi biçimleri tarafından yönlendirilir. Görme yoluyla, bireyler ortamdaki nesneleri tanımlayabilir ve konumlarını ve fiziksel özelliklerini tahmin edebilir ve daha sonra bu nesnelere kolaylıkla ulaşabilir, kavrayabilir ve manipüle edebilir. Retinadaki girdiyi elleri kontrol eden motor komutlarla birleştiren karmaşık sistemi anlamak, sensorimotor sinirbilimin önemli bir zorluğudur. Bu sistemin nasıl çalıştığını modellemek, tahmin etmek ve anlamak için öncelikle onu ayrıntılı olarak inceleyebilmeliyiz. Bu, hem görsel girişlerin hem de el motoru çıkışlarının yüksek doğruluklu ölçümlerini gerektirir.

Geçmiş hareket izleme teknolojisi, insan kavrama çalışmalarına bir takım sınırlamalar getirmiştir. Örneğin, katılımcıların ellerine bağlı kablolar gerektiren sistemler^1,2, parmak hareketlerinin aralığını kısıtlama eğilimindedir^, bu da kavrama hareketlerini veya ölçümleri potansiyel olarak değiştirir. Bu sınırlamalara rağmen, önceki araştırmalar görsel olarak yönlendirilmiş kavramayı etkileyen çeşitli faktörleri tanımlayabilmiştir. Bu faktörlerden bazıları, nesne şekli 3,4,5,6, yüzey pürüzlülüğü 7,8,9 veya bir nesnenin ele göre yönelimi ^4,8,10'dur. Bununla birlikte, önceki teknolojik sınırlamaların üstesinden gelmek için, bu önceki araştırmanın çoğunluğu basit uyaranlar ve oldukça kısıtlı görevler kullanmıştır, bu nedenle ağırlıklı olarak bireysel faktörlere odaklanmıştır 3,4,6,7,10, iki basamaklı hassas çeneler^{3,4,6,9,11,12,} 13,14,15,16,17,18, tek nesneler¹⁹ veya çok basit 2B şekiller ^20,21. Önceki bulguların bu kadar azaltılmış ve yapay laboratuvar koşullarının ötesinde nasıl genelleştiği bilinmemektedir. Ek olarak, el-nesne temasının ölçümü genellikle²² basamaklı temas noktalarının tahminine indirgenir. Bu basitleştirme, yalnızca parmak uçlarının bir nesneyle temas halinde olduğu küçük bir kavrama alt kümesini tanımlamak için uygun olabilir. Bununla birlikte, gerçek dünyadaki kavramaların çoğunda, parmakların ve avuç içinin geniş bölgeleri bir nesneyle temas eder. Ayrıca, yakın tarihli bir çalışma²³, dokunsal bir eldiven kullanarak, nesnelerin yüzeylerinin ele nasıl çarptığıyla tanınabileceğini göstermiştir. Bu, sadece nesneler ve parmak uçları arasındaki temas noktalarını değil, eller ve kavranan nesneler arasındaki genişletilmiş temas bölgelerini incelemenin önemini vurgulamaktadır²².

Hareket yakalama ve 3D el modellemesindeki son gelişmeler, önceki sınırlamaları aşmamıza ve kavramayı tüm karmaşıklığıyla incelememize izin verdi. Pasif işaretleyici tabanlı hareket izleme artık eklem hareketlerini izlemek için katılımcının ellerinin arkasına takılabilen milimetre boyutlu işaretleyicilerle kullanılabilir²⁴. Ayrıca, pasif işaretleyici sistemleri için otomatik işaretleyici tanımlama algoritmaları, işaretleyici verilerinin ^25,26,27 numaralı kapsamlı manuel son işleme ihtiyacını neredeyse ortadan kaldıracak kadar sağlamdır. İşaretsiz çözümler, video^28'deki hayvan vücudu parçalarının izlenmesinde de etkileyici performans seviyelerine ulaşıyor. Bu nedenle, bu hareket izleme yöntemleri, sonunda, karmaşık çok basamaklı el hareketlerinin güvenilir ve invaziv olmayan ölçümlerine izin verir²⁴. Bu tür ölçümler bizi eklem kinematiği hakkında bilgilendirebilir ve el ile bir nesne arasındaki temas noktalarını tahmin etmemizi sağlayabilir. Ek olarak, son yıllarda, bilgisayarlı görme topluluğu, nesne kavrama sırasında ve hatta el parçaları arasındaki kendi kendine temas sırasında yumuşak doku deformasyonlarını çoğaltabilen insan ellerinin modellerini oluşturma problemiyle uğraşmaktadır 29,30,31,32. Bu tür 3B örgü rekonstrüksiyonları, video görüntüleri ^33,34, iskelet eklemleri (işaretleyici tabanlı 35 veya işaretsiz izleme^36'dan türetilmiştir) ve derinlik görüntüleri ³⁷ gibi farklı veri türlerinden türetilebilir. Bu alandaki ilk önemli ilerleme, çeşitli pozlarda 31 denekten 1.000'den fazla el taramasından parametrik bir el modeli (MANO) türeten Romero ve ^ark.38 tarafından sağlanmıştır. Model, elin hem pozu hem de şekli için parametreler içerir ve farklı veri kaynaklarından tam el rekonstrüksiyonuna regresyonu kolaylaştırır. Daha yeni DeepHandMesh²⁹ çözümü, derin öğrenme yoluyla parametrik bir model oluşturarak ve el parçaları arasındaki fiziksel etkileşimleri daha doğru bir şekilde kopyalayan penetrasyondan kaçınma ekleyerek bu yaklaşıma dayanmaktadır. Bu tür el örgüsü rekonstrüksiyonlarını 3D izlenen nesne ağlarıyla birleştirerek, sadece nesne^32'nin yüzeyindeki temas bölgelerini değil, aynı zamanda elin yüzeyindeki temas bölgelerini de tahmin etmek artık mümkündür.

Burada, nesnelerin ve el eklemlerinin yüksek doğrulukta 3D takibini yeni el ağı rekonstrüksiyon algoritmalarıyla bir araya getiren bir iş akışı öneriyoruz. Yöntem, el-nesne temas yüzeylerinin ayrıntılı haritalarını verir. Bu ölçümler, sensorimotor sinirbilimcilere, insanın görsel olarak yönlendirilen kavraması hakkındaki teorik anlayışımızı genişletmede yardımcı olacaktır. Ayrıca, yöntem bitişik alanlardaki araştırmacılar için yararlı olabilir. Örneğin, insan faktörü araştırmacıları bu yöntemi sanal ve artırılmış gerçeklikte daha iyi insan-makine arayüz sistemleri oluşturmak için kullanabilirler¹⁸. İnsan kavrama davranışlarının yüksek doğruluklu ölçümleri, robotistlere etkileşimli algı ilkelerine dayanan insandan ilham alan robotik kavrama sistemleri tasarlamada da yardımcı olabilir 39,40,41,42,43. Bu nedenle, bu yöntemin, sinirbilim ve mühendislik alanlarında, son derece kısıtlı görevlerin seyrek açıklamalarından, karmaşık nesneler ve gerçek dünyadaki görevlerle natüralist kavrama davranışlarının daha eksiksiz karakterizasyonlarına kadar kavrama araştırmalarının ilerlemesine yardımcı olacağını umuyoruz. Genel yaklaşım Şekil 1'de özetlenmiştir.

Şekil 1: Önerilen yöntemdeki temel adımlar . (A) Hareket yakalama kameraları bir tezgahı birden fazla açıdan görüntüler. (B) Bir uyaran nesnesi, üçgen bir örgü modelinden 3B yazdırılır. (C) Dört küresel yansıtıcı işaretleyici, gerçek nesnenin yüzeyine yapıştırılır. Yarı otomatik bir prosedür, ağ nesnesinin yüzeyinde karşılık gelen dört noktayı tanımlar. Bu yazışma, örgü modelini gerçek nesnenin 3D izlenen konumuna roto-çevirmemizi sağlar. (D) Yansıtıcı işaretleyiciler, çift taraflı bant kullanılarak katılımcının elinin arkasındaki farklı işaretlere tutturulur. (E) Hareket yakalama sistemi, tek bir deneme sırasında izlenen nesnenin ve el işaretleyicilerinin 3B alanındaki yörüngeleri alır. (F) Katılımcıya özel bir el iskeleti, 3D bilgisayar grafik yazılımı kullanılarak oluşturulur. İskelet eklem pozları daha sonra ters kinematik yoluyla bir deneyde her denemenin her karesi için tahmin edilir. (G) Eklem pozları, mevcut 3D poz ve pozisyonda tahmini bir 3D el ağı çıkışı veren DeepHandMesh^29'un değiştirilmiş bir versiyonuna girilir. (H) Son olarak, el-nesne temas bölgelerini hesaplamak için örgü kesişimini kullanıyoruz. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Protokol

Bir deneye başlamadan önce, katılımcılar kurumsal yönergelere ve Helsinki Deklarasyonu'na uygun olarak bilgilendirilmiş onam vermelidir. Burada açıklanan tüm protokoller Justus Liebig Üniversitesi Giessen (LEK-FB06) yerel etik komitesi tarafından onaylanmıştır.

1. Gerekli tüm yazılımların yüklenmesi

1. Proje deposunu Veri ve Kod Deposu'ndan indirin.
2. Malzeme Tablosunda listelenen yazılımı yükleyin (yazılım sürümlerini not edin ve satın alma seçenekleri ve talimatları için bağlantıları izleyin).
3. Veri ve Kod Deposu içinde bir komut penceresi açın ve aşağıdaki komutu çalıştırın:
   conda env create -f environment.yml
4. https://github.com/facebookresearch/DeepHandMesh'de verilen talimatları izleyerek önceden eğitilmiş DeepHandMesh²⁹ örneğini indirin ve yükleyin.
   1. DeepHandMesh'i Veri ve Kod Deposunun "deephandmesh" klasörüne yerleştirin. "Ana/model.py" dosyasını Veri ve Kod Deposunda bulunan model.py dosyasıyla değiştirin.

2. Hareket yakalama sisteminin hazırlanması

1. Çalışma alanını çevreleyen bir çerçeve üzerinde düzenlenmiş hareket izleme kameraları tarafından birden fazla açıdan görüntülenen bir izleme hacmi içinde bir tezgahı konumlandırın (Şekil 1A). Her bir işaretleyicinin tabanına çift taraflı yapışkan bant takarak yansıtıcı işaretleyiciler hazırlayın.
2. Qualisys Track Manager'ı (QTM) yönetici olarak yürütün.
   NOT: Python SDK'sının QTM arabiriminin denetimini ele geçirmesi için QTM'nin Yönetici olarak yürütülmesi gerekir. QTM'yi her zaman Yönetici olarak çalıştırmanızı öneririz.

3. Kameraların kalibre edilmesi

1. L şeklindeki kalibrasyon nesnesini izleme hacminin içine yerleştirin.
2. QTM içinde, Yakala menüsünde Kalibre Et'e tıklayın veya Yakala araç çubuğundaki değnek simgesine basın. Bir kalibrasyon penceresinin açılmasını bekleyin. Kalibrasyon süresini seçin ve OK düğmesine basın.
3. Kalibrasyon süresi boyunca kalibrasyon değneğini izleme hacmi boyunca sallayın. Dışa Aktar düğmesine basın ve kalibrasyonun metin dosyası olarak dışa aktarılacağı dosya yolunu belirtin. Tamam'a basarak kalibrasyonu kabul edin.

4. Bir uyaran nesnesi oluşturma

1. Çokgen örgü şeklinde sanal bir 3B nesne modeli oluşturun. Nesne modelinin fiziksel bir kopyasını oluşturmak için bir 3B yazıcı kullanın.
   NOT: Adım 1.1'deki veri deposu, STL ve Wavefront OBJ dosya biçimlerinde örnek nesneler sağlar. STL formatındaki nesneler manifolddur ve 3D baskı için hazırdır.

5. Uyaran nesnesinin hazırlanması

1. Gerçek nesnenin yüzeyine düzlemsel olmayan dört yansıtıcı işaretleyici takın. Nesneyi izleme biriminin içine yerleştirin.
2. Proje deposunda, Python betiği "Acquire_Object.py" yürütün. Nesne işaretçilerinin 3B konumunun 1 sn'lik bir yakalamasını gerçekleştirmek için komut dosyası tarafından sağlanan yönergeleri izleyin.
3. Sert gövdenin tüm işaretleyicilerini seçin. Sağ tıklayın ve Sert Gövdeyi Tanımla (6DOF) | Geçerli Çerçeve. Sert gövdenin adını girin ve Tamam tuşuna basın.
4. Dosya menüsünde Dışa Aktar | TSV'ye. Yeni pencerede, Veri Türü ayarlarında 3B, 6B ve İskelet kutularını işaretleyin. Genel ayarlardaki tüm kutuları işaretleyin. Tamam'a ve ardından Kaydet'e basın.

6. Uyaran nesnesinin gerçek ve örgü model versiyonlarının birlikte kaydedilmesi

1. Blender'ı açın ve Komut Dosyası Oluşturma çalışma alanına gidin. "Object_CoRegistration.py" dosyasını açın ve Çalıştır'a basın. Mizanpaj çalışma alanına gidin ve kenar çubuğunu değiştirmek için n tuşuna basın. Kenar çubuğunda Özel sekmesine gidin.
2. Ortak kaydedilecek .obj dosyasını seçin ve Nesneyi Yükle düğmesine basın.
3. Adım 3.3'te dışa aktarılan yörünge dosyasını seçin ve noktalı virgülle ayrılmış katı nesneye iliştirilmiş işaretçilerin adlarını belirtin. İşaretçi üstbilgisinde, yörünge dosyasında verilerin sütun adlarını içeren satırı belirtin (sayma 0'dan başlar).
4. 6B sonekiyle karşılık gelen katı gövde dosyasını seçin ve adım 4.1'de tanımlanan katı gövdenin adını belirtin. 6B üstbilgide, katı gövde dosyasında verilerin sütun adlarını içeren satırı belirtin.
5. Load Markers (Yük İşaretçileri) düğmesine basın. İşaretçiler nesnesini ve/veya Object nesnesini hizalamak için çevirin ve döndürün. Bir mesh çıktı dosyası belirtin ve Ortak Kaydı Çalıştır'a basın. Bu, birlikte kayıtlı uyaran ağını içeren bir .obj dosyası çıkarır.

7. Ellerdeki işaretleyicilerin ayarlanması

1. Çift taraflı bant kullanarak bir katılımcının elinin farklı işaretlerine 24 küresel yansıtıcı işaretleyici takın.
   NOT: İşaretçilerin spesifik konumlandırması Şekil 2'de gösterilmiştir.
   1. İşaretçileri, işaret parmağının, orta parmağın, yüzük parmağının ve küçük parmağın distal interfalangeal eklemleri, proksimal interfalangeal eklemleri ve metakarpophalangeal eklemlerinin yanı sıra ilgili parmak uçlarının üzerine merkezi olarak yerleştirin.
   2. Başparmak için, parmak ucuna ve bazal karpometakarpal eklemin her birine bir işaretleyicinin yanı sıra metakarpophalangeal ve interfalangeal eklemlerde her biri bir çift belirteç yerleştirin.
      NOT: Bu işaretleyici çiftlerinin başparmağın ana eksenine dik olarak zıt yönlerde yer değiştirmesi gerekir ve başparmağın yönünü tahmin etmek için gereklidir.
   3. Son olarak, işaretleyicileri bileğin ortasına ve skafotrapeziotrapezoidal eklem üzerine yerleştirin.

Şekil 2: Bir katılımcının elindeki işaretleyici yerleşimi. Kısaltma: RH = sağ el. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

8. Tek bir deneme sürümü edinme

1. Katılımcıdan elini avuç içi aşağı bakacak şekilde tezgahın üzerine düz bir şekilde koymasını ve gözlerini kapatmasını isteyin. Uyaran nesnesini katılımcının önündeki çalışma tezgahına yerleştirin.
2. QTM çalışırken, proje deposunda Python betiği "Single_Trial_Acquisition.py" yürütün. Uyaran nesneyi kavrayan katılımcının tek bir denemesini yakalamak için komut dosyası tarafından sağlanan talimatları izleyin.
   NOT: Senaryo işitsel bir ipucu üretecektir. Bu, katılımcıya gözlerini açması ve kavramayı gerçekleştirmesi için sinyal verecektir. Gösterilerimizde görev, hedef nesneye ulaşmak ve kavramak, dikey olarak yaklaşık 10 cm kaldırmak, yere koymak ve eli başlangıç konumuna geri döndürmektir.

9. İşaretçilerin etiketlenmesi

1. QTM içinde, tek tek işaretçi yörüngelerini Tanımlanamayan yörüngelerden Etiketli yörüngelere sürükleyip bırakın ve bunları Şekil 2'deki adlandırma kuralına göre etiketleyin.
2. Ele iliştirilmiş tüm işaretçileri seçin ve sağ tıklayıp Seçimden AIM modeli oluştur'u seçin. Yeni pencerede, Mevcut AIM modelinden İşaretçi bağlantılarına dayalı yeni model oluştur'u seçin ve İleri düğmesine basın.
3. RH_FH model tanımını seçin ve Aç'a basın. İleri'ye basın, AIM modeli için bir ad girin ve Tamam'a basın. Son olarak, katılımcının eli için, aynı katılımcının ardışık denemelerindeki işaretçileri otomatik olarak tanımlamak için kullanılacak bir AIM modeli oluşturmak üzere Son'a basın.

10. Katılımcı için kişiselleştirilmiş bir iskelet tanımı oluşturma

1. QTM'de, Oynat menüsüne gidin ve Gerçek Zamanlı Çıkışla Oynat'ı seçin.
2. Maya'yı açın. QTM Connect rafına gidin ve QTM'ye Bağlan simgesine basın. Yeni pencerede, İşaretçiler'i işaretleyin ve Bağlan'a basın. Şimdi, QTM Connect rafındaki Oynat simgesine basın.
3. Tüm el işaretleyicilerini Shift tuşunu basılı tutarak seçin ve Yıkama Bulucular simgesine basın. Yıkanmış el işaretçilerini seçin ve Ctrl + G tuşlarına basın. Bu, bir grup düğümü oluşturur. Grubu İşaretçiler olarak adlandırın.
4. Tüm el işaretleyicilerini seçin. Değiştir menüsünde , Adları Ara ve Değiştir'i tıklatın. RH_ önekini arayın ve işaretçilerin önekini silin.
5. QTM Connect rafındaki İçe Aktar Çözücü simgesine basın. İskelet tanımını "RH_FH.xml" yükleyin.
6. Windows menüsünde Genel Düzenleyiciler | Ad Alanı Düzenleyicisi. Yeni pencerede, :(kök) üzerine tıklayın ve yeni bir ad alanı oluşturmak için Yeni'ye basın, RH. RH ad alanına tıklayın, Yeni'ye basın ve yeni ad alanını ModelPose olarak adlandırın.
7. Tüm işaretçileri seçin, RH ad alanına tıklayın ve işaretçileri RH ad alanına eklemek için Seçileni Ekle'ye basın.
8. İskelet kemiklerini seçin, ModelPose ad alanına tıklayın ve iskelet kemiklerini ModelPose ad alanına eklemek için Seçileni Ekle'ye basın.
9. İskeleti işaretçi verilerine sığacak şekilde döndürün, çevirin ve ölçeklendirin. Ardından, her iskelet eklemi için ayrı ayrı Shift + İskelet eklemini ve ilişkili işaretleyicilerini seçin ve Ek Ekle simgesine basın. Son olarak, yeni iskelet tanımını QTM'ye yüklenebilen bir XML dosyasına dışa aktarmak için Çözücüyü Dışa Aktar simgesine basın (sonraki adıma bakın).
   NOT: Bu adım kesinlikle gerekli değildir, ancak işaretleyici verilerine uyan iskeletin doğruluğunu artırmak için yararlıdır. Daha fazla bilgi için https://github.com/qualisys/QTM-Connect-For-Maya QSolverQuickstartGuide kılavuzunu okuyun.

11. Eklem iskelet eklem pozlarını yeniden yapılandırın

1. QTM içinde, dişli çark simgesine basarak proje ayarlarını açın. Kenar çubuğunda İskelet Çözücü'ye gidin ve bir iskelet tanım dosyası seçmek için Yükle'ye basın. Ölçek Faktörü'nü %100'e ayarlayın ve Uygula'ya basın.
2. TSV Dışa Aktarma'ya gidin ve Veri Türü ayarlarında 3D, 6D ve Skeleton kutularını işaretleyin. Genel ayarlardaki tüm kutuları işaretleyin. Uygula'ya basın ve proje ayarlarını kapatın.
3. Yeniden İşleme simgesine basın, İskeletleri Çöz ve TSV dosyasına aktar kutularını işaretleyin ve Tamam'a basın.

12. El örgüsü rekonstrüksiyonlarının oluşturulması

1. Proje deposunda bir komut penceresi açın ve komutu yürüterek conda ortamını etkinleştirin:
   conda temas bölgelerini etkinleştirir
2. Ardından, aşağıdaki komutu yürütün ve denemenin her karesi için geçerli el pozunu yeniden yapılandıran bir el ağı oluşturmak üzere komut dosyası tarafından sağlanan talimatları izleyin.
   python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4
   NOT: Bu örgü rekonstrüksiyonları, açık kaynaklı ve önceden eğitilmiş el örgüsü oluşturma aracı DeepHandMesh^29'un değiştirilmiş bir sürümü kullanılarak otomatik olarak oluşturulur.

13. El-nesne temas bölgesi tahminlerinin oluşturulması

1. Proje deposunda bir komut penceresi açın, aşağıdaki komutu yürütün ve el ve nesne ağları arasındaki kesişimi hesaplayarak el ve nesne temas bölgesi tahminleri oluşturmak için komut dosyası tarafından sağlanan yönergeleri izleyin.
   blender --arka plan --python "Contact_Region_Estimation.py"

Sonuçlar

Önerilen yöntem için ilk gereklilik, 3D nesnelerin ve ellerin konumunu doğru bir şekilde izlemek için bir sistemdir. Özel kurulum Şekil 1A'da gösterilmiştir ve hareket yakalama şirketi Qualisys tarafından üretilen donanım ve yazılımı kullanır. Çalışma alanını çevreleyen kübik bir çerçeve üzerine yerleştirilmiş sekiz izleme kamerası ve altı video kamera tarafından birden fazla açıdan görüntülenen bir izleme hacmine (100 cm x 100 cm x 100 cm) bir tezgah yerleştiriyoruz. İzleme kameraları, yansıtıcı işaretleyicilerin izleme hacmi içindeki 3D konumunu 180 kare / sn ve milimetre altı 3D uzamsal çözünürlükle izler. Cilt dostu çift taraflı yapışkan bant kullanılarak nesnelere ve ellere tutturulan 4 mm yansıtıcı işaretleyiciler kullanıyoruz. 3D işaretleyici konumları hareket yakalama yazılımı tarafından işlenir. Tartışma bölümü ayrıca önerilen yöntemle kullanılabilecek alternatif hareket yakalama sistemlerini de gözden geçirmektedir.

Kavranan ve manipüle edilen gerçek nesnelerin doğru 3D rekonstrüksiyonlarını elde etmek için iki seçenek öneriyoruz. Burada benimsenen birincisi, çokgen örgü şeklinde sanal bir 3B nesne modelinden başlamaktır. Bu tür 3B modeller uygun yazılım (örneğin, Blender 3D⁴⁴) kullanılarak oluşturulabilir ve daha sonra 3D yazdırılabilir (Şekil 1B). İkinci seçenek, mevcut, gerçek bir 3B nesneyi almak ve nesnenin bir örgü modeli kopyasını oluşturmak için 3B tarama teknolojisini kullanmaktır. Strateji hangisi olursa olsun, nihai hedef hem gerçek bir 3B nesne hem de karşılık gelen sanal 3B nesne örgü modelini elde etmektir. Not olarak, burada açıklanan yaklaşım yalnızca katı (yani deforme olmayan) nesnelerle çalışır.

Bir nesnenin 3B yüzeyi bir örgü modeli olarak kullanılabilir olduğunda, konumu izlenmeli ve birlikte kaydedilmelidir (Şekil 1C). Bunu yapmak için, gerçek nesnenin yüzeyine düzlemsel olmayan dört yansıtıcı işaretleyici eklenir ve nesne izleme hacminin içine yerleştirilir. Nesne işaretçilerinin 3B konumları daha sonra kısaca yakalanır. Bu yakalama, nesne örgü modelinin dört işaretçisi ve dört köşesi arasındaki yazışmaları kurmak için kullanılır. Bu, Blender'ın Python API'sinde yazılmış basit bir geçici yazılım yolu kullanılarak yapılır. Blender'ın Viewport'u içinde, program sanal nesneyi, her işaretleyici için bir küreden oluşan tek bir örgü nesnesi olarak temsil edilen işaretleyici konumlarıyla birlikte sunar. Kullanıcı daha sonra nesneyi ve / veya işaretçileri, gerçek nesneye yerleştirilen gerçek işaretçilerle birlikte hizalanacak şekilde hizalamak için döndürebilir ve çevirebilir. Program, orijinal nesne ağına nihayet uygulanan tek bir roto-çeviriyi hesaplamak için uygulanan rotasyonları ve çeviriyi kaydedecek ve QTM'deki katı gövde tanımıyla birlikte kayıtlı bir nesne ağı sağlayacaktır.

Yazışmalar kurulduktan sonra, gerçek nesne izleme hacmi içinde hareket ettirildiğinde, sanal nesne, izlenen işaretleyiciler ve karşılık gelen dört örgü köşesi arasındaki roto-çeviriyi hesaplayarak yeni konuma yerleştirilebilir. Bunun yerine kavramanın dinamiklerini kaydetmek için, çift taraflı bant kullanılarak elin farklı yer işaretlerine toplam 24 küresel yansıtıcı işaretleyici takılır (Şekil 1D ve Şekil 2).

Bir denemenin başlangıcında (Şekil 1E), bir katılımcı elini avuç içi aşağı bakacak şekilde tezgahın üzerine düz bir şekilde yerleştirir ve gözlerini kapatır. Deneyci, katılımcının önündeki çalışma tezgahına bir hedef nesne yerleştirir. Daha sonra, işitsel bir ipucu, katılımcıya gözlerini açması ve kavramayı gerçekleştirmesi için sinyal verir. Gösterilerimizde görev, hedef nesneye ulaşmak ve kavramak, dikey olarak yaklaşık 10 cm kaldırmak, yere koymak ve eli başlangıç konumuna geri döndürmektir. Python 3.7'de yazılmış bir komut dosyası deneyi kontrol eder. Her denemede, komut dosyası geçerli koşul ayarlarını seçer ve deneyciye iletir (ör. nesne kimliği ve konumlandırma). Komut dosyası ayrıca işitsel ipuçları ve hareket yakalama kayıtlarının başlatılması ve durdurulması da dahil olmak üzere deneme zamanlamasını da kontrol eder.

Uzuvlar sadece 3D uzaydaki konumlarıyla değil, aynı zamanda pozlarıyla da karakterize edilir. Bu nedenle, gerçek bir kavrayışı yürüten bir insan elinin tam bir 3B rekonstrüksiyonunu elde etmek için, sadece her bir eklemin 3B uzaydaki konumlarına değil, aynı zamanda her bir eklemin ana eklemine göre göreceli pozuna (çeviri ve rotasyon) da ihtiyacımız vardır (Şekil 1F). İskelet eklem pozisyonları ve oryantasyonları, ters kinematik kullanılarak işaretleyici pozisyonlarından çıkarılabilir. Bunu yapmak için, burada QTM yazılımı tarafından sağlanan iskelet çözücüyü kullanıyoruz. Çözücünün çalışması için, önce her bir eklemin konumunu ve yönünü birden fazla işaretleyici konumuna bağlayan bir iskelet tanımı sağlamalıyız. Bu nedenle bir iskelet tanımı oluşturulur ve iskelet teçhizatı, Maya için QTM Connect eklentisi kullanılarak işaretleyici verilerine bağlanır. İşaretleyici verilerine uyan iskeletin doğruluğunu en üst düzeye çıkarmak için her katılımcı için kişiselleştirilmiş iskelet tanımları oluşturuyoruz. Her katılımcı için, bir el iskeletini tek bir hareket yakalama verisi karesine manuel olarak sığdırıyoruz. Katılımcıya özgü bir iskelet tanımı elde ettikten sonra, deneydeki her denemenin her karesi için iskelet eklem pozlarını tahmin etmek için iskelet çözücüyü çalıştırırız.

Bir deneydeki her denemenin her karesi için, açık kaynaklı ve önceden eğitilmiş el örgüsü oluşturma aracı DeepHandMesh^28'i kullanarak mevcut el pozunu yeniden yapılandıran bir el ağı oluştururuz (Şekil 1G). DeepHandMesh, görüntülerden kişiselleştirilmiş el ağları oluşturan derin bir kodlayıcı-kod çözücü ağıdır. İlk olarak, kodlayıcı bir görüntünün içindeki bir elin pozunu tahmin eder (yani, ortak Euler açıları). Ardından, tahmini el pozu ve kişiselleştirilmiş bir kimlik vektörü, hileli bir şablon ağına üç katkı maddesi düzelticiden oluşan bir kümeyi tahmin eden kod çözücüye girilir. Son olarak, şablon örgüsü tahmini el pozuna ve doğrusal karışım kaplaması kullanılarak düzelticilere göre deforme olur. İlk düzeltici, iskelet teçhizatının kişiye özgü eklem pozisyonlarını içerecek şekilde ayarlandığı ID'ye bağlı bir iskelet düzelticidir. Diğer iki düzeltici, ağ köşelerinin katılımcının el yüzeyini daha iyi temsil edecek şekilde ayarlandığı ağ düzelticilerdir. Örgü düzelticilerden biri, bireysel bir katılımcının elinin yüzey yapısını hesaba katan kimliğe bağlı bir ağ düzelticidir. Bunun yerine son örgü düzeltici, mevcut el pozu nedeniyle el yüzeyi deformasyonlarını hesaba katan poza bağımlı bir köşe düzelticidir.

DeepHandMesh, 2D eklem kilit noktaları ve sahne derinlik haritaları ile zayıf denetim kullanılarak eğitilmiştir. Burada, aşağıdaki şekillerde modifiye edilmiş el örgüsü rekonstrüksiyonları oluşturmak için yalnızca önceden eğitilmiş DeepHandMesh kod çözücüsünü kullanıyoruz (Şekil 3). İlk olarak, ağ belirli katılımcılar üzerinde eğitilmediğinden, önceden eğitilmiş modelle birlikte sağlanan genel kimliğe bağlı ağ düzeltici kullanılır (Şekil 3A). Ayrıca, ID'ye bağımlı iskelet düzeltici, yukarıda açıklandığı gibi QTM iskelet çözücüsü kullanılarak türetilir (Şekil 3B). Elin iskelet uzunluğu ile orantılı ölçeklendirilmesi varsayılır ve ağ kalınlığı, iskeletin göreceli ölçeklemesinden türetilen bir faktörle düzgün bir şekilde ölçeklendirilir, böylece ağ katılımcının el boyutuna daha iyi yaklaşır (Şekil 3C). Bu modifiye edilmiş ağ, mevcut el pozu (işaretleyici verilerinden türetilen) ve bileğin 3B konumu ve yönü ile birlikte kod çözücüye girilir. Kod çözücü, böylece, mevcut poza bağımlı düzelticiyi hesaplar, tüm düzelticileri ve roto-çevirileri uygular ve mevcut el pozunun 3B izlenen nesne ağı ile aynı koordinat çerçevesinde 3B el örgüsü rekonstrüksiyonunu çıkarır (Şekil 3D).

Şekil 3: Önceden eğitilmiş DeepHandMesh kod çözücüsünde yapılan değişiklikler . (A) Sabit, genel kimliğe bağımlı örgü düzeltici. (B) Adım 10'da ters kinematik yoluyla türetilen kimliğe bağlı iskelet düzeltici. (C) El ağının boyutu, iskelet eklemleriyle aynı faktörle ölçeklendirilir. (D) Mevcut el pozunun son 3D el örgüsü rekonstrüksiyonu. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Hem katılımcının eli hem de kavranmış bir nesne için 3B örgü modellerini yeniden yapılandırdıktan sonra, el-nesne temas bölgeleri, el ve nesne ağları arasındaki kesişimi hesaplayarak tahmin edilebilir (Şekil 1H). Bunun arkasındaki varsayım, gerçek elin yüzeyle temas yoluyla deforme olduğudur, yani iskelet, el sert olsaydı mümkün olandan daha fazla yüzeye yaklaşabilir, bu da el ağının bölümlerinin nesne ağından geçmesine izin verir. Sonuç olarak, temas alanları iki ağ arasındaki örtüşme bölgeleri olarak yaklaştırılabilir.

Özellikle, bu örtüşme bölgelerini hesaplamak için, el ağının 3B hacminde bulunan nesne örgüsü köşelerini elle temas halinde olarak tanımlarız. Bu köşeler, standart bir ışın izleme yaklaşımı⁴⁵ kullanılarak tanımlanır. Nesne ağının her köşesi için, bu köşeden el ağının dışındaki rastgele bir 3B noktaya bir ışın dökülür. Daha sonra dökme ışın ile elin yüzeyini oluşturan üçgenler arasında meydana gelen kesişme noktalarının sayısını değerlendiririz. Kesişme sayısı tek ise, nesne köşesi el ağının içinde bulunur. Kavşak sayısı eşit ise, nesne köşesi el ağının dışındadır. Bu nedenle, nesnenin yüzeyindeki temas bölgeleri, köşelerinin tümü el ağı içinde bulunan üçgen yüzler kümesi olarak yaklaştırılabilir. Aynı mantığı, elin yüzeyindeki temas bölgelerini tahmin etmek için nesne ağının 3B hacminde bulunan el ağı köşelerine de uygulayabiliriz. Özellikle, Boole örgü işlemlerine daha gelişmiş yaklaşımlar da kullanılabilir³¹.

Video 1, 3D baskılı bir kedi heykelciğine tek bir kavrama sırasında yan yana hareket eden bir elin, izlenen noktaların ve birlikte kayıtlı ağın bir videosunu gösterir. Bunun yerine Şekil 4A, el-nesne örgü rekonstrüksiyonları (Şekil 4B) ve kruvasan yüzeyindeki tahmini temas bölgeleri (Şekil 4C) ile birlikte, bir kavramadan 3D baskılı bir kruvasana kadar el-nesne teması sırasında tek bir çerçeveyi göstermektedir.

Şekil 4: Tahmini el-nesne temas bölgeleri. (A) Bir kavrama sırasında izleme kameralarından birinden görüntülenen izlenen el ve nesne. (B) İzleme kamerasıyla aynı bakış açısından oluşturulan yeniden yapılandırılmış el ağı ve izlenen nesne ağı. (C) Birden fazla bakış açısından görülen nesnenin yüzeyindeki temas bölgeleri. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Video 1: El ve nesnenin ağ rekonstrüksiyonları. Elin Gif animasyonu, izlenen işaretleyiciler ve aynı kamera bakış açısından görüntülenen tek bir kavrama sırasında el ve nesne örgü rekonstrüksiyonları. Bu Videoyu indirmek için lütfen buraya tıklayın.

Tartışmalar

Çok basamaklı kavrama sırasında el-nesne etkileşimleri için temas bölgelerinin tahmin edilmesini sağlayan bir yöntem öneriyoruz. Bir elin tüm yüzeyinin tam olarak izlenmesi şu anda zor olduğundan, pozu eldeki seyrek kilit noktalarla belirlenen bir el ağının yeniden yapılandırılmasını öneriyoruz. Bu seyrek kilit noktaları izlemek için çözümümüz, pasif işaretleyici izlemeye dayanan araştırma sınıfı bir hareket yakalama sistemi kullanır. Tabii ki, yeterince doğru 3D konum verileri vermeleri koşuluyla, önerilen yöntemle diğer hareket yakalama sistemleri de kullanılabilir. Aktif işaretleyici hareket yakalama sistemlerine (popüler ancak üretimi durdurulmuş Optotrak Certus gibi) karşı tavsiyede bulunuyoruz, çünkü bunlar katılımcıların ellerine kabloların ve / veya elektronik cihazların takılmasını gerektirir, bu da hareketleri kısıtlayabilir veya en azından katılımcıların ellerinin pozunun daha bilinçli bir şekilde farkında olmaları nedeniyle daha az tipik kavramalar sağlayabilir. Atalet ölçüm birimleri kullanan hareket izleme eldivenleri, bu sistemlerin sürüklenmeden muzdarip olduğu bilinmesine rağmen, el hareketlerini de kısıtlayabilir ve elin yüzeyinin nesne yüzeyleriyle tam ve doğrudan temas etmesine izin vermese de, bir olasılık olabilir. Ticari işaretsiz el izleme çözümleri (örneğin, Leap Motion^46,47,48) de bir olasılık olabilir^, ancak nesne konumlarını yalnızca bu sistemlerle izlemek mümkün olmayabilir. Araştırma sınıfı bir hareket yakalama sistemine en umut verici alternatif seçenek, açık kaynaklı, işaretsiz izleme çözümleri (örneğin, Mathis ve ^ark.28) tarafından verilmektedir. Birden fazla ortak kayıtlı kamera⁴⁹ ile kullanıldığında, bu tür sistemler işaretçilere, eldivenlere veya kablolara ihtiyaç duymadan el eklem konumlarını ve nesne konumlarını 3D olarak potansiyel olarak izleyebilir. Bununla birlikte, bu çözümlerin yanı sıra bu işaretleyici tabanlı sistem, tıkanmalar nedeniyle veri kaybı sorunlarından muzdarip olabilir.

Sınırlamalar ve gelecekteki yönler
Bu yöntemle elde edilen el rekonstrüksiyonları tam olarak doğru olmayacağından, yöntemin kullanılması gereken deney türlerinde bazı sınırlamalar vardır. El örgüsü rekonstrüksiyonlarında zemin gerçeğinden sapmalar, tahmini el/nesne temas bölgelerindeki sapmalarda kendini gösterecektir. Bu nedenle, mutlak önlemler elde etmek için bu yöntemin uygulanması, temas bölgesi tahminlerinin doğruluğunun değerlendirilmesini gerektirecektir. Bununla birlikte, yaklaşık tahminler bile katılımcı içi deneysel tasarımlarda hala yararlı olabilir, çünkü yöntemin potansiyel önyargılarının bir katılımcı içindeki farklı deneysel koşulları benzer şekilde etkilemesi muhtemeldir. Bu nedenle, istatistiksel analizler ve çıkarımlar yalnızca koşullar arasındaki temas alanındaki farklılıklar gibi ölçümler üzerinde yapılmalıdır; burada bir etkinin yönü ilgili temel gerçekle ilişkili olacaktır. Gelecekteki araştırmalarda, örneğin temas bölgesi tahminlerini termokromik boya ile kaplanmış nesneler üzerindeki termal parmak izleriyle karşılaştırarak yaklaşımımızı daha da doğrulamayı planlıyoruz.

Veri toplamadan son temas bölgesi tahminine kadar çoğu işleme adımı tamamen otomatiktir ve bu nedenle el-nesne temas bölgesi tahmini için standartlaştırılmış bir prosedüre yönelik önemli katkılar sunar. Bununla birlikte, bireyselleştirilmiş iskeletlerin izlenen işaretleyicilerin 3B konumlarına ilk uyumu, her katılımcı için bir iskelet tanımı elde etmek için manuel olarak gerçekleştirilmelidir. Bir denemenin katılımcı sayısı arttıkça, manuel uyumların sayısı da artar ve bu şu anda prosedürdeki en çok zaman alan adımdır ve Autodesk Maya Yazılımı'nda manuel donanıma biraz aşinalık gerektirir. Gelecekte, otomatik bir iskelet kalibrasyon prosedürü ekleyerek prosedür üzerinde insan etkisini önlemek için bu adımı otomatikleştirmeyi amaçlıyoruz.

Burada açıklanan iş akışı, Qualisys donanım ve yazılımına (örneğin, QTM iskelet çözücü) dayanır. Bu, şu anda yöntemimizin erişilebilirliğini benzer bir kuruluma sahip laboratuvarlarla sınırlamaktadır. Bununla birlikte, prensip olarak, yöntem herhangi bir hareket yakalama verisi kaynağına uygulanabilir. Erişilebilirliği genişletmek için, devam eden çalışmalarda, iş akışımızı genelleştirmesi ve belirli donanım ve yazılım lisanslarına daha az bağımlı hale getirmesi gereken alternatifleri araştırıyoruz.

Yöntemin bir diğer önemli sınırlaması, mevcut haliyle, yalnızca katı (deforme olmayan) nesnelere uygulanabilmesidir. Gelecekte, bu sınırlama, kavranan nesnenin deforme olurken yüzey şeklini kaydetme yöntemleri kullanılarak aşılabilir. Ek olarak, yaklaşık doğası nedeniyle, yöntem şu anda çok küçük veya ince nesneler için uygun değildir.

Sonuç olarak, son teknoloji hareket takibini yüksek doğrulukta el yüzeyi modellemesi ile entegre ederek, kavrama ve manipülasyon sırasında el-nesne temas bölgelerini tahmin etmek için bir yöntem sunuyoruz. Gelecekteki araştırmalarda, insanlarda görsel olarak yönlendirilen kavrama davranışını araştırmak ve modellemek için bu yöntemi kullanmayı planlıyoruz¹⁶. Ayrıca, bu araçları gerçek ve sanal doğal ortamlarda görsel olarak yönlendirilen el ve göz hareketi motor kontrolünü araştırmak için göz izleme 46,50,51,52 ve sanal/artırılmış gerçeklik sistemleri 53,54,55 ile entegre etmeyi planlıyoruz 18,46,56,57. Bu nedenlerden dolayı, önerilen yöntem, sanal ve artırılmış gerçeklikte dokunsal algı⁵⁸, motor kontrolü ve insan-bilgisayar etkileşimini inceleyen araştırmacılar için ilgi çekici olabilir. Son olarak, insanın kavrama yeteneklerinin doğru ölçümleri, etkileşimli algı 39,40,41,42,43 ilkelerine dayanan sağlam robotik sistemlerin tasarımını bilgilendirebilir ve üst ekstremite protezleri için translasyonel uygulamalara sahip olabilir.

Malzemeler

Name	Company	Catalog Number	Comments
Anaconda Python distribution		(Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/	scripts and functions were generated in Python version 3.7
Autodesk Maya	Autodesk, Inc.	Maya2022; https://www.autodesk.com/products/maya/overview	3D computer graphics application.
Blender	Blender Foundation	Blender 2.92; https://download.blender.org/release/	3D computer graphics application.
Computer Workstation	N/A	N/A	OS: Windows 10 or higher.
DeepHandMesh	Meta Platforms, Inc. (Meta Open Source)	https://github.com/facebookresearch/DeepHandMesh	Pre-trained hand mesh generation tool.
Miqus M5	Qualisys Ab	https://www.qualisys.com/cameras/miqus/	Passive marker motion tracking camera (8 units).
Miqus video camera	Qualisys Ab	https://www.qualisys.com/cameras/miqus-video/	Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository	N/A	Data and Code Repository	Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance.
Python 3	Python Software Foundation	Python Version 3.7	Python3 and associated built-in libraries.
QTM Connect for Maya	Qualisys Ab	https://github.com/qualisys/QTM-Connect-For-Maya	Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager	Qualisys Ab	Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/	Motion capture software
Qualisys SDK for Python	Qualisys Ab	https://github.com/qualisys/qualisys_python_sdk	Implements communication between QTM and Python