JoVE Logo
Authors
Contact Us

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • النتائج
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

هنا ، نقدم بروتوكولا يتلاعب برؤية المحاور لفحص تأثيره على إنتاج الإيماءات في التواصل بين الأشخاص. هذا البروتوكول مرن للمهام المنفذة والإيماءات التي تم فحصها وطريقة الاتصال. إنه مثالي للسكان الذين يعانون من تحديات في التواصل ، مثل متعلمي اللغة الثانية والأفراد الذين يعانون من اضطراب طيف التوحد.

Abstract

إن فهم سبب قيام المتحدثين بتعديل إيماءات اليد المشتركة عند التحدث إلى المحاورين يوفر نظرة ثاقبة قيمة حول كيفية مساهمة هذه الإيماءات في التواصل بين الأشخاص في السياقات وجها لوجه والسياقات الافتراضية. تتلاعب البروتوكولات الحالية برؤية المتحدثين ومحاوريهم جنبا إلى جنب في سياق وجها لوجه لدراسة تأثير الرؤية على إنتاج الإيماءات عندما يكون التواصل صعبا. في هذه البروتوكولات ، يكمل المتحدثون مهام مثل تعليم الكلمات من لغة ثانية غير مألوفة أو سرد أحداث المقالات القصيرة الكرتونية إلى محاور يكون إما مشاركا آخر أو كونفدراليا. عند تنفيذ هذه المهام ، يكون المتحدثون مرئيين أو غير مرئيين لمحاورهم ، ويكون المتحدث مرئيا أو غير مرئي للمشارك. في مهمة تعلم الكلمات ، ينتج المتحدثون والمحاورون المرئيون لبعضهم البعض إيماءات تمثيلية أكثر ، والتي تنقل المعنى عبر شكل اليد والحركة ، والإيماءات (الإشارة) من المتحدثين والمحاورين غير المرئيين لبعضهم البعض. في بروتوكول إعادة سرد السرد ، أنتج المراهقون المصابون باضطراب طيف التوحد (ASD) إيماءات أكثر عند التحدث إلى محاورين مرئيين أكثر من المحاورين غير المرئيين. تتمثل إحدى نقاط القوة الرئيسية للبروتوكول الحالي في مرونته من حيث المهام والسكان والإيماءات التي تم فحصها ، ويمكن تنفيذ البروتوكول الحالي في مؤتمرات الفيديو وكذلك السياقات وجها لوجه. وبالتالي ، فإن البروتوكول الحالي لديه القدرة على تعزيز فهم إنتاج الإيماءات من خلال توضيح دوره في التواصل بين الأشخاص في السكان الذين يعانون من تحديات في الاتصال.

Introduction

تساهم إيماءات الكلام المشترك (حتى الآن ، الإيماءات) - حركات اليد ذات المغزى التي يتم إنتاجها بالتزامن مع الكلام - في التواصل بين الأشخاص من خلال نقل المعلومات المكملة للمحتوى اللفظي1. وفقا للتصنيفالأكثر استخداما 2,3 ، يمكن تقسيم الإيماءات إلى ثلاث فئات: الإيماءات التمثيلية ، التي تنقل المراجع من خلال شكلها وحركتها (على سبيل المثال ، رفرفة اليدين ذهابا وإيابا معا لنقل الطيران) ؛ والإيماءات التمثيلية ، التي تنقل المراجع من خلال شكلها وحركتها (على سبيل المثال ، رفرفة اليدين ذهابا وإيابا معا لنقل الطيران) ؛ والإيماءات التمثيلية ، التي تنقل المراجع من خلال شكلها وحركتها (على سبيل المثال ، رفرفة اليدين ذهابا وإيابا معا لنقل الطيران) ؛ والإيماءات التمثيلية ، التي تنقل المراجع من خلال شكلها وحركتها (على سبيل المثال ، رفرفة اليدين ذهابا وإيابا معا لنقل الطيران) ؛ والإيماءات التمثيلية ، التي تنقل المراجع من خلال شكلها وحركتها (على سبيل المثال ، رفرفة اليدين ذهابا وإيابا معا لنقل الطيران إيماءات الإيقاع، التي تنقل التركيز من خلال حركات بسيطة (على سبيل المثال، تحريك اليد المهيمنة إلى الأسفل قليلا بالتزامن مع كل كلمة في عبارة "الآن")؛ والإيماءات الانتقائية ، التي تلفت الانتباه إلى وجود أو عدم وجود كيان عبر الإشارة (على سبيل المثال ، تأرجح الإبهام للخلف للإشارة إلى شيء ما خلف نفسه). يمكن تقسيم الإيماءات التمثيلية إلى فئتين إضافيتين: الإيماءات الأيقونية ، التي تنقل مراجع ملموسة (على سبيل المثال ، طائر) ، والإيماءات المجازية ، التي تنقل المراجع المجازية (على سبيل المثال ، النشوة). نظرا لأن الإيماءة والكلام ينشآن من نفس المحتوى المفاهيمي ، فإنهما يرتبطان ارتباطا وثيقا بالمعنى 4,5. من خلال العمل كوسيلة بصرية مبدعة للتواصل ، يمكن أن تساعد الإيماءات في التعويض عندما تنشأ تحديات في فهم اللغة المنطوقة6 ، سواء كان ذلك بسبب عوامل فردية مثل الكفاءة المحدودة في اللغة المنطوقة 7,8 أو العوامل البيئية مثل صعوبة سماع الكلام 9,10. وبالتالي ، تعد الإيماءات جزءا لا يتجزأ من فهم التواصل بين الأشخاص في السياقات وجها لوجه والسياقات الافتراضية ، مما يوفر نظرة ثاقبة حول كيفية نقل المتحدثين والمستمعين للمعلومات وفهمها بشكل متعدد الوسائط.

تم تطوير العديد من المهام التفاعلية المنظمة لقياس كيفية تأثير الإيماءات على التواصل بين الأشخاص. وتشمل هذه المهام المقابلات، حيث يرد المشاركون على الأسئلة من خلال وصف تجاربهم الشخصية11،12. وصف الصورة ، حيث يتم تقديم صورة ثابتة للمشاركين لوصف13,14 ؛ حل الألغاز ، حيث يصف المشاركون كيفية حل اللغز عن طريق توجيه المكونات مكانيا بشكل صحيح15,16 ؛ توفير التوجيه ، حيث يتم توجيه المشاركين لإعطاء توجيهات إلى موقع غير مألوف للمستمعين17،18،19 ؛ وإعادة سرد السرد ، حيث يشاهد المشاركون رسما كاريكاتوريا يصور سلسلة من الأحداث ثم يعيدون سردها20،21،22. تتضمن العديد من المهام المستخدمة في الدراسات المذكورة أعلاه المحتوى المكاني والعمل ، والذي ينقل الإيماءة بفعالية خاصة15،23،24،25. في مهام الدراسات المذكورة أعلاه ، ينتج المشاركون عادة إيماءات بالاقتران مع اللغة ، ويتم تقييم المعلومات المنقولة عبر الإيماءات وعلاقتها باللغة المنتجة بشكل متزامن. بدلا من ذلك ، يمكن للمشاركين مشاهدة تسجيل لشخص ما يشير (أو لا يشير إلى الإيماءات) وينتج لغة عند إكمال إحدى هذه المهام ، وبعد ذلك يتم تقييم فهم المشاركين. ويمكن الاضطلاع بجميع هذه المهام افتراضيا ووجها لوجه، مما يتيح جمع البيانات من مجموعة واسعة من المشاركين والمقارنة عبر الطرائق.

تم تنفيذ تأثير الإيماءات على التواصل بين الأشخاص مع مجموعة واسعة من المشاركين. ومما له أهمية خاصة السكان الذين يعانون من تحديات في التواصل ، بما في ذلك الأطفال الصغار26،27،28،29،30 ، مستخدمو اللغة الثانية (L2)8،31،32،33 ، الأفراد الذين يعانون من اضطراب طيف التوحد (ASD) 20،21،22،34 ، الأفراد الذين يعانون من ضعف اللغة35،36،37 ، والأفراد الذين يعانون من فقدان القدرة على الكلام12،38 ، والأفراد الذين يعانون من إصابات في الدماغ39 ، والأفراد الذين يتلعثمون40،41. كشف هذا العمل أنه في حين أن العديد من هؤلاء السكان يمكنهم استخدام الإيماءات لتسهيل التواصل ، فإن البعض ، مثل الأفراد المصابين باضطراب طيف التوحد ، قد يواجهون صعوبة في الاستفادة من الإيماءات للتواصل بشكل فعال. تشير النتائج إلى أن هذا قد يكون بسبب مدى أخذ هؤلاء السكان في تصميم الجمهور والإشارات البيئية في الاعتبار ، مما يسلط الضوء على الآثار العملية لهذه التفسيرات لتأثير الإيماءات على التواصل.

الميزة الرئيسية التي توفر نظرة ثاقبة لتأثير الإيماءات على التواصل بين الأشخاص هي رؤية المحاور. هناك سؤال ذو أهمية كبيرة في مجال أبحاث الإيماءات وهو مدى إيماءة المشاركين لمصلحتهم الخاصة ، مما يشير إلى تفريغ العمليات المعرفية على الجسم ، مقابل فائدة محاوريهم ، مما يشير إلى استخدام الإيماءة للتواصل. تم التحقيق في هذا السؤال من خلال فحص تأثير رؤية المحاور (عدم) على إنتاج الإيماءات في السياقات وجها لوجه عبر استخدام قسم غير شفاف26,42 ، وكذلك في سياقات الهاتف13 والسياقات الافتراضية43. بشكل عام ، تشير نتائج هذا العمل إلى أنه على الرغم من أن المتحدثين يلمحون لمصلحتهم الخاصة ، إلا أنهم ينتجون إيماءات تمثيلية أكثر عند التواصل مع المحاورين المرئيين أكثر من المحاورين غير المرئيين ، في حين أن إنتاج إيماءات الإيقاع متشابه بغض النظر عن رؤية المحاور. وبالتالي ، يقترحون أن الإيماءة التمثيلية تسهل التواصل عبر مجموعة متنوعة من السياقات ، مما يشير إلى أن يأخذ المتحدثون منظور محاوريهم في الاعتبار وأن يعدلوا إنتاج إيماءاتهم وفقا لذلك. على الرغم من أن الأبحاث السابقة التي تدرس تأثير رؤية المحاور كانت مفيدة في توفير نظرة ثاقبة لمساهمات الإيماءات في التواصل بين الأشخاص ، فقد ركزت على اللغة الإنجليزية كلغة أولى (L1) في السكان النامين عادة ، لذلك من غير الواضح ما إذا كان يمكن توسيع النتائج لتشمل السكان الذين يعانون من تحديات في التواصل. اثنان من هذه المجموعات هم متعلمو L2 ، الذين قد يكافحون من أجل التواصل عبر الكلام باللغة المستهدفة ، والأطفال المصابين بالتوحد ، الذين يكون تواصلهم اللفظي وغير اللفظي غير طبيعي. علاوة على ذلك ، درس القليل من الأبحاث تأثير رؤية المحاور على إنتاج الإيماءات في السياقات الافتراضية ، مما يسمح بفصل تأثير رؤية المحاور على المشارك عن تأثير رؤية المشارك للمحاور ، وبالتالي فإن تكرار النتائج من هذه السياقات غير واضح حاليا. أخيرا ، ركزت بعض الأبحاث على تأثير رؤية المحاور على إنتاج أنواع معينة من الإيماءات ، لذلك من غير الواضح ما إذا كان إنتاج أنواع أخرى من الإيماءات يتأثر بالمثل برؤية المحاور.

تتلاعب البروتوكولات الموضحة أدناه برؤية المحاور لفحص إنتاج الإيماءات في الظروف الصعبة: تعلم كلمة L2 وإعادة سرد السرد من قبل الأفراد المصابين بالتوحد. يربط بروتوكول تعلم الكلمات L2 البحث الذي يدرس تأثير مراقبة الإيماءات على تعلم الكلمات L2 مع البحث الذي يدرس مساهمة الإيماءات في التواصل عبر نموذج تعلم الكلمات التفاعلي. في هذا النموذج ، يتعلم المشاركون غير المعتادين على اللغة الهدف الكلمات الموجودة فيها ثم يعلمون هذه الكلمات للمشاركين الآخرين غير المعتادين على اللغة الهدف ، مما يسمح بفحص تأثير رؤية المحاور على إنتاج الإيماءات في المراحل الأولى من اكتساب L2 في سياق المحادثة. يستخدم نموذج إعادة سرد الرسوم المتحركة مهمة إعادة سرد سردية مستخدمة على نطاق واسع حيث لوحظت اختلافات في إنتاج الإيماءات عندما يتم التلاعب برؤية المحاور مع مجموعة سكانية جديدة: المراهقون المصابون بالتوحد. هذه الفئة من السكان ذات أهمية لأن تطوير اللغة ، بما في ذلك إنتاج الإيماءات ، ينضج في مرحلة المراهقة ، ويستلزم ASD صعوبة في التواصل اللفظي وغير اللفظي ، بما في ذلك الإيماءات ، فضلا عن عدم الحساسية للاحتياجات التواصلية للمحاورين. توفر هذه البروتوكولات معا نظرة ثاقبة حول مدى اعتماد إنتاج الإيماءات على الكلام - وعلى العكس من ذلك ، يمكن أن يعوض - عندما يكون التواصل بين الأشخاص صعبا.

استنادا إلى النتائج التي توضح كيف تؤثر رؤية المستمع على إنتاج الإيماءات من قبل المتحدثين باللغة الإنجليزية L113،26،42،43 ، تم افتراض أن المشاركين سينتجون إيماءات أكثر شمولا والمزيد من الإيماءات التمثيلية عند مناقشة كلمات L2 مع محاور مرئي أكثر من محاور غير مرئي. استنادا إلى النتائج التي توضح وجود تشوهات في إنتاج الإيماءات في ASD 20,44 ، تم افتراض أن المراهقين المصابين بالتوحد سينتجون إيماءات إجمالية أقل بالإضافة إلى إيماءات تمثيلية وإيماءات أقل من المراهقين الذين يتطورون عادة (TD). علاوة على ذلك ، استنادا إلى النتائج التي تظهر أن ASD ينطوي على صعوبة في أخذالمنظور 45 ، تم افتراض أن إنتاج الإيماءات من قبل المراهقين المصابين بالتوحد لن يختلف اختلافا كبيرا في وجود محاورين مرئيين وغير مرئيين. أخيرا ، تم توقع تفاعل بين التشخيص والرؤية ، بحيث لا يختلف إنتاج الإيماءات من خلال الرؤية للمراهقين المصابين بالتوحد ولكنه يختلف بالنسبة للمراهقين TD.

Access restricted. Please log in or start a trial to view this content.

Protocol

قدم جميع المشاركين موافقة خطية ، وتمت الموافقة على جميع البروتوكولات من قبل مجالس المراجعة المؤسسية في المؤسسة المضيفة. تم تنفيذ بروتوكولات تعلم الكلمات L2 وإعادة سرد الرسوم المتحركة في الدراسات التي تستند إليها النتائج التمثيلية21,33. على الرغم من أن هذه البروتوكولات قد أجريت فقط في سياقات شخصية حتى الآن ، إلا أنه يتم حاليا إجراء بروتوكول ذي صلة يتلاعب برؤية المحاور والمشارك بشكل مستقل غير موصوف هنا لتوفير نظرة ثاقبة حول قابلية التكرار في هذا السياق ، مع خطط لتوسيعها لتشمل السكان الذين يعانون من تحديات التواصل ، مثل الأفراد المصابين بالتوحد.

1. المشاركون

ملاحظة: مع احترام القيود اللازمة على خصائص المشاركين في كل دراسة، ينبغي أن تكون العينات ممثلة لعدد أكبر من السكان قدر الإمكان.

  1. توظيف المشاركين لبروتوكول تعلم الكلمات L2
    1. تجنيد المشاركين الذين تبلغ أعمارهم 18 عاما فما فوق مع رؤية طبيعية أو مصححة إلى طبيعية وسمع طبيعي من المتحدثين L1 باللغة الإنجليزية. للتأكد من أن الدراسة تدرس تأثير الإيماءة على تعلم الكلمات L2 في المرحلة الأولية ، قم بتجنيد المشاركين دون أي معرفة باللغة الهنغارية ، اللغة المستهدفة.
  2. توظيف المشاركين لبروتوكول إعادة سرد الرسوم المتحركة
    1. قم بتجنيد المشاركين في سن قادرة على إكمال المهمة التجريبية (10-20 سنة من العمر في Morett et al.21.) مع تشخيص ASD أو الذين يتطورون عادة (TD).
      1. لضمان أن المشاركين يمكنهم إكمال المهمة التجريبية بنجاح ، قم بتجنيد المشاركين الذين يتحدثون اللغة الإنجليزية L1 ، ولديهم رؤية طبيعية أو مصححة إلى طبيعية وسمع طبيعي ، ولديهم معدل ذكاء كامل يبلغ 85 أو أعلى ، كما تم قياسه قبل أو في وقت الدراسة من خلال تقييم موحد46.
      2. للتأكد من أن الدراسة تدرس الآثار المحددة لاضطراب طيف التوحد على إنتاج الإيماءات ، قم بتجنيد المشاركين المصابين بالتوحد دون الصرع أو التهاب السحايا أو التهاب الدماغ أو السكري أو اضطراب التفكك في مرحلة الطفولة أو اضطراب النمو المنتشر - غير المحدد بطريقة أخرى (PDD-NOS).
      3. لضمان إمكانية مقارنة إنتاج الإيماءات في ASD بإنتاج الإيماءات النموذجي ، قم بتجنيد المشاركين في TD دون اضطرابات نفسية مرضية أو أقارب من الدرجة الأولى تم تشخيصهم باضطرابات النمو المنتشرة.

2. نظرة عامة على التلاعب بالرؤية

  1. قم بتجنيد المشاركين في أزواج إذا تم فحص آثار إنتاج ومراقبة الإيماءات العفوية ، كما هو الحال في بروتوكول تعلم الكلمات L2. قم بتجنيد المشاركين بشكل فردي بالتنسيق مع مساعد باحث يعمل كمشارك إذا تم فحص آثار إنتاج الإيماءات العفوية فقط ، كما هو الحال في بروتوكول إعادة سرد الرسوم المتحركة.
  2. قدم نموذج موافقة مستنيرة يحتوي على معلومات حول الدراسة للمشاركين للتوقيع والإجابة على أي أسئلة حولها ، مع الحرص على عدم الكشف عن تركيز الدراسة على إنتاج الإيماءات. اجمع النموذج بعد توقيع المشاركين عليه.
  3. بالنسبة للمشاركين الذين تم تجنيدهم في أزواج ، استخدم طريقة اختيار مثل رمي عملة معدنية لتحديد المشارك الذي سيعمل كمتحدث ، ومن سيقوم بمعظم الحديث في المهمة التجريبية ، وأي مشارك سيعمل كمحاور ، والذي سيقوم بمعظم الاستماع ويتفاعل أحيانا مع المتحدث في المهمة التجريبية. بالنسبة للمشاركين الذين يتم تعيينهم بشكل فردي مع مساعد باحث يعمل كمشارك ، استخدم طريقة اختيار ثابتة مثل رمي عملة معدنية مزورة للتأكد من أن المشارك يعمل دائما كمتحدث وأن مساعد البحث يعمل دائما كمحاور.
  4. في نصف الجلسات التجريبية ، ضع فاصلا معتما بين المتحدث والمحاور للتأكد من أنهما لا يستطيعان رؤية وجه أو أيدي بعضهما البعض.
  5. اشرح للمشاركين ما سيفعلونه في المهمة التجريبية وأجب عن أي أسئلة حول هذا الموضوع. إبلاغ المشاركين بأن كلامهم سيتم تسجيله صوتيا ، مع الإشارة إلى الميكروفون المستخدم لهذا الغرض. لتجنب أي آثار للوعي بتسجيل الفيديو على إنتاج الإيماءات ، لا تخبر المشاركين أنه سيتم تسجيل الفيديو لهم وتأكد من أن كاميرا الفيديو المستخدمة لهذا الغرض غير مرئية للمشاركين.
  6. ابدأ تسجيل الفيديو والصوت بالضغط على الأزرار المناسبة. تنفيذ المهمة التجريبية لاستنباط الكلام والإيماءة من المتحدث والمحاور المشارك ، إذا كان هناك واحد.
  7. إذا تم استخدام تصميم داخل المشاركين ، فقم بإزالة الفاصل غير الشفاف إذا تم استخدامه في التكرار الأول أو ضعه بين المتحدث والمحاور إذا لم يتم استخدامه في التكرار الأول.
  8. كرر المهمة التجريبية حسب الحاجة حتى يتم استنفاد جميع المحفزات.
  9. أوقف تسجيل الفيديو والصوت بالضغط على الأزرار المناسبة. أبلغ المشاركين أن الدراسة ركزت على الإيماءات وأنها مسجلة بالفيديو وعرض حذف مقاطع الفيديو الخاصة بهم قبل تحليل البيانات إذا رغبت في ذلك.
  10. أجب عن أي أسئلة من المشاركين واشكرهم على المشاركة قبل فصلهم.

3. بروتوكول تعلم الكلمات L2

  1. يسجل الفيديو والصوت المتحدث والمحاور بحيث يمكن تحليل إنتاج الكلام والإيماءات أثناء المهمة التجريبية لاحقا.
    1. ضع ميكروفون طاولة بين السماعة والمحاور للتسجيل الصوتي. ضع كاميرا فيديو على جانب واحد بين السماعة والمحاور بزاوية 90 درجة وتأكد من أنها غير مرئية للمشاركين.
    2. بالإضافة إلى ذلك ، تأكد من أن كلا من المتحدث والمحاور مشمولان في نطاق رؤية كاميرا الفيديو وأن شاشة الكمبيوتر غير مرئية في نطاق رؤية كاميرا الفيديو للحفاظ على العمى عن الحالة التي يتم فيها تقديم كلمات L2 في التحليل.
  2. باستخدام الكمبيوتر ، قدم كلمة L2 من اللغة الهدف سمعيا إلى المتحدث عبر سماعات الأذن للتأكد من أنها غير مسموعة للمحاور حتى يتمكن المتحدث من تعليمها لاحقا للمحاور. في الوقت نفسه ، قدم إما مقطع فيديو لمتحدث L1 للغة الهدف يقول كلمة L2 وينتج إيماءة تمثيلية تنقل معناها مع نص كلمة L2 في أسفل الشاشة أو كلمة L2 كنص في منتصف الشاشة بدون فيديو للمتحدث.
  3. بعد توقف مؤقت لمدة 500 مللي ثانية ، قدم ترجمة L1 لكلمة L2 كنص في منتصف الشاشة إلى السماعة لمدة 2000 مللي ثانية.
  4. اطلب من الشارح تعليم كلمة L2 ومعناها للمحاور عبر الكلام و / أو الإيماءة.
  5. اطلب من السماعة الضغط على زر للمضي قدما عندما تكون جاهزا. بعد أن يقوم المتحدث بذلك ، قدم كلمة L2 أخرى. كرر هذه العملية حتى يتم تقديم جميع الكلمات ال 20 L2 بترتيب عشوائي.
  6. اختبر بشكل فردي معرفة المتحدث والمحاور بكلمات L2 المقدمة في المهمة التجريبية من خلال تقديم كل كلمة L2 كنص وحثهم على قول ترجمة L1 أو تخطي الكلمة إذا لم يتذكروا ترجمتها.

4. بروتوكول إعادة سرد الرسوم المتحركة

  1. إذا لم يتم قياس معدل ذكاء المشارك من خلال تقييم معدل ذكاء موحد مسبقا ، فقم بإدارة واحد للتأكد من أن معدل ذكائه هو 85 أو أعلى.
  2. يسجل المشاركون في الفيديو والصوت بحيث يمكن تحليل إنتاج الكلام والإيماءات لاحقا. ضع ميكروفون طاولة أمام المشارك للتسجيل الصوتي. ضع كاميرا على جانب واحد من المشارك بزاوية 90 درجة وتأكد من أن الكاميرا غير مرئية للمشارك.
  3. قدم النصف الأول من الرسوم المتحركة لوني تونز Canary Row للمشارك. يحتوي هذا النصف من الرسوم المتحركة على العديد من المقالات القصيرة التي يحاول فيها سيلفستر القط ويفشل في الإمساك بطائر تويتي.
  4. اطلب من المشارك إعادة سرد أحداث النصف الأول من الرسوم المتحركة إلى المحاور بأكبر قدر ممكن من التفاصيل. اطلب من المحاور الاستماع إلى رواية المشارك ، مما دفع المشارك إلى قول المزيد إذا كان موجزا.
  5. كرر الخطوات 4.1. و 4.2. للنصف الثاني من فيديو Canary Row ، والذي يحتوي على العديد من المقالات القصيرة التي يحاول فيها سيلفستر القط ويفشل في الإمساك بطائر تويتي.

5. النسخ والترميز

ملاحظة: لتقليل التحيز، عندما يكون ذلك ممكنا، قم بنسخ البيانات وترميزها بشكل أعمى دون معرفة المشاركين والتجارب التي تم تعيينها لأي شروط. من الناحية المثالية ، لا ينبغي إشراك الناسخين والمبرمجين في جمع البيانات.

  1. قم بنسخ جميع كلام المشاركين هجائيا يدويا باستخدام البرامج المناسبة وفقا لمخطط موحد ، مثل CHAT47 ، لإنتاج عدد الكلمات. قم بنسخ جميع المعلومات اللفظية ، مثل الحشوات والتصحيحات ، ولكن لا تقم بنسخ الإيقاف المؤقت.
  2. حدد وترميز جميع إيماءات المشاركين لإنتاج عدد لكل نوع إيماءة. حدد الإيماءات من الراحة إلى الراحة وصنفها إلى أربعة أنواع بناء على تصنيف ماكنيل 2,3: مبدع ، مجازي ، إيقاع ، وديكتيك. لاحظ أنه يمكن تصنيف بعض الإيماءات على أنها أكثر من نوع واحد.
  3. احسب معدل الإيماءات لكل مائة كلمة بقسمة عدد الإيماءات التمثيلية على عدد الكلمات وضربها في 100 لكل مقالة قصيرة.
  4. احصل على إيماءات مشارك مستقل في رمز المبرمج ل 25٪ من البيانات. احسب اتفاقية النسبة المئوية للبيانات المشفرة بواسطة كلا المبرمجين وتأكد من أنها 80٪ على الأقل لضمان موثوقية interrater كافية.

Access restricted. Please log in or start a trial to view this content.

النتائج

L2 تعلم الكلمات
تنفيذ: تستند النتائج الواردة أدناه إلى البيانات التي تم جمعها من 52 مشاركا صحيا (21 ذكرا و 31 أنثى ؛ العمر: M = 20.15 ، SD = 1.73 ، النطاق = 18-28) وفقا للبروتوكول الموضح أعلاه. تم ترميز جميع الكلام والإيماءات بواسطة مبرمج أساسي ، والذي لا يمكن أن ي?...

Access restricted. Please log in or start a trial to view this content.

Discussion

يتلاعب البروتوكول الحالي برؤية المتحدث والمحاور لبعضهما البعض ، مما يوفر نظرة ثاقبة لتأثيره على إنتاج الإيماءات في ظل ظروف صعبة: تعلم كلمة L2 وإعادة سرد السرد من قبل المراهقين المصابين بالتوحد. يمكن تنفيذ هذا البروتوكول إما شخصيا أو افتراضيا ، مما يسمح بمعالجة رؤية المش?...

Access restricted. Please log in or start a trial to view this content.

Disclosures

ليس لدى المؤلف مصالح مالية متنافسة ليعلنها.

Acknowledgements

تم دعم تطوير بروتوكول تعلم الكلمات L2 والتحقق من صحته من خلال زمالة الدراسات العليا لعلوم وهندسة الدفاع الوطني (NDSEG) (32 CFR 168a) الصادرة عن مكتب البحث العلمي التابع لوزارة الدفاع الأمريكية. تم دعم تطوير والتحقق من صحة بروتوكول إعادة سرد الرسوم المتحركة مع المراهقين المصابين بالتوحد من خلال جائزة Ruth S. Kirschstein Institutional National Research Service (T32) من المعاهد الوطنية للصحة العقلية. يشكر المؤلف راشيل فادر وثيو هوغن وأندرو لين وآشلي كابوتو وماركو بيلوتا بالمساعدة في جمع البيانات وترميزها.

Access restricted. Please log in or start a trial to view this content.

Materials

NameCompanyCatalog NumberComments
ComputerAppleZ13124" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphoneTonorB07GVGMW59
ELANThe Language ArchiveSoftware application used to transcribe speech and gesture
Video RecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of IntelligencePearson158981561Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

References

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

ASD

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved