JoVE Logo

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • תוצאות
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

כאן, אנו מציגים פרוטוקול המתמרן את נראות בן שיחו כדי לבחון את השפעתו על ייצור מחוות בתקשורת בין-אישית. פרוטוקול זה גמיש למשימות שבוצעו, למחוות שנבחנו ולאופן התקשורת. הוא אידיאלי לאוכלוסיות עם אתגרי תקשורת, כגון לומדי שפה שנייה ואנשים על הספקטרום האוטיסטי.

Abstract

ההבנה מדוע דוברים משנים את מחוות הידיים שלהם בדיבור משותף כאשר הם מדברים עם בני שיח מספקת תובנה רבת ערך לגבי האופן שבו מחוות אלה תורמות לתקשורת בין-אישית בהקשרים פנים אל פנים ובהקשרים וירטואליים. הפרוטוקולים הנוכחיים מתמרנים את הנראות של הדוברים ובני שיחם במקביל בהקשר פנים אל פנים כדי לבחון את השפעת הנראות על הפקת מחוות כאשר התקשורת מאתגרת. בפרוטוקולים אלה, הדוברים משלימים משימות כגון הוראת מילים משפה שנייה לא מוכרת או לספר את אירועי הקריקטורות לבן שיח שהוא משתתף אחר או קונפדרציה. בעת ביצוע משימות אלה, הדוברים גלויים או לא גלויים לבן שיחם, והדובר גלוי או לא גלוי למשתתף. במטלת למידת המילים, הדוברים ובני שיחו הגלויים זה לזה מייצרים יותר מחוות ייצוגיות, המעבירות משמעות באמצעות צורת יד ותנועה, ומחוות דיקטיות (הצבעה) מאשר דוברים ובני שיח שאינם גלויים זה לזה. בפרוטוקול הסיפור מחדש של הנרטיב, מתבגרים עם הפרעת הספקטרום האוטיסטי (ASD) הפיקו יותר מחוות כאשר דיברו עם בני שיח גלויים מאשר בני שיח שאינם נראים לעין. חוזקה מרכזית של הפרוטוקול הנוכחי היא גמישותו מבחינת המשימות, האוכלוסיות והמחוות שנבדקו, וניתן ליישם את הפרוטוקול הנוכחי בשיחות ועידה בווידאו כמו גם בהקשרים פנים אל פנים. לפיכך, לפרוטוקול הנוכחי יש פוטנציאל לקדם את ההבנה של ייצור מחוות על ידי הבהרת תפקידה בתקשורת בין-אישית באוכלוסיות עם אתגרי תקשורת.

Introduction

מחוות דיבור משותף (עד כה, מחוות) - תנועות ידיים משמעותיות המיוצרות במקביל לדיבור - תורמות לתקשורת בין אישית על ידי העברת מידע המשלים תוכן מילולי1. על פי הטקסונומיה הנפוצה ביותר 2,3, ניתן לחלק את המחוות לשלוש קטגוריות: מחוות ייצוגיות, המעבירות רפרנטים באמצעות צורתם ותנועתם (למשל, נפנוף הידיים קדימה ואחורה יחד כדי להעביר טיסה); מחוות פעימה, המעבירות הדגשה באמצעות תנועות ניקוב פשוטות (למשל, הזזת היד הדומיננטית מעט כלפי מטה בשילוב עם כל מילה בביטוי "ברגע זה"); ומחוות דיקטיות, אשר מושכות תשומת לב לנוכחות או היעדר ישות באמצעות הצבעה (למשל, הנפת האגודל לאחור כדי להצביע על משהו מאחורי עצמך). ניתן לחלק את המחוות הייצוגיות לשתי קטגוריות נוספות: מחוות איקוניות, המעבירות רפרנטים קונקרטיים (למשל, ציפור), ומחוות מטפוריות, המעבירות רפרנטים מטאפוריים (למשל, אקסטזי). מכיוון שמחווה ודיבור נובעים מאותו תוכן מושגי, הם קשורים זה לזה במשמעות 4,5. על ידי שימוש כמדיום חזותי איקוני לתקשורת, מחוות יכולות לעזור לפצות כאשר אתגרים בהבנת השפה המדוברת מתעוררים6, בין אם בשל גורמים בודדים כגון מיומנות מוגבלת בשפה המדוברת 7,8 או גורמים סביבתיים כגון קושי בשמיעת דיבור 9,10. לפיכך, מחוות הן חלק בלתי נפרד מהבנת תקשורת בין-אישית בהקשרים פנים אל פנים ווירטואליים, ומספקות תובנה לגבי האופן שבו דוברים ומאזינים מעבירים ומבינים מידע באופן רב-מודאלי.

מספר משימות אינטראקטיביות מובנות פותחו כדי למדוד כיצד מחווה משפיעה על תקשורת בין-אישית. משימות אלה כוללות ראיונות, שבהם המשתתפים מגיבים לשאלות על ידי תיאור חוויותיהם האישיות11,12; תיאור תמונה, שבו תמונה סטטית מוצגת למשתתפים כדי לתאר13,14; פתרון חידות, שבו המשתתפים מתארים כיצד לפתור חידה על ידי כיוון מרחבי נכוןשל רכיבים 15,16; מתן הנחיות, שבו המשתתפים מונחים לתת הנחיות למקום שאינו מוכר למאזינים 17,18,19; וסיפור נרטיבי, שבו המשתתפים צופים בקריקטורה המתארת רצף של אירועים ולאחר מכן מספרים אותם 20,21,22. רבות מהמשימות שהופעלו במחקרים שצוטטו לעיל משלבות תוכן מרחבי ופעולה, אשר מחווה משדרת ביעילות מיוחדת 15,23,24,25. במטלות עבור המחקרים שצוטטו לעיל, המשתתפים בדרך כלל מייצרים מחוות בשילוב עם שפה, ומידע המועבר באמצעות מחווה והקשר שלה לשפה המיוצרת בו זמנית מוערך. לחלופין, המשתתפים יכולים לצפות בהקלטה של מישהו מחווה (או לא מחוות) ומפיק שפה בעת השלמת אחת המשימות הללו, ולאחר מכן מוערכת הבנת המשתתפים. כל המשימות הללו יכולות להתבצע באופן וירטואלי כמו גם פנים אל פנים, מה שמאפשר איסוף נתונים ממגוון רחב של משתתפים והשוואה בין אופנים.

השפעת המחוות על התקשורת הבין-אישית יושמה עם מגוון רחב של משתתפים. מעניינות במיוחד אוכלוסיות עם אתגרי תקשורת, כולל ילדים צעירים 26,27,28,29,30, משתמשי שפה שנייה (L2) 8,31,32,33, אנשים עם הפרעת ספקטרום האוטיזם (ASD)20,21,22,34, אנשים עם ספציפי לקות שפה 35,36,37, אנשים עם אפזיה 12,38, אנשים עם פגיעה מוחית39, ואנשים מגמגמים40,41. עבודה זו גילתה כי בעוד שרבות מאוכלוסיות אלה יכולות להשתמש במחוות כדי להקל על התקשורת, חלקן, כגון אנשים עם הפרעת ספקטרום האוטיזם, עשויות להיתקל בקושי למנף מחוות כדי לתקשר ביעילות. הממצאים מצביעים על כך שייתכן שהדבר נובע מהמידה שבה אוכלוסיות אלה מתחשבות בעיצוב הקהל וברמזים סביבתיים, ומדגישים את ההשלכות המעשיות של הסברים אלה על השפעת המחוות על התקשורת.

תכונה מרכזית המספקת תובנה לגבי ההשפעה של מחוות על תקשורת בין-אישית היא נראות בן שיח. שאלה בעלת חשיבות רבה בתחום חקר המחוות היא המידה שבה המשתתפים מחוות לטובתם, המצביעים על פריקת פעולות קוגניטיביות על הגוף, לעומת התועלת של בני שיחם, המצביעים על השימוש במחווה כדי לתקשר. שאלה זו נחקרה על ידי בחינת ההשפעה של נראות (אי-) בן שיח על ייצור מחוות בהקשרים פנים אל פנים באמצעות שימוש במחיצה אטומה26,42, וכן בהקשרים טלפוניים13 ובהקשרים וירטואליים43. בסך הכל, התוצאות של עבודה זו מצביעות על כך שלמרות שהדוברים מחוות לטובתם, הם מייצרים מחוות ייצוגיות יותר בעת תקשורת עם בני שיח גלויים מאשר בלתי גלויים, ואילו ייצור מחוות פעימה דומה ללא קשר לנראות בן שיחו. לפיכך, הם מציעים כי מחווה ייצוגית מאפשרת תקשורת במגוון הקשרים, ומציעים כי הדוברים לוקחים בחשבון את נקודת המבט של בני שיחם ומשנים את הפקת המחוות שלהם בהתאם. למרות שמחקרים קודמים שבחנו את ההשפעה של נראות בני שיח סייעו לספק תובנה לגבי תרומת המחווה לתקשורת בין-אישית, הם התמקדו באנגלית כשפה ראשונה (L1) באוכלוסיות מתפתחות בדרך כלל, כך שלא ברור אם ניתן להרחיב את הממצאים לאוכלוסיות עם אתגרי תקשורת. שתי אוכלוסיות כאלה הן לומדי L2, שעלולים להתקשות לתקשר באמצעות דיבור בשפת היעד, וילדים עם ASD, שהתקשורת המילולית והלא מילולית שלהם אינה תקינה. יתר על כן, מחקרים מעטים בחנו את השפעת הנראות של בן שיחו על ייצור מחוות בהקשרים וירטואליים, המאפשרים לנתק את השפעת הנראות של בן שיחו על המשתתף מהשפעת הנראות של המשתתף על בן שיחו, כך שיכולת השכפול של ממצאים מהקשרים אלה אינה ברורה כיום. לבסוף, כמה מחקרים התמקדו בהשפעה של נראות בן שיחו על הייצור של סוגים ספציפיים של מחוות, ולכן לא ברור אם הייצור של סוגים אחרים של מחוות מושפע באופן דומה על ידי נראות בן שיחו.

הפרוטוקולים המתוארים להלן מתמרנים את נראות בני שיחו כדי לבחון את ייצור המחוות בנסיבות מאתגרות: למידת מילים L2 וסיפור מחדש נרטיבי על ידי אנשים עם ASD. פרוטוקול למידת מילים L2 מגשר בין מחקר הבוחן את ההשפעה של התבוננות במחוות על למידת מילים L2 לבין מחקר הבוחן את תרומתן של מחוות לתקשורת באמצעות פרדיגמת למידת מילים אינטראקטיבית. בפרדיגמה זו, משתתפים שאינם מכירים את שפת היעד לומדים בה מילים ולאחר מכן מלמדים מילים אלה למשתתפים אחרים שאינם מכירים את שפת היעד, מה שמאפשר לבחון את ההשפעה של נראות בן שיחו על ייצור המחוות בשלבים המוקדמים ביותר של רכישת L2 בהקשר שיחתי. פרדיגמת הסיפור מחדש של הקריקטורה משתמשת במשימת סיפור מחדש נראטיבית נפוצה שבה נצפו הבדלים בייצור המחוות כאשר נראות בן שיחו מתומרנת עם אוכלוסייה חדשה: מתבגרים עם ASD. אוכלוסייה זו מעניינת משום שהתפתחות השפה, כולל הפקת מחוות, בוגרת בגיל ההתבגרות, ואוטיזם כרוך בקושי בתקשורת מילולית ולא מילולית, כולל מחוות, כמו גם חוסר רגישות לצרכים התקשורתיים של בני שיחם. יחד, פרוטוקולים אלה מספקים תובנה לגבי המידה שבה ייצור מחוות תלוי - ולהיפך, יכול לפצות על - דיבור כאשר התקשורת הבין-אישית מאתגרת.

בהתבסס על ממצאים המדגימים כיצד נראות המאזין משפיעה על הפקת המחוות על ידי דוברי אנגלית L1 13,26,42,43, שוער כי המשתתפים יפיקו יותר מחוות כלליות ומחוות ייצוגיות יותר כאשר דנים במילים L2 עם בן שיח גלוי מאשר בן שיח שאינו נראה. בהתבסס על ממצאים המדגימים חריגות בייצור מחוות באוטיזם20,44, שוער כי מתבגרים עם ASD יפיקו פחות מחוות כלליות, כמו גם פחות מחוות ייצוגיות ודיקטיות מאשר מתבגרים מתפתחים בדרך כלל (TD). יתר על כן, בהתבסס על ממצאים המראים כי ASD כרוך בקושי עם לקיחת פרספקטיבה45, הועלתה השערה כי ייצור מחוות על ידי מתבגרים עם ASD לא יהיה שונה באופן משמעותי בנוכחות בני שיח גלויים ולא גלויים. לבסוף, נחזתה אינטראקציה בין אבחון לנראות, כך שייצור המחוות לא יהיה שונה בנראות עבור מתבגרים עם ASD אלא עבור מתבגרים עם TD.

Access restricted. Please log in or start a trial to view this content.

Protocol

כל המשתתפים נתנו הסכמה בכתב, וכל הפרוטוקולים אושרו על ידי ועדות הביקורת המוסדיות במוסד המארח. הפרוטוקולים של למידת מילים L2 וקריקטורה מחדש יושמו במחקרים שעליהם מבוססות התוצאות המייצגות 21,33. למרות שפרוטוקולים אלה נערכו עד כה רק בהקשרים פנים אל פנים, פרוטוקול קשור המניפולציה על הנראות של בן שיחו והמשתתף באופן עצמאי שאינו מתואר כאן מתנהל כעת כדי לספק תובנה לגבי יכולת השכפול בהקשר זה, עם תוכניות להרחיבו לאוכלוסיות עם אתגרי תקשורת, כגון אנשים עם ASD.

1. משתתפים

הערה: תוך כיבוד האילוצים ההכרחיים על מאפייני המשתתפים בכל מחקר, הדגימות צריכות לייצג את האוכלוסייה הגדולה ככל האפשר.

  1. גיוס משתתפים לפרוטוקול לימוד מילים L2
    1. גייסו משתתפים מגיל 18 ומעלה בעלי ראייה תקינה או מתוקנת לתקינה ושמיעה תקינה שהם דוברי אנגלית L1. כדי להבטיח שהמחקר יבחן את השפעת המחווה על למידת מילים L2 בשלב הראשוני, גייסו משתתפים ללא כל ידע בהונגרית, שפת היעד.
  2. גיוס משתתפים לפרוטוקול סיפור מחדש של קריקטורות
    1. גייסו משתתפים בגיל המסוגל להשלים את משימת הניסוי (גיל 10-20 במורט ואחרים 21.) עם אבחנה של ASD או שמתפתחים בדרך כלל (TD).
      1. כדי להבטיח שהמשתתפים יוכלו להשלים את משימת הניסוי בהצלחה, גייסו משתתפים שהם דוברי אנגלית L1, בעלי ראייה תקינה או מתוקנת לנורמלית ושמיעה תקינה, ויש להם IQ בקנה מידה מלא של 85 ומעלה, כפי שנמדד לפני או בזמן המחקר באמצעות הערכה סטנדרטית46.
      2. כדי להבטיח שהמחקר יבחן את ההשפעות הספציפיות של ASD על ייצור מחוות, גייסו משתתפים עם ASD ללא אפילפסיה, דלקת קרום המוח, דלקת המוח, סוכרת, הפרעה דיסאינטגרטיבית בילדות או הפרעה התפתחותית נרחבת - לא צוין אחרת (PDD-NOS).
      3. כדי להבטיח שניתן יהיה להשוות את ייצור המחוות באוטיזם לייצור מחוות טיפוסי, גייסו משתתפי TD ללא הפרעות פסיכיאטריות נלוות או קרובי משפחה מדרגה ראשונה שאובחנו עם הפרעות התפתחותיות נרחבות.

2. סקירה כללית של מניפולציית נראות

  1. גייסו משתתפים לזוגות אם ייבחנו ההשפעות של הפקה והתבוננות במחוות ספונטניות, כמו בפרוטוקול למידת מילים L2. גייסו את המשתתפים באופן פרטני בתיאום עם עוזר מחקר הפועל כמשתתף, אם רק ייבחנו ההשפעות של הפקת מחוות ספונטניות, כמו בפרוטוקול הסיפור מחדש של הקריקטורה.
  2. ספק טופס הסכמה מדעת עם מידע על המחקר למשתתפים לחתום ולענות על כל שאלה לגביו, תוך הקפדה שלא לחשוף את מוקד המחקר בייצור מחוות. אסוף את הטופס לאחר שהמשתתפים חתמו עליו.
  3. עבור משתתפים שגויסו בזוגות, השתמשו בשיטת בחירה כגון הטלת מטבע כדי לקבוע איזה משתתף ישמש כדובר, מי יבצע את רוב הדיבור במטלת הניסוי, ואיזה משתתף ישמש כבן שיח, שיעשה את רוב ההאזנה ומדי פעם יתקשר עם הדובר במשימת הניסוי. עבור משתתפים שגויסו בנפרד עם עוזר מחקר המשמש כמשתתף, השתמש בשיטת בחירה קבועה כגון הטלת מטבע מזויף כדי להבטיח כי המשתתף תמיד משמש כדובר וכי עוזר המחקר תמיד משמש כבן שיחו.
  4. במחצית ממפגשי הניסוי, הניחו מחיצה אטומה בין הדובר לבן שיחו כדי להבטיח שהם לא יוכלו לראות זה את פניו או ידיו של זה.
  5. הסבירו למשתתפים מה הם יעשו במשימת הניסוי וענו על כל שאלה לגביו. הודע למשתתפים שהנאום שלהם יוקלט בשמע, תוך הצבעה על המיקרופון המשמש למטרה זו. כדי למנוע השפעות של מודעות להקלטת וידאו על הפקת מחוות, אל תודיע למשתתפים שהם יוקלטו בווידאו וודא שמצלמת הווידאו המשמשת למטרה זו אינה גלויה למשתתפים.
  6. התחל הקלטת וידאו ושמע על ידי לחיצה על הכפתורים המתאימים. ליישם את המשימה הניסויית כדי לעורר דיבור ומחווה מן הדובר ואת בן שיחו המשתתף, אם יש אחד.
  7. אם נעשה שימוש בעיצוב פנימי, הסר את החוצץ האטום אם נעשה בו שימוש באיטרציה הראשונה או מקם אותו בין הדובר לבן שיחו אם לא נעשה בו שימוש באיטרציה הראשונה.
  8. חזור על משימת הניסוי לפי הצורך עד שכל הגירויים מוצו.
  9. עצור הקלטת וידאו ושמע על ידי לחיצה על הכפתורים המתאימים. הודיעו למשתתפים כי המחקר התמקד במחוות וכי הם הוקלטו בווידיאו והציעו למחוק את הסרטונים שלהם לפני ניתוח הנתונים במידת הצורך.
  10. ענה על כל שאלה של המשתתפים והודה להם על השתתפותם לפני פיטורין.

3. פרוטוקול לימוד מילים L2

  1. וידאו ושמע להקליט את הדובר ואת בן שיחו, כך דיבור ומחוות הייצור במהלך המשימה הניסוי ניתן לנתח מאוחר יותר.
    1. מקם מיקרופון שולחן בין הרמקול לבן שיחו להקלטת שמע. מקם מצלמת וידאו בצד אחד בין הדובר לבן שיחו בזווית של 90° וודא שהיא אינה גלויה למשתתפים.
    2. בנוסף, ודא כי הן הדובר והן בן שיחו כלולים בטווח הראייה של מצלמת הווידאו וכי מסך המחשב אינו גלוי בטווח הראייה של מצלמת הווידאו כדי לשמור על עיוורון למצב שבו מילים L2 מוצגות בניתוח.
  2. באמצעות מחשב, להציג מילה L2 משפת היעד בעל פה לדובר באמצעות אוזניות כדי להבטיח שזה לא נשמע לבן שיחו, כך הדובר יכול לאחר מכן ללמד אותו בן שיחו. במקביל, הציגו סרטון של דובר L1 בשפת היעד אומר את המילה L2 ומפיקים מחווה ייצוגית המעבירה את משמעותה עם הטקסט של המילה L2 בתחתית המסך או את המילה L2 כטקסט באמצע המסך ללא וידאו לדובר.
  3. לאחר הפסקה של 500 אלפיות השנייה, הצג את תרגום L1 של המילה L2 כטקסט במרכז המסך לדובר למשך 2000 אלפיות השנייה.
  4. בקש מהמסביר ללמד את המילה L2 ואת משמעותה לבן שיחו באמצעות דיבור ו / או מחווה.
  5. הנחו את הדובר ללחוץ על כפתור כדי להמשיך הלאה כשהוא מוכן. לאחר שהדובר עושה זאת, הציגו מילת L2 נוספת. חזור על תהליך זה עד שכל 20 מילות L2 יוצגו בסדר אקראי.
  6. בדוק בנפרד את הידע של הדובר ובן שיחו על מילות L2 המוצגות במשימת הניסוי על ידי הצגת כל מילה L2 כטקסט והנחיה אותם לומר את תרגום L1 שלה או לדלג על המילה אם הם לא זוכרים את התרגום שלה.

4. פרוטוקול סיפור מחדש של קריקטורות

  1. אם מנת המשכל של המשתתף לא נמדדה באמצעות הערכת IQ סטנדרטית בעבר, נהל אחת כדי להבטיח שה- IQ שלהם הוא 85 ומעלה.
  2. וידאו ושמע מקליטים משתתפים כך שניתן יהיה לנתח את הפקת הדיבור והמחוות שלהם מאוחר יותר. מקם מיקרופון שולחן מול המשתתף להקלטת שמע. מקם מצלמה בצד אחד של המשתתף בזווית של 90° וודא שהמצלמה אינה גלויה למשתתף.
  3. הציגו את המחצית הראשונה של הסרט המצויר של לוני טונס Canary Row למשתתף. חצי זה של הקריקטורה מכיל כמה קטעים שבהם סילבסטר החתול מנסה ולא מצליח לתפוס ציפור טוויטי.
  4. להנחות את המשתתף לספר מחדש את אירועי המחצית הראשונה של הקריקטורה לבן שיחו בפירוט רב ככל שהם יכולים לזכור. להנחות את בן שיחו להקשיב לספר של המשתתף, מה שגורם למשתתף לומר יותר אם זה קצר.
  5. חזור על שלבים 4.1. ו-4.2. לחצי השני של הקליפ של Canary Row, שמכיל עוד כמה קטעים שבהם סילבסטר החתול מנסה ולא מצליח לתפוס את טוויטי בירד.

5. תמלול וקידוד

הערה: כדי למזער הטיה, במידת האפשר, תמלל וקידוד נתונים עיוור מבלי לדעת אילו משתתפים וניסויים הוקצו לאילו תנאים. באופן אידיאלי, מתמללים ומתכנתים לא צריכים להיות מעורבים באיסוף נתונים.

  1. תמלל את כל דיבור המשתתפים באופן אורתוגרפי ביד באמצעות תוכנה מתאימה על פי סכימה סטנדרטית, כגון CHAT47, כדי לייצר ספירת מילים. תמלל את כל המידע המילולי, כגון חומרי מילוי ותיקונים, אך אל תמלל הפסקות.
  2. זהה וקודד את כל המחוות של המשתתפים כדי להפיק ספירה עבור כל סוג מחוות. זהה מחוות ממנוחה למנוחה וסווג אותן לארבעה סוגים בהתבסס על הטקסונומיה 2,3 של מקניל: איקוני, מטאפורי, ביט ודיקטי. שים לב שמחוות מסוימות עשויות להיות מסווגות כיותר מסוג אחד.
  3. חשב את שיעור המחוות למאה מילים על ידי חלוקת מספר המחוות המייצגות במספר המילים והכפלתו ב- 100 עבור כל וינייט.
  4. בקש ממחוות משתתף עצמאי בקוד מתכנת עבור 25% מהנתונים. חשב אחוז הסכמה עבור נתונים מקודדים על ידי שני המתכנתים וודא כי הוא לפחות 80% כדי להבטיח אמינות interrater מספקת.

Access restricted. Please log in or start a trial to view this content.

תוצאות

למידת מילים L2
יישום: התוצאות המדווחות להלן מבוססות על נתונים שנאספו מ-52 משתתפים בריאים (21 גברים, 31 נשים; גיל: M = 20.15, SD = 1.73, טווח = 18-28) על פי הפרוטוקול המתואר לעיל. כל הדיבור והמחוות קודדו על ידי מתכנת ראשי, שלא יכול היה להיות עיוור למצב הראות מכיוון שנ...

Access restricted. Please log in or start a trial to view this content.

Discussion

הפרוטוקול הנוכחי מתמרן את הנראות של הדובר ובן שיחו זה לזה, ומספק תובנה לגבי השפעתו על ייצור מחוות בנסיבות מאתגרות: למידת מילים L2 וסיפור מחדש נרטיבי על ידי מתבגרים עם ASD. פרוטוקול זה יכול להיות מיושם באופן אישי או וירטואלי, המאפשר לנראות המשתתף ובן שיחו להיות מניפולציה במק...

Access restricted. Please log in or start a trial to view this content.

Disclosures

למחבר אין אינטרסים כלכליים מתחרים להצהיר.

Acknowledgements

פיתוח ותיקוף של פרוטוקול למידת המילים L2 נתמך על ידי מלגת NDSEG (National Defense Science and Engineering Graduate - NDSEG) (32 CFR 168a) שהונפקה על ידי משרד המחקר המדעי של חיל האוויר של משרד ההגנה האמריקאי. פיתוח ותיקוף של פרוטוקול הסיפור מחדש של קריקטורות עם מתבגרים עם ASD נתמך על ידי פרס שירות המחקר הלאומי המוסדי ע"ש רות ס. קירששטיין (T32) מהמכונים הלאומיים לבריאות הנפש. המחבר מודה לרייצ'ל פאדר, תיאו האוגן, אנדרו לין, אשלי קפוטו ומרקו פילוטה על הסיוע באיסוף נתונים וקידוד.

Access restricted. Please log in or start a trial to view this content.

Materials

NameCompanyCatalog NumberComments
ComputerAppleZ13124" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphoneTonorB07GVGMW59
ELANThe Language ArchiveSoftware application used to transcribe speech and gesture
Video RecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of IntelligencePearson158981561Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

References

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

ASD

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Research

Education

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved