デュアルモーダル干渉タスクを使用した中国語での音声複雑な文章のオンライン構文処理の検証

要約

ここでは、話し言葉と中国語の相対句文のオンライン処理を調べるために、デュアルモーダル干渉タスクを用いたプロトコルを紹介する。内および非指向性干渉を伴う聴覚処理を伴う2つの例例実験について説明する。パラダイムは、ワーキングメモリの性質と文処理への影響に対処するための方法論を提供します。

要約

ワーキングメモリ(WM)は、複雑な文章の理解において中心的な役割を果たします。話された複雑な文の処理におけるその機能は、話された複雑な文の処理がメモリ集約的であるため、特に明らかです。デュアルモーダル干渉パラダイムは、WM システムが複雑な構文処理にどのように関与しているかを調べるために使用されています。この記事では、聴覚的干渉または非指向性干渉を伴う聴覚処理を含む 2 つの例例実験を紹介します。最初の実験では、2つの構文タイプを持つ聴覚刺激[話し言葉-中国語相対句(RC)文:被験者ギャップ(SRC)とオブジェクトギャップ(ORC))は、文内の視覚的に提示された字句決定タスクを介して干渉され、3つの異なる干渉タイムポイントを使用して操作されます。2番目の実験では、聴覚ウィンドウ移動技術を介して提示された同じ聴覚刺激は、文章を超えて視覚的に提示されたデジタルリコールタスクを介して干渉され、3つのデジタルメモリ負荷を使用して操作される。RC文を理解する主なタスクが二次的なタスクにどのように影響するかを評価することにより、中国のRC処理非対称性に関する論争の問題に取り組むことができます。我々の結果は、以前の研究で報告されたものと比較して、RC処理の異なるパターンを明らかにする。実験1は、SRCまたはORCのいずれの明確なRC処理の利点も明らかにしない。ただし、ORC の優先度は文の最後に観察され、SRC の優先はメイン動詞サイトにあります。同様に、実験 2 は動的パターンを示します。桁なしの負荷の下では、SRC は RC マーカー領域の処理上の利点を示します。ただし、桁負荷の高い干渉の下では、ORC は同じリージョンで処理上の利点を示します。これらの結果は、中国のACの処理に明白または本質的な処理非対称性が存在しないという推測につながる。ワーキング メモリを含む話し言葉の文の処理メトリックを調べるアプリケーション。

概要

話し言葉の文処理中のワーキングメモリ(WM)の役割は自明です:音声の一時的な性質のために、リスナーは、彼らが処理されるまで、彼らの記憶にコンポーネント音響形態を保持する必要があります。この側面は、構文的に複雑な文の処理中にさらに重要になります。複雑な文の単語に構文関係を割り当てると、メモリに保持されている項目に対して短期間の計算操作を実行し、メモリ需要が増加します。しかし、WMシステムが話し言葉の文処理にどのように関与しているかは議論の余地がある。

この論争は2つの主要な意見の相違を伴う:一部の研究者は、すべての言語^{タスク1、2に}使用される単一のWMシステムが存在すると主張する- 言い換えれば、構文処理はより多くの人が使用する同じメモリリソースに依存している一般的な認知プロセス。これは単一リソース モデルです。他の人は、その構文構造に基づいて文の意味を決定すると、他の言語^{タスク3、4}のために使用されるものとは別の特殊なWMシステムを含むと主張しています。この静脈では、構文処理はモジュール式である。これは、個別の文解釈リソース モデルです。

心理言語学的研究では、デュアルモーダル干渉パラダイムが2つの競合するアカウントを調べるために使用されています。WM ストレージ容量が^5、6に制限があるという前提に基づいて、パラダイムは、プライマリ タスクとセカンダリ介在タスクを複雑にすることによって問題に対処します。プライマリ タスクがセカンダリ介在タスクと限られたリソースを競合することを考えると、難易度が高まり、プライマリ タスクの反応時間が長くなります。このような状況では、デュアルモーダル干渉アプローチにより、参加者が両方のタスクを同時に実行する必要があるタスクが与えられた場合に、WM の関与の処理負荷と範囲を評価できます。

よく知られている複雑な構文構造により理解が困難となるRC成分を含む文章は、WMシステムが複雑な文章の処理にどのように関与しているかを調えるために広く使用されている。しかし、複雑な文章を処理すると、音声処理に関連する WM リソースに対する需要が高くなりますが、ヘッドイニシャル RC を持つ言語での構文移動のコストに寄与すると考えられている WM が影響を受けるかどうかは、あまり明らかではありません。構造 (英語など) は、ヘッドファイナルの LC (中国語など) を持つ言語の構文の複雑さを反映しています。デュアルモーダル干渉パラダイムの使用を通じて、現在の研究は、この問題に光を当てる。

2つのRC構造(サブジェクト・ギャップとオブジェクト・ギャップ相対句)の処理に関連する困難は、広範な議論の対象となっています。これらの論争は、主に類人化異なる言語間で観察される。英語などの先頭言語では、相対句が変更する先頭名詞に従って、例 1(a) などの SLC は例 1(b) の ORC よりも簡単に処理されることがわかります。

例 (1) に示すように、英語では、SAC と ORC の間でギャップのサーフェス位置が最小に異なります。このギャップは e ₁としてインデックス付けされ、先頭名詞 'アクター'(フィラーと呼ばれます) の後の空の位置は、RC から削除されます。しかし、SRCとORCは、RCドメインにおけるギャップの文法構造と機能の点で大きく異なる。充填装置とギャップの構造的依存関係を統合して解決するためのメモリコストは、実験的研究の対象となり、言語処理と理解におけるWMの役割に関する洞察を得るために広く使用されてきました。

たとえば、これらの名義 RC を理解して処理するには、SRC と ORCで説明された動詞 ' の関数名詞 'アクター ' のインデックスを作成し、後で WM にヘッド名詞を格納する必要があります。動詞 '承認'の文法科目に割り当てられます。

SRCを理解する方がORCを理解するよりも簡単であるというヘッドイニシャル言語との一貫した発見とは対照的に、親戚が相対的な最終言語である中国語のRC処理非対称性に関して、混合した結果が報告されている。句は頭名詞の前に置きます。SRC処理の利点を観察している人もいれば、反対のパターン(ORC処理の利点)を報告しているものもあります。研究の後者はまた、自己ペースの読み取り性能7、8、9の研究から得られた結果によって示唆されているように、RC処理非対称性がWMによって変調され得ることも提案した。

前述のように、(複雑な) 構文処理で WM が果たす役割に関する 2 つの競合するモデルがあります。1つは「構文処理はモジュール式」で、もう1つは「構文処理が一般的である」というものです。理解の難易度の相違点、すなわち、SLCと英語のORCの複雑な文章は、モジュール性の問題に関してこれらの2つのアサーションを調べるために、デュアルモーダル干渉(DMI)タスクで頻繁に使用されます。WM の関与は、処理の非対称性を並行すると主張されます。したがって、干渉タスクを介して同時メモリ負荷を誘導することは、構文処理に対するWMの影響を示す。その根拠は、単一の言語 WM システムまたは別個のモジュラー構文システムが存在するかどうか、干渉タスクをシステムに関与させると、WM リソースの制限により構文処理が効率が低下するという点です。DMI タスクで構文的により複雑な文 (ORC、 英語) を処理する方法は、構文的に単純な文 (SRC、 英語) の処理と比較して、WM の特定の効果に関する証拠を提供し、どの WM が関与しているのか。

英語などの頭の初期言語とは対照的に、中国語のRCはヘッドファイナルフォーメーションを明らかにし、ギャップフィラー関係を示します。インデックス付き移動要素であるギャップは、2 (a) SRC、および 2 (b) ORC に示すように、それに関連付けた先頭名詞の前に配置されます。

中国のACの処理に起因する論争は、SACがORCよりも処理しやすいと一貫して報告されておらず、この不一致は言語処理と理解の理論に課題を提起しているということです。相対化器 'DE' の前の公名コンテンツは、ギャップの後まで WM に格納する必要があるため (移動した頭名詞 'actor') がリンクされて取得されるため、このプロセスを理解することは、言語処理における WM の役割に関する洞察を得るのに役立ちます。

今回の研究では、リスニングは処理中に非常に圧縮性が高く、WMの機能と密接に関連しているため、話し言葉のRC文処理を検討する。デュアルモーダル干渉パラダイムは、干渉が短期聴覚記憶における確立された忘忘れ関数であるため使用されます。メモリに格納されているリプレゼンテーションは、干渉イベントが¹⁰に発生すると、劣化し、その後失われる可能性があります。正規の話し言葉文に対して異なる側面(現在の場合:言語学的および外デジタル、以下を参照)に沿って変化するディストラクタは、異なる処理段階および下の間に増分入力を統合するコストを測定することができます異なる干渉条件。

より構文的に複雑な文章を処理すると、単純な文を処理するよりもWMがオーバーロードするという立場に基づいて、理解の過程で干渉の種類を操作することは、に影響を与えるべきであると仮定することができます。文処理。暗黙的に、構文的により複雑な文章を処理するには、オンラインで比例的に大きいまたは不均衡に大きいリスニング時間が必要であり、オンライン後の文章理解評価のパフォーマンスが意志よりも悪いことを示します。構文的に単純な構造を処理します。今回の研究では、文処理中の干渉がWMの関与を指数化し、構文モジュール性の問題を超えてその価値を事実上置くことができるという仮説を検証する: 中国のRC処理に関する論争が可能であるという考えを提案する言語理解における基本的な役割により、WMの調査を通じて解明された。したがって、中国のRC処理におけるDMIタスクの使用に伴う意義は、中国のRC処理非対称性に関する進行中の議論を解決するための道筋を提供する。

この記事では、イントラ干渉と非指向性干渉の両方を使用した聴覚処理を含む 2 つの例例実験を紹介します。この2つの実験の目的は、WMが異なるタイプの干渉の下で中国のRCの処理にどの程度従事しているのかを調べることです。

最初の実験では、視覚的に提示された字句決定タスクが、心内干渉として使用されました。二次干渉タスクとして、単語/非単語字句決定タスク(LDT)は、ターゲット相対句文の聴覚提示中に3点で導入され、これらの点で処理の難易度を測定することが可能となった。この実験の主な懸念事項は、相対節(RC)のギャップが行列節(MC)のフィラーにどのように関連付けられ、後続のMCの処理に影響を与えるかどうかである。したがって、測定する3つのプローブサイトは、MC領域の後に設定された。例は、(2)から複製され、矢印で示され、対応する構文連結に位置合わせされた3つのプローブサイトのうち、例3で示し、3(a)はSRCおよび3(b)がORCを示す。

図1は、3つのプローブサイトのいずれかでLDTによる連続聴覚RCプレゼンテーションを妨害する手順を示す。タイミング設計は、以前の中国の処理^研究11におけるLDTタスクの従来のプロトコルに従う。たとえば、各ビジュアル LDT トライアルは、モニターの中央に固定点を示すクロスサイン "+" で始まり、その後に 3,000 ミリ秒の画面に表示される視覚的な LDT 刺激が続き、被写体が作った直後に消えます。字句的な決定。典型的な被験者は、30~35分以内に演習を含む実験1を完了します。

図 1: 構文的な意思決定タスクを伴う間の干渉手順。
この図のより大きなバージョンを表示するには、ここをクリックしてください。

LDT タスクと共に 3 つのプロービング サイト:

1. ポジション 1 (P1): ポスト S_MCリージョン

測定される最初の位置(P1)は、RC境界の後の領域におけるMCの被験者の直後である。このサイトでは処理負荷が発生する見込みです。一つには、この点(S_MC)の前に、RCドメイン内のサブジェクトギャップとオブジェクトギャップ構造は、それぞれ対照的動詞オブジェクト(VO)および主動詞(SV)構造を形成する。もう一つは、RC地域の構成要素をMCの頭名詞と統合するために、リスナーはギャップの文法的役割を識別し、今後のフィラーヘッド名詞とリンクする必要があります。

2. 位置 2 (P2): ポスト V_MCリージョン

測定される2番目の位置(P2)は、行列節(V_MC)の動詞の直後である。この部位は、処理負荷を誘発することも想定される。言語情報を統合するには、リスナーが文中の名詞引数を取得し、前の RC ドメインまたは RC が変更する頭名詞から行列動詞のエージェントを識別する必要があります。

3. 位置 3 (P3): ポストセンテンス領域

測定される3番目の位置(P3)は、文の終わりの直後である。処理に関する以前の研究は、文末のラップアップ効果があることを提案しています-非構文情報(例えば、談話と意味レベル)が活性化し、完全な理解12を文の終わりに考慮される現象 ^、13.したがって、この非構文^情報14,15を統合する必要があるため、処理負荷は文の終わりに向かって増加する必要があります。位置3は、このサイトの周りに文の解像度が試みられたため、処理負荷の低下を示していると仮定します。

2 番目の実験では、聴覚移動ウィンドウ (AMW) タスクが採用されました。AMW技術は、オンライン言語処理中にリソース割り当てのパターンをキャプチャできると考えられており、2つの競合するWM^{アプローチ16、17}を区別する試みで広く使用されています。一時的な今後の音声文の処理中にリスナーに余分な時間を要する必要があると推測されます。AMWパラダイムでは、参加者は単語に分割された文章を聞き、キーボードのキーを押して後続のセグメントの再生を開始しました。したがって、キープレス間の一時停止の期間は、後続のセグメントを開始し、着信情報の流れを制御するために、問題の特定の言語機能に対する参加者の応答性を反映します。例えば、異なる構文の複雑さの文章の処理に対して、異なるセンタテインションの干渉が一定の影響を及ぼす場合、参加者は後続のセグメントを開始する前に、それに応じて長時間の休止期間を示します。手順は概略化され、図 2 に示されています。

図 2: 桁のリコール タスクを伴う送信後干渉手順。
この図のより大きなバージョンを表示するには、ここをクリックしてください。

次のプロトコルは、研究者が視覚的に提示された字句決定タスクを間内干渉として使用する方法と、WM の関与と処理を調査するための非センタ干渉としての同時演算干渉負荷を示しています。中国のLCの非対称性と根本的な論理を詳述する。

プロトコル

これらの実験の管理は、すべての研究倫理規則に従った。すべての被験者は、実験が実施される前に、口頭および書面による同意を得た。すべての手順、同意書、および実験プロトコルは、台湾の国立チョンクン大学の研究倫理委員会によって承認されました。

1. 実験 1―デュアルモーダル内接干渉タスク

1. 国立台南看護学研究所と国立台南中等学校から97名、女性54名、男性42名を募集し、実験1に参加します。
   注:すべての参加者は、正常または修正された正常な視力を持つ流暢なネイティブ中国語の話者であることが必要であり、自己報告による聴覚障害はありません。
2. 材料の準備
   1. LDT の単語と非単語を選択します。合計 48 のビシルラブ (2 文字) の中国語の単語を含め、そのうち 24 は単語で、24 は単語でした。
      注: 漢字は音符を表し、通常は形態体 (つまり、最小の意味のある要素) です。ここでのターゲット語は、ビシル性複合語です。LDT タスクに使用される視覚的なターゲットワード/非単語のリストについては、補足ファイルを参照してください。
      1. Sinica Corpus テクニカル レポート¹⁸から 24 語を選択し、すべてのターゲット単語が中程度の頻度であることを確認します。平均周波数パーセンテージの単語数は約 0.00030、ランキング順はデータベースで約 4,000 です。
         注: ターゲットワードとして中周波数の単語を選択すると、周波数効果を低減することを目的としており、高周波単語の応答時間(RT)が短くなり、低周波単語からの長いRTが発生します。
      2. 24 の非単語を作成するには、個別に意味があるが、その組み合わせが意味的に異常である 2 つの単音節文字を使用します。潜在的な活性化を防ぐために、同一のラジカルを持つビシラブ文字の単語を避ける(例えば、海陽、海を意味する)は、ラジカル成分である中国語のビシラビック文字語で表されます。水に関連する文字と)
      3. フィラー文の24の非単語とターゲットRC文の24語を手動で配置します。
         注: RC を持つ単語と非単語をフィラーで照合する必要があったのは、RC を持つ 24 語の LDT の RT のみを考慮し、統計分析に含める必要があるためです。
   2. 聴覚RCとフィラー文
      注:SRC、ORC、およびフィラー文の例については、補足ファイルを参照してください。
      1. 聴覚刺激を72の文に構成し、24のSLC、24のオーク、24のフィラー文の3種類の文章を含む。
      2. 48のRC文を2つのグループに均等に分割して、不完全なカウンターバランス設計を作成し、2(SRC、ORC、および24のフィラー)を2(SRC、ORC)*3(プロービングサイト)*2(単語/非単語)条件で48回の試行を形成します。
3. 実験ソフトウェアの設定
   1. 標準の実験ソフトウェア(E-Prime¹⁹⁾を使用して、ソフトウェアプロトコルに従って実験をプログラムします。
   2. 実験ソフトウェアを使用してすべての刺激をランダム化します。
   3. (1)応答時間、(2)LDTにおける参加者の回答の精度、(3)参加者のキーボードプレスに基づくポスト文の理解度を記録するようにソフトウェアシステムを構成します。
   4. 参加者の誤った語彙決定または応答に関するフィードバックを含めます。参加者の応答が正しくないか、または欠落した直後に、モニター画面にフィードバックを表示します。参加者の回答が正しい場合、フィードバックは表示されなくなっていません。
   5. フィードバックを含むトライアルに関する演習のセクションを提供します。
4. 演習の後、デュアル モーダル内 LDT 干渉タスクを開始します。実験セッション中に、参加者が24回の試験の間に休憩を取ることができます。
   1. 各参加者に個別にタスクを実行し続けます。まず、参加者にコンピュータ画面上の書面による指示と、実験者による口頭形式の指示を提供します。参加者をコンピュータの前に座り、ヘッドフォンを装着します。
   2. 参加者にヘッドフォンで再生された文章を聞く際に、同時にリスニングプロセス中のある時点で、字句的な意思決定タスクを実行するように指示します。
   3. 参加者に、画面に表示される干渉ビジュアルプローブが単語か非単語かを判断し、単語の応答キー「はい」または「いいえ」をできるだけ迅速かつ正確に押すように指示します。
   4. 理解の質問が文の直後に続くものであることを参加者に伝えます。LDT タスクを同時に実行しながら、聴覚の文に注意深く耳を傾けることを思い出させます。

2. 実験 2-デュアルモーダル超感性干渉タスク

1. 実験2の参加者として、国立台北工科大学と国立台南短期看護大学から61人の大学生、40人の女性と21人の男性を募集します。
   注:すべての参加者は、通常または修正された正常な視力を持つ流暢なネイティブ中国語の話者であることが必要であり、自己報告による聴覚障害はありません。
2. 材料の準備
   1. 聴覚RCとフィラー文
      1. 聴覚刺激を、SAC、ORC、充填文の3種類の文章に構成します。48 の RC 文を 2 つのグループに均等に分割して、2 (文の種類: SRC、ORC) * 3 (桁の負荷) 条件に対して 96 の合計試行 (24 SRC、24 ORC、および 48 フィラー) で不完全なカウンターバランス設計を作成します。
         注: SRC、ORC、およびフィラー文の対象聴覚試験例については、補足ファイルを参照してください。
   2. 0/3/5桁
      1. 0/3/5桁の組み合わせで構成される合計96のデジタルアイテムを構築します。すべての文の試用版に、0、3、または 5 桁の各読み込みを均等に割り当てます。
3. AMWパラダイムを用えたデュアルモーダル超感指数デジタル干渉タスク
   1. 標準の実験ソフトウェア(E-Prime¹⁹⁾を使用して、ソフトウェアプロトコルに従って実験をプログラムします。
   2. 参加者を、文型(SRC対ORC)とメモリ負荷(負荷なし、3桁負荷、5桁負荷)の2つの主題内因子の組み合わせを表す2つの刺激セットのいずれかにランダムに割り当てます。AMW タスクの前に、1,500 ミリ秒の数字の視覚的なプレゼンテーションを参加者に提供します。
4. 次に、AMW タスクを開始します。
   注: AMW タスク²⁰は、自己ペースのリスニング タスクです。
   1. 前述の視覚的なプレゼンテーション (数字または数字なし) をメモリに保持するように参加者に指示します。
   2. その後、参加者に、単語に分かれた文章を聞き、ヘッドフォンで演奏するように指示します。キーボードを押して、後続のセグメント化された単語の再生を開始して、できるだけ早くペースを合わせてください。
   3. 各裁判の判決を聞いた後、コンピュータ画面に表示された「はい/いいえ」の質問に答えるように参加者に指示します。質問の前にコンピュータ画面に疑問符 "?" が付いていることを参加者に伝え、質問は前の文で聞いた情報に関連していることを伝えます。
   4. 参加者が「はい/いいえ」キーを押すと、短い「ビープ音」が鳴り、理解の質問に答えます。ビープ音が鳴った後、画面に表示される指示に従って、参加者に文章を聞く前に見た数字を繰り返してもらいます。
   5. 実験者に、参加者の数字リコール応答をスコアシートに記録しせます。

結果

干渉効果は、デュアルモーダルイントラLDTと超桁負荷タスクの両方で観察されました。実験1の3つのプローブサイトを考慮すると、LDT内タスクのRT結果は、2つのRCタイプの関数としてRC処理の動的パターンを明らかにした。図3に示すように、ORC型は、RC(P1)の後と文の末端(P3)の後にマトリックス主体(S_MC)をポストする位置で処理上の利点を示すのに対し、SRC型は行?...

ディスカッション

本研究は、DMI法を使用して、内干渉タスクと非指向性干渉タスクの両方を使用することは、話し言葉文処理におけるWMの役割を解明し、中国のRC処理非対称性の問題を明らかにするのに役立つ可能性があることを示している。予想通り、二次的なタスクからの干渉が一次文処理に対するリスナーのパフォーマンスにどの程度影響を与えたかを測定することにより、中国のRC処理のパターンを推?...

資料

Name	Company	Catalog Number	Comments
E-Prime	Psychology Software Tools	version Professional 2.0
Headphone	Logitech
Praat	Praat	5.3.43	The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/
Serial Response Box	Psychology Software Tools
Standard PC	ASUS K42Jv laptop