Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

RCG、SMC、JB は、SMC の NIH の R01MH1006674 と RCG に NIH R01EB021711 によって支えられました。CMJ と BHS は NSF アイデア ラボ プロジェクトによって支えられたで「コードを割れ嗅覚」BHS に。我々 はこの研究に彼らの支援のためカイル · スタインメッツ、タリン ・ Oboyle とレイチェル Halby をありがとうございます。

1 をキャッチし、ミツバチを活用
<ol>
	<li>スミスと負担の59のプロトコル手順 3.1.1 を介して 1 に従います。</li>
</ol>
2. 動物のハーネスとビデオカメラの準備
<ol>
	<li>ハーネス チューブの上から足を見ることができないことを視覚的に検査の上にテープを適用して足を非表示します。</li>
	<li>昆虫の頭の後ろに加熱されたワックスを適用することによって頭を抑制します。頭は固定と移動しないことを目視で確認します。この時点で、アンテナと下顎骨は自由に移動する唯一の付属肢をする必要があります。</li>
	<li>昆虫のハーネスの下に紙の白いシートを配置することによってアンテナとビデオの背景とのコントラストを最大化します。後でカメラを調整する必要性を最小限に抑えるために、紙の上の昆虫のハーネスの位置をマークし、同じ場所に新しい個人を配置します。</li>
	<li>昆虫の頭の上にカメラを配置する三脚やカメラ ホルダーを使用してカメラの位置を修正します。カメラのソフトウェアを使用して、ビデオをプレビューし、ビデオのすべての側面に 20 ~ 30% のクリアランスを可能にする、頭のイメージを拡大するズームします。<ol>
		<li>カメラ ビューの移動オブジェクトだけがアンテナやテング/下顎骨と必要に応じてカメラまたは動物の位置を変更を確認します。 注: SwarmSight は、頭の周囲のピクセルの動きをチェックします。足、影、ファン、または人間のようなオブジェクトによる頭のすぐ近くの余分な動きがソフトウェアを混乱させる、追加のノイズを紹介します。</li>
	</ol>
	</li>
	<li>周囲の照明を調整することによってアンテナの影を最小限に抑えます。 注: ソフトウェアは、いくつかの影を耐えることができますが、最高の結果を得るには、彼らは、最小限に抑える必要があります。</li>
	<li>カメラの露光時間をビデオを通じて一定に保つためにカメラのシャッター スピードのソフトウェアを使用してカメラの自動露出調整を防ぐ。「カメラ設定」の下の露出スライダーを調整することによりコントラスト (ビデオのシーンない明るすぎる、または暗すぎる) を最大化するシャッター スピードを調整ソフトウェアを使用します。 注: 上記の手順はウェブカメラとソフトウェアの使用に固有です。これらは、他のウェブカメラを使用している場合に適応する必要があります。</li>
	<li>臭いの配信元を置き、カメラのビデオ フィードを調べることによってカメラのビューを阻害しないことを確認します。真空の光源が刺激の悪臭を除去する反対側に置かれたことを確認します。</li>
	<li>LED、またはカメラのビュー内の臭気配信を示すための明るさを変更するいくつか他の視覚的なインジケーターを配置します。 注: LED の明るさの値はソフトウェアによって保存され、臭気配信開始時と終了時に正確なフレームを決定するため使用することができます。</li>
</ol>
3. 実験条件の下で個々 を映画します。
<ol>
	<li>各個々 の昆虫およびテスト条件別のビデオの個々 のテストの各組み合わせを別々 に録音するか、使用して、ファイルのビデオ映画編集長いビデオのファイルを小さなファイルに分割するソフトです。 注: ソフトウェアには、それぞれのビデオでは、ヘッドが固定するために頭の位置を検索するユーザーが必要です。頭を移動すると、追加のノイズを投入します。SwarmSight のバッチ処理機能は急速に複数の動画の頭の場所を設定することができ、昆虫の頭は、各ビデオ ファイルの中には固定を前提としています。長い動画ファイルを分割する方法については、オンライン60を見つけることができます。</li>
</ol>
4. ビデオ分析
<ol>
	<li>ダウンロード、オンライン58の手順に従うことによって追跡アンテナ ' モジュールを取り付けます。 注: ソフトウェアを使用する方法を説明するビデオ チュートリアル、同様のウェブサイトで利用できます。</li>
	<li>「ブラウズ」ボタンを使用して撮影された動物を示すビデオ ファイルを開きます。</li>
	<li>アンテナ センサーと処理センサーの配置
	<ol>
		<li>ビデオが読み込まれると、一度は、(例えば、図 1を見なさい) 頭でウィジェットを配置する回転およびスケールのアイコンを使用して、動物の頭の上長方形の「アンテナ センサー」ウィジェットを配置します。</li>
		<li>臭いや刺激が提示されている場合を示す LED に円形の「治療センサー」ウィジェットを置きます。 注: 治療センサーはフレームごとにウィジェットの中心にあるピクセルの明るさの値を記録します。</li>
	</ol>
	</li>
	<li>ビデオ処理の開始
	<ol>
		<li>フレームの分析を開始するには、左下隅で「再生」ボタン (黒い三角形) を押します。 注: 検出された可能性が高いアンテナとテングのポイントは黄色でハイライトされます。黄色のリング肢のヒントの場所が表示されます。アンテナとテングの突出しの角度 (0 は動物の前に直接、)、左下隅に「モデル」のウィジェットに表示されます (図 1を参照)。右下隅の「支配的なセクター」ウィジェットほとんどのアンテナ ポイントが検出されている 5 つの 36 度セクターの相対的な強度が表示されます。暗いセクターは、最軽量の少ないを持っている間にほとんどのポイントを含まれています。ほとんどのポイントを持つセクター番号 (1-5) は、ウィジェットの下の隅に表示されます (図 1を参照)。</li>
	</ol>
	</li>
	<li>フィルターのしきい値を調整し、除外ゾーンを追加します。
	<ol>
		<li>フィルターの感度を変更するには、右側のパネルの「フィルター」セクションでスライダーを調整します。 注: 照明条件、肢の一般的な動きの速度に応じて異なるフィルター感度最適になります。ユーザーは、値を調整し、アンテナ センサー ウィジェットで強調表示されている領域を観察することによって、最適な値を検索できます。感度の最適な設定が見つかった場合、付属肢のみがハイライトされます。ビデオの他の部分まで早送りしては、フィルター感度ですが、あまりにも最適なことを確認することをお勧めします。</li>
		<li>必要に応じて、右側のパネルでは、上の不要なオブジェクトを無視する「アンテナ センサー」セクションを展開クリックしての「追加除外ゾーン」ボタン (図 1を参照) で内容は無視されます赤い多角形を作成するポイントの設定] をクリックしてしますソフトウェア。 注: ビデオに含まれる余分な動きと動き (例えば、移動の足、強い影、実験装置、等) のアンテナ センサー ウィジェットのゾーン内では、ソフトウェアが間違いなく付属肢の動きのため。</li></ol></li></ol>赤いポリゴンまたは「除外ゾーン」を描画することによって余分なオブジェクトは無視できます追跡の赤いポリゴンの内部は何もない使用されます。
	
	
	<li>結果を保存します。
	<ol>
		<li>フィルターとウィジェット設定すると、ビデオを停止、最初から再起動、最後にそれを再生します。 注意: 全体のビデオを果たしている、ビデオのすべてのフレームの付属肢の位置がメモリに保存されます。</li>
		<li>付属肢の位置データをファイルに保存するには、右側の「保存」セクションを展開しを保存」をクリックして。CSV」ボタン。その後、ファイルを保存するフォルダーを選択します。 注:"に保存します。CSV」ボタンは、処理結果を .csv ファイルに保存されます。既定では、ユーザーは .csv ファイル動画ファイルと同じフォルダーに保存する表示されます、ファイル名の一部として日付と時刻をあります。生成される .csv ファイル向きと同様、アンテナ角度および支配的なセクターを含む肢の位置と頭の位置に関する情報が含まれている列のセットが含まれます。各列の説明は、オンライン61です。</li>
		<li>必要に応じて、サブジェクトの ID や実験条件の名前などの情報を記録するのに .csv ファイルの余分な列 (またはより多くの場合はコンマで区切られた) を作成するのに列 (s) と [値] フィールドを [保存] セクションを使用します。 注: 列] ボックスの値は、最初の列のヘッダーに表示され、最初の列のすべての行で、[値] ボックスの値が繰り返されます。</li>
	</ol>
	</li>
	<li>バッチ処理 注: ソフトウェアは、バッチで複数の動画ファイルを処理できます。ただし、ユーザーは、バッチ処理を開始する前に各ビデオの頭の位置の情報を提供する必要があります。<ol>
		<li>「動画ファイル」セクションで、右側のパネルでソフトウェアによって順番に処理されるビデオ ファイル リストを作成することができるウィンドウを開きます「バッチ処理」ボタンをクリックします。</li>
		<li>「追加詳細ビデオ ファイルにバッチ」ボタンを使用すると、バッチ リストに含まれる 1 つまたは複数のビデオ ファイルを選択します。</li>
		<li>必要に応じて、ウィジェットのパラメーターの同じセットを使って複数の動画を選択するのに"CTRL"または「シフト」キーを使用します。 注: パラメーターの再利用のための良い候補者は、異なる実験条件の間移動されていない同じ動物の動画のセットです。</li>
		<li>「設定センサー位置の選択」ボタンをクリックしてして選択した動画に使用するウィジェットのパラメーターの設定を開始します。</li>
		<li>アンテナ センサー、処理センサー、フィルター、パラメーター調整やセクションを保存「保存パラメーターをバッチ」完了をクリックします。</li>
		<li>各ビデオのパラメーターを選択すると、「処理開始」ボタンをクリックしてバッチ処理を開始します。 注: ソフトウェアは、バッチ リストに表示、処理し、か、ビデオ ファイルがある場所と同じフォルダーに、対応する .csv ファイルを保存する彼らの順序でビデオ ファイルを読み込みます。上部に進行状況バーは、最初のビデオが完了した後終了予定時間を提供します。</li>
	</ol>
	</li>

著者は、彼らは競合する金銭的な利益があることを宣言します。

ここで紹介した方法が特別な動物標本やハードウェアを必要とせず昆虫のアンテナとテングの動きをリアルタイムで追跡を可能にします。
制限事項:
これらの利点にもかかわらず、法の制限があります。動物の頭が動き、位置と各ビデオのための動物の方向を選択するユーザーの必要性から制限されている要件が含まれます Windows コンピューターおよびソフトウェアの無力を追跡するためにアクセスするための要件3 次元 (3 D) で、以下いくつかの視覚的にあいまいな付属肢のポジションでの動き。
ソフトウェアには、動物の頭が場所に固定され、ビデオの間に移動されていませんが必要です。これは、前仕事48,49,50,51の準備に似ています。頭の回転の自動検出を許可するようにソフトウェアを変更することが可能、ただし、この追加の処理時間を消費するし、エラーの新しいソースをご紹介します。修正されたソフトウェアは正しく頭の回転を検出した場合、計算の頭部の回転角度を基準として、アンテナ角度に影響が及ぶ。現在、ユーザーは、動画ごと一度頭の方向を選択します。このアプローチは、ヒューマン エラーは、なくはないを最小限に抑える角度計算エラーが発生とき頭がビデオの間に移動することはできません。
また、ソフトウェアには、Windows 7 (またはそれ以降) オペレーティング システム (OS) が必要です。目標は、ソフトウェアをインストール、セットアップ、およびプログラミングや洗練されたコンピューター管理スキルがなくてもユーザーが使いやすいようにでした。それは広く利用可能、それへのアクセスが制限されている場合、仮想マシンを Windows で (例えばVirtualBox、VMware、平行線) を簡単に作成できますが、ターゲット ウィンドウにしました。この OS の選択は大きく簡単に使用できる、コマンド ライン無料インストーラーを使用してソフトウェアのインストールを簡素化し、別の Os に固有のバグを回避できます。
ソフトウェアのみ 2D 空間で肢の位置を追跡します。昆虫は、唯一の 2D 座標を計測するときの重要な情報が失われることを意味することができる 3 D で自分のアンテナを移動する知られています。複数のカメラやミラーの使用は、3 D のローカリゼーションに必要な追加情報を収集に役立つ可能性が、それはアンテナが、三角関係、による面外位置推定を使って計算することが可能一定した長さの線分を 1 つ、カメラ面の片側にのみ移動します。ミツバチ、この仮定、3 D の位置の大まかな見積もりを取得する場合は true を保持するが、他種との状況の場合、必ずしも。
触角とテングにソフトウェアが正しく検出されないいくつかのあいまいな状況の場所をヒントします。動物は、ビデオでは、それは拡張のテングを重なるようにアンテナを移動、ソフトウェアは口吻の先端として、アンテナの先端を検出可能性があります。ただし、アンテナの角度はまだ可能性があります正しく (重複部分) から計算されます。同様に、(すなわち側面ではなく) 動物の頭の上に直接移動アンテナ先端、ソフトウェア可能性がありますのみ、頭の外に表示されているアンテナの一部を検出または、アンテナの前の位置を想定してかスプリアス検出アンテナの位置としてビデオ ・ ノイズ。両方の状況でさえ人間の査定人、テングや頭からアンテナを付け困難であります。この問題を軽減するために raw X と Y に 3 フレーム、対称ローリング平均57フィルターを適用をお勧めします。 座標は、ソフトウェアによって生成されます。このフィルターは大きな過渡 (シングル フレーム) ポジション変動を削除し、長いアンテナ位置動きが保持されます。我々 は、3 フレーム フィルター フィルターなしより広いフィルター (例えば5、11、または 15 のフレーム) が精度を削減しながらも実行を発見しました。コード例 R フィルターとビデオ チュートリアルを使用するには、オンライン58を見つけることができます。
科学的な道具としての価値。
急速にコスト効果の高い方法で正確な昆虫の付属肢の動きを取得する手法の有効性調査の新しい領域を開く可能性があります。
吻伸展反射 (PER) は、さまざまな昆虫の59の記憶・学習を調査する一般的に使用される行動応答です。以前の研究は、テングの動き65,66にはるかに複雑なトポロジを示されているビデオと筋電図学的解析が一般的に当たり、バイナリ拡張またはないメジャーに頼ってきました。ここにメソッドは、高時間・空間的解像度でテングの動きの急速な定量化をことができます。
悪臭に対応昆虫アンテナ動きはよくわかっていません。この理由の 1 つは、アンテナをアンテナの動きデータを取得するコスト効果の高い、自動化された手段が使用不能だったので、急速に移動する傾向があることです。ここで紹介した方法は、急速に多数の条件における昆虫の多数のアンテナ動きデータを取得される可能性があります。これは、たとえば、様々 な刺激、特に揮発性の臭気に対応アンテナ動きの間のマッピングを調査して研究者を助けることができる.30 Hz でフレームをキャプチャするカメラを使用すると、ソフトウェアは触角運動学を特徴付けるため使用することができます 15 Hz (ナイキスト限界)。高い周波数での特性評価が必要な場合は、高いキャプチャ レート (たとえば60 や 120 fps) でカメラが利用できます。ただし、高速のコンピューターは、リアルタイムでのより高い fps ビデオを処理する必要があります。クラスと、おそらくさらにいくつかの個々 の臭気がある特性の生得的な触角の動きが推測された.それらのクラスまたは化合物ができる発見され、不明な場合、未熟な昆虫の触角の動きからにおいやそのクラスを検出できます。このようなマッピングが存在する場合、十分なアンテナ運動データと最先端の機械学習アルゴリズムの組み合わせは、明らかにそれが開始されます。また、どのようにマッピングに学習、フォーム開発時にレスポンスの変化やと中断されることは、遺伝的介入は嗅覚システムの機能への洞察力を提供できます。最後に、複雑な環境で臭に最適なサンプリング方法が明らかになった場合、この作品は悪臭の人工検出への洞察力を与えることができます。
今後の作業:
ここでは、アンテナの動きデータことができます急速に得、分析されたことを示しました: 重要な動作レスポンスは当社のソフトウェアによって生成されたデータから検出できるより詳細な調査のいくつかの領域が同定されました。
刺激誘発アンテナの角度からの逸脱とベースラインに回復および任意の刺激-結論のリバウンド効果と臭気濃度依存性を調査、数学的にモデル化します。さらに、飛び廻るによるアンテナの動きの変更または嫌悪エアコンもソフトウェアを評価することができます。
匂いの良い分化を探索することも。本研究では、純粋な内の悪臭や希薄化後のバージョン x 35 誘発される同様の応答: アンテナ、平均すると、急速に臭気発生源から撤回して、数秒後前においベースラインに戻る登場します。我々 は推測も、希薄化後のバージョンは蜂蜜の蜂のための非常に強いニオイをされている可能性があります。True の場合、濃度の広い範囲は触角の応答が悪臭を区別するかどうかは、される可能性があります。さらより高度な分析より良い別の悪臭に対応の触角の動きの違いを明らかにするかもしれない。この稿では SwarmSight のウェブサイト67に興味がある研究者に利用できる図を生成するために使用するデータ ファイルをしました。
さらに、本稿の範囲外ながらデュアル ミラー角度 45 ° (たとえば図 1を参照) の部屋に動物の動画を処理するソフトウェアを拡張できます。正確にローカライズし、肢と 3 D 空間での動きを追跡するために使用可能性があります。ただし、3 D トラッキング アルゴリズムが効率的にしなければならない: (a) と (b)、ミラー角度の欠陥のために正しい、サイドミラーのいずれかで表示されます (c) カメラによる歪みのアカウントに複数のアンテナの区別位置決め。
最後に、位置精度の向上、カルマン フィルター68、どのモデルの使用によって実現されている可能性があります、付加速度と加速度予測場所を制約するなど物理的な状態情報を活用します。ただし、精度の任意の利益を追加計算による速度の任意の削減に対して評価されるべき。
結論:
多くの昆虫は、積極的に彼らのローカル環境で揮発性化合物をサンプルにアンテナを使用します。触角の動きのパターンが洞察力昆虫のニオイの知覚とエアコン、有毒な化合物、遺伝子変異による影響があります。同様に、テングの動きは、ニオイの知覚とその変調を評価するために使用されています。しかし、急速に大量の高解像度の付属肢の動きデータを得ることは難しいされています。ここでは、プロトコルおよびソフトウェアはこのようなタスクを自動化するが記述されます。要約すると、私たちを作成して安価なハードウェアの組み合わせ、一般的な動物の準備、およびオープン ソースのソフトウェアを使用して急速に高解像度の昆虫の付属肢の動きのデータを取得する方法を示した。ソフトウェア、どのようにそれは速度と精度で人間の査定人よりも優れている、その出力データの分析および視覚化できる方法の出力が表示されます。

ほとんどの節足動物は、アンテナまたは時間と空間の環境手がかりと信号をサンプルする他の付属を移動します。動物は、アンテナを使用して化学揮発性物質や味覚および機械刺激1,2,3、4などの感覚的手がかりを検出することにより、環境を移動できます。昆虫、アンテナには化学揮発4,5,6に結合し、中央の脳領域1,7 嗅覚ニューロンを介してこの信号を転送の感覚受容器が含まれています。 ,8,9。昆虫は、については着信悪臭4,10,11を調節するためのアンテナ位置を調整できます。この変調は、積極的に情報に基づいた行動悪臭のプルーム12,13レスポンスを促進します。
そのテング14を拡張することによって、他の中のハエ (例えばミツバチとマルハナバチ)、Lepidopterans (蝶など) コガシラナガゴミムシ (例えばハエや蚊) など多くの昆虫フィードします。,15,16,17,18,19,20,21テング拡張子は確実に過去の様々 な記憶・学習タスク22,23,24,25,26,で使用されている。27,28,29,30,31。同様に、触角運動高時間・空間分解能の定量的評価は、刺激、動作、および動物の内部状態との関係に洞察力をもたらす可能性があります。確かに前作は触角の動きが環境の蜂蜜の蜂の追跡に関する情報の豊富な量を含める方法および学習32,33,34、動きを変更する方法を示しています。 35,36,37,38。
過去 10 年間の動物の行動を観察するための方法大幅加速された高解像度の動画カメラの進歩によってコンピューターの処理速度、およびマシン ビジョンのアルゴリズム。動物の行動のビデオを処理できる高度なソフトウェアと動物の検出、カウント、追跡、および場所の好み分析などのタスクを支援されていて、抽出関連測定39,40, 41,42,43,44,45,46,47。
これらの技術を持っても昆虫のアンテナとテングの動きの追跡を支援します。人間の査定人マウス カーソルを使用して手動でアンテナの位置を追跡することが可能です。ただし、このメソッドは、正確なことができますが、タスクは、時間と人間の不注意と疲労信頼性の低い結果になります。特別な装置および準備は、複雑なソフトウェアの必要性を減らすために使用できます。たとえば、1 つのセットアップ高速カメラを使用し、アンテナ移動48を追跡するアンテナの先端を塗装します。ユーザーは、49アンテナとテングの場所を検出するにソフトウェアを支援するためにビデオのキー フレームの選択を依頼することができます。別のアプローチはアンテナを識別するために 2 つの最大運動クラスターを検出が、テング場所50は検出されません。別のソフトウェア パッケージは、アンテナとテングの場所を検出することができますが、約 7.5 フレーム51、リアルタイムまたは長期的な観察研究のため禁止となる毎の処理時間の s。最後に、46のタスクを実行する (例えばEthoVision)、商用ソフトウェア パッケージをカスタマイズすることが可能であろうが、ライセンスとトレーニング コストは法外なすることができます。
ここで説明したメソッドと我々 は運動解析ソフトウェア41昆虫の触角と次の目標を持つテングの位置を追跡するための私たちの前の仕事を拡張: (1) 特別なハードウェアや複雑な動物の準備は不要 (2)フレームのリアルタイム処理 (30 fps またはより高速) 従来のコンピューターの使用、および (4) オープン ソースは、簡単に拡張可能なコード (3) 使いやすさに。
その結果、新規メソッドとSwarmSight 付加物の追跡を、オープン ソース ・ ソフトウェア アンテナのヒントの絵を必要としない、消費者の web カメラを使用してビデオ、および従来のコンピューター (30-60 fps でプロセスのビデオ フレームをキャプチャできます。図 1)。ソフトウェアは、ビデオのファイルを入力として受け取ります。ユーザーは、ビデオで昆虫の頭の位置を検索、処理、コンマ区切り値 (.csv) ファイルがアンテナとテングの場所に生成します。ソフトウェアは、FFmpeg ライブラリ52を使用して何百もの (ほとんどのデジタル カメラで生成された形式を含む) さまざまなビデオ フォーマットを読み取ることができます。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
図 1: 動物のセットアップやソフトウェアの出力。(A) A 蜂蜜蜂ハチの頭と体をハーネスで拘束されました。動物、ビデオカメラの前に光源が置かれた (B) 匂いは、上に、真空源は動物の後ろに配置されます。(C) アンテナ先端とテング変数ビデオから SwarmSight ソフトウェアによって検出されました。(D) ユーザーはアンテナ センサーを置いた動物とフィルターのパラメーターを調整します。ソフトウェアは、アンテナとテングの位置 (黄色のリング) を検出します。<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">この図の拡大版を表示するのには、ここをクリックしてください。</a>
まず、昆虫の体とその頭は、アンテナとテングの動きは容易に (図 1 a) を観察するようにハーネスで拘束されます。臭いの元は空気中から悪臭を削除し、感覚適応 (図 1 b) の潜在的な影響を最小限に抑えるために、後ろ置かれ真空のソースと虫の前に配置されます。従来の web カメラは三脚に昆虫の頭の上に配置されます。LED は、臭気が提示されていることを示すためのカメラのビュー内で配置できます。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
図 2: アンテナ座標系。X、Y の値は、左上隅が原点と X と Y の値の増加右下隅に向かって移動するときビデオの座標システムを使用します。角度は度頭 (通常臭気発生源) の前面を基準に表されます。値「0」は、動物の前に直接アンテナ鞭毛によって形成される行を指していることを示します。すべての角度は肯定的、反対方向 (例えば左に右の鞭毛ポイント) にアンテナ ポイントしたときを除く。<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
撮影後に、動画ファイルを開く SwarmSight ソフトウェアで、ユーザーが、昆虫の頭の上のアンテナ センサー ウィジェット (図 1、黒い正方形) の位置し、ビデオの再生を開始します。.Csv ファイルは、X、結果を保存すると、アンテナの Y 位置ヒント、アンテナ角度 (図 2)、頭とテングの前面を基準にして X, Y 位置。また、各アンテナ支配的なセクター指標が計算されます。各アンテナを取り巻く 5 つの 36 度セクターのほとんどのポイントを含んだメトリック ショー、アンテナをする可能性が高いと判断、アンテナ位置/角度測定基準がうるさいまたはそれ以外の場合問題となるビデオのため信頼できない場合に役立ちます。
簡単に言えば、ソフトウェアはモーション フィルター53とリラックスした洪水塗りつぶしアルゴリズム54のセットを使用して動作します。2 つのフィルターを使用可能性がありますアンテナ ポイントを見つけよう: 3 連続フレーム間差分フィルター41,55と中央背景差分56フィルター。色距離のしきい値フィルターは、テング ポイントの検出に使用されます。各フィルターのポイントの上位 10% が結合され、2 ピクセル (px) までギャップの連続したポイントを検査し洪水塗りつぶしアルゴリズムが極端なポイントを検索します。フレームのデコード、処理、およびレンダリング パイプラインおよびフィルターのデータ フローの割り当ては、ハイパフォーマンスを達成した最適化されたメモリを並列します。生の x と y 座標値、ソフトウェアによって生成された、3 フレーム ローリング メディアン フィルター57と後処理 (ディスカッションを参照してください)。完全なソース コードをダウンロードする手順は、オンライン58を見つけることができます。
下記アンテナ追尾の蜂蜜の蜂ハチを準備するためのプロトコルです。同様のプロトコルは、他の昆虫のアンテナ/テングの動きを追跡する使用できます。[結果] セクションで、ソフトウェア、人間の査定人と 5 つの匂いに触角運動評価実行の追跡ソフトウェアの出力の比較によって検出されるサンプル アンテナ トレース出力をについて説明します。

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

多くの科学的、農学上重要な昆虫は、揮発性化学物質の存在を検出し、給餌時に口吻を拡張アンテナを使用します。急速にアンテナとテングの自然な動きの高分解能測定を取得し、化学的、発達的、および遺伝的操作への応答でどのように変化を評価する能力は、昆虫の行動の理解を助けることができます。評価集計昆虫の群れや自然から動物のグループの動き研究所ビデオ ビデオ分析ソフトウェア SwarmSight を使用しての私たちの前の仕事を拡張することによって我々 は新しい、無料、フリー、オープン ソース ソフトウェア モジュール SwarmSight 付加物を開発従来のコンピューターを使用して従来の web カメラの動画から昆虫のアンテナとテングの位置のフレーム単位で追跡のため (SwarmSight.org) を追跡します。ソフトウェア処理人間の約 120 倍のフレームよりも人間の精度で実行し、触角のダイナミクスを取り込むことができます 30 フレーム/秒 (fps) の動画を使用して 15 Hz まで。ソフトウェアは、2 つの悪臭に蜂蜜の蜂の触角の応答を追跡し、臭気発生源の約 1 から重要な平均触角エディタジェームズを発見に使用されたにおいのプレゼンテーションの後の s。アンテナ位置密度熱マップのクラスターの形成とクラスターと角度依存性臭気濃度を意味を見ました。

次のセクションの例は、アンテナ角度のプロット制作ソフトウェアのデータ、ソフトウェアの精度と、蜂蜜の蜂のアンテナの動きのプレゼンテーションの影響を実験結果と人間の査定人の速度の比較から別の匂い。R ソフトウェア62,63は、解析を実行し、数値を生成に使用されました。ビデオ チュートリアルと同様に、分析および図生成の R コードはオンライン58を見つけることができます。
ソフトウェアの出力:
図 3は、オクテンの純粋なと 35 倍希釈鉱物油バージョンは、ミツバチの動画からソフトウェアによって検出アンテナ角度の 5 つのランダムに選択されたトレースを示していますきれいな空気と同様、ヘプタノールと。
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
図 3: 5 つは SwarmSight によって検出されたアンテナ角度の痕跡サンプルします。Y は、「0」が臭気発生源への動物の目の前で臭いの元から指す値が大きいほど、度数でアンテナ角度を示しています。ヘプタノール、オクテンときれいな空気と同様、鉱物油希釈バージョン x の 35 グレー 0 - 中に単一蜂蜜蜂の採餌する 3,600 ms windows を適用されました。左アンテナは赤、青色は右にマークされます。各条件から 1 つ 5 つのランダムな蜂は、5 つのプロットで描かれています。<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
ソフトウェアの検証:
ソフトウェアが、アンテナの場所を確実に検出できることを検証するため、アンテナの位置は、人間によってはソフトウェアによって位置と比較しました。2 つの人間の査定人が 425 のビデオ フレームにアンテナとテングのヒントを検索するように求めていた (〜 14 ビデオの s)。カスタム ソフトウェア モジュールはビデオ フレームを自動的に高度な評価者によってマーク付加物の場所を記録し、タスクで費やされた時間数を記録しました。人間とソフトウェア配置の値の間の対応の例の垂直座標トレースを重ね合わせ、ソフトウェアと 2 つの人間の検出された位置の 1 つのアンテナは、図 4 aに表示されます。2 評定マーク アンテナ位置の間の距離が計算され、「人間距離」の名前ソフトウェアによって検出アンテナの場所と人間の査定人によって検出された最も近い場所の間の距離が計算され、「ソフトウェアに近い人間距離」(図 4 b) の名前。
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
図 4: 人間の査定人との比較。(A) 2 つの人間の査定人と 425 のビデオ フレームである SwarmSight アンテナ ヒントです。人間の査定人でフレーム単位で左アンテナ先端 Y 座標を発見し、ソフトウェアを重畳しています。(B) 人間の査定人 (オレンジ) とソフトウェアと最も近い人間の評価値 (黒) との間の意見の相違の間のフレームで意見の相違 (ビデオのピクセル単位での距離) を重ね合わせた。(C) 人間対人間アンテナ先端場所 (オレンジ) と人間の位置 (ブラック) 対ソフトウェア。(D) ヒストグラム、人間対人間と人間のフレームで不一致距離対ソフトウェアの累積的な分布 (破線)。<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
人間間の距離は 10.9 px 55.2 内の平均で 95% のフレームのピクセル 81.6 の最大値を持っていたと px。ソフトウェアに近い人間距離は 8.0 平均 18.3 内 px ピクセル フレームの 95 %49.0 の最大値を持っていたと px (図 4、および図 4の距離ヒストグラムを参照してください)。5 px だったアンテナの幅の約。全体的にみて、人間間の距離はタスクの先頭フレームの小さい、タスクの 2 番目の半分に増えました。我々 は、これは評価者の疲労によるものと思われます。一方、ソフトウェアに近い人間の距離レベル タスクを通じて一定であった。
ソフトウェアの速度と人間の査定人との精度の比較:
人間は、0.52 フレーム/秒 (fps) の平均速度でアンテナの先端とテング場所を評価しました。人間の fps を推定する人間 (425) 評価フレームの合計数は彼らがタスクに費やした時間の合計で割った値 (873 s と 761 s)。ソフトウェアは、デュアルコア Windows 7 PC で平均 65 fps のフレームが評価されます。一緒に高い処理速度と精度に類似または人間の査定人より、単位時間あたり約 125 人間の査定人の作業を実行するソフトウェアを期待できます。
悪臭にアンテナ対応の検出:
示すために昆虫の動きで重要な行動の違いを検出する、プロトコルを使用できますが、2 つの別の匂いに 23 の女性ミツバチを服従します。純粋なオクテン ヘプタノール、2 つの匂いと制御ときれいな空気の鉱物油希釈液 x 35 は 4 のためのそれぞれが提示された s (合計の 5 つの条件)。動画、プロトコルを上で記述されている SwarmSight ソフトウェアで処理された、アンテナ角度分析 (図 5)。
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
図 5: アンテナ角度の手段と密度熱マップ 5 臭気条件。(A) 熱 (暗い中間領域) 中の前に、示すアンテナ角度密度のマップ前後ヘプタノール、空気、および女性の蜂蜜の蜂にオクテン匂いの管理 (n = 23)。黒い曲線は、フレームあたり平均アンテナ角度 (両方のアンテナ) です。水平線が前におい平均 (ベースライン) の角度です。最寄りのアンテナの場所 (下部のプロットで赤のクラスター) 純粋な臭気条件、および対応する変更の臭気発生源のクラスター平均アンテナの角度に注意してください。また臭気結論と臭気濃度依存性明らかな発症後「リバウンド」クラスターを注意してください (他の 4 つプロット クラスター場所を参照してください)。密度熱マップ カラー スケールはすべての条件で任意制服です。(B) 平均角度変更前におい平均 (誤差範囲 S.E.M)。空気を除いてすべては変更された重要な意味 (t-テストp &#60; 0.05)。<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
9 s セグメント 3 から成るビデオからビデオ フレームの 3.6 臭発症前に臭気のプレゼンテーションの s と 2.4 臭気の結論の後の s は、すべての個人および条件 (300 フレーム/セグメント) で整列しました。すべての個人の両方のアンテナの角度のフレーム単位の手段は条件ごとに計算され、「意味角度」(図 5 a、黒の曲線) と呼ばれます。条件ごとに個人間で臭発症前にフレームの平均アンテナ角度は計算され、前におい「ベースライン」(図 5 a、水平方向の細い線) と呼ばれます。
コントロール以外のすべての条件の平均角度は臭発症 (図 5 a、0 - 3,600 ms 地域で黒の曲線) 後一度 750 1,050 ms をピーク各ベースラインから増加しました。1 サンプルのtシリーズを使用してベースラインの平均に各条件のピーク臭プレゼンテーション平均の角度で時に個人の 2 アンテナ手段を比較することでベースラインからの平均変化 (図 5 b) 意義を調べた-テスト (シャピロ正規性検定すべての条件で重要ではない)。ベースラインから平均角度の変化は 26.9 ° の純粋なオクテン (臭発症後 750 ms でピークに平均)、0.2 m (990 ms) でオクテン 21.1 ° (1,050 ms) で純粋なヘプタノール 19.6 ° 19.3 ° (780 ms) で 0.2 M ヘプタノールおよび航空管制 (ないピーク) の 3.45 °。ベースラインから平均角度変更コントロールを除くすべての条件で有意 (ホルム調整p &#60; 0.05)。我々 は平均の角度では、希薄化後のニオイよりも純粋な匂いに対してベースラインに戻りかかります注意 (低域通過フィルター処理された平均の臭発症後 3,690 ms のベースラインに返される純粋な希釈ヘプタノール; オクテン、戻り時間 2,940 ms であった希薄化後のバージョンの純粋なと 3000 ms の 4,260 ms)。
ヒート マップを用いた可視化:
各条件のためアンテナ対応、アンテナ角度密度ヒート マップを視覚化するには、(図 5 a青赤背景) を生成します。アンテナ角度 10 1 つの条件ごとに s ビデオ セグメントにまたがっていたガウス カーネル (R パッケージ質量、kde2d 関数64) で畳み込まれます。青色の領域は、赤の領域を示すアンテナ角度の高密度アンテナ角度の低密度を表示します。純粋なオクテン条件図 5 aの下部のプロットでヒート マップは、アンテナの動作を示しています。
臭気を提示する前に、マップを示しています (t &#60; 0)、アンテナ角度密度は比較的すべての角度に均一に分散されます。約 1 s 臭発症 (t ~ 1,000 ms) 青と赤のクラスターのペアが表示された後。赤色で表示エリア、アンテナはより見つけられた頻繁によりエリア影青。青いクラスターは、アンテナがより小さい角度 (臭いの元は、0 度の方向に位置していた)、赤中を避ける傾向があることを示します (臭気発生源) からより大きい角をアンテナに優先クラスターを示します。赤のクラスターには、香りの提示が維持される、徐々 に消えます。約 1 が表示されます別の赤、強烈なクラスターの少ない s 臭の結論の後。私たちは「クラスターのリバウンド」2 番目赤クラスター名前を付けます。上記の平均の角度でリカバリ時間と一致して、我々 はリバウンド クラスターが先に現れるように見えるし、より純粋な臭いのより希薄臭気の強いことを注意してください。

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

このプロトコルは、従来のコンピューターを使用して従来の web カメラの動画から昆虫のアンテナとテングの位置のフレーム単位で追跡するため、斬新なソフトウェア、SwarmSight を使用するための手順を説明します。無料、フリー、オープン ソースのソフトウェアは、フレーム ・ プロセスが約 120 倍の人間よりも速くしよりも人間の精度で実行します。

SwarmSight: 昆虫アンテナの動きと共通の準備と従来のハードウェアを使用して吻伸展反射のリアルタイム追跡

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

ミツバチのテングザルの拡張レスポンスの古典的条件における行動薬理学（セイヨウミツバチ）

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

神経科学の研究とリアルタイム機能皮質マッピングのためのヒトElectrocorticographic（ECOG）信号を記録

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

昆虫に行動可塑性を調査するためのテングザルの拡張レスポンスプロトコル：基本、生物医学および農業研究への応用

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

リアルタイム電気生理学：プローブ神経ダイナミクスとその先にクローズド·ループ·プロトコルの使用

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

昆虫制御のロボット：移動ロボットプラットフォーム昆虫の匂い追跡能力を評価します

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

従来のUVレーザー共焦点顕微鏡を用いて細胞ストレスと死のトリガ

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

管理のリアルタイム fMRI ニューロフィード バック トレーニングのプロトコル

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

生細胞測定の嗅覚受容体活性化アッセイを用いた、リアルタイム キャンプ

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

気相で、嗅覚による嗅覚受容体活性化の In Vitro モニタリング リアルタイム

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

動物におけるリアルタイムfMRI脳マッピング

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...