モデルベース姿勢推定開発と新規ユーザートレーニングのためのBiplanar Videoradiographyデータセット

要約

この研究は、マーカーベースの方法で推定された骨の姿勢を含む in vivo データセットを示しています。ここには、モデルベースの姿勢推定の初期推定を改善し、オペレーター間のばらつきを減らすためにオペレーターをトレーニングする方法が含まれています。

要約

小さな足の骨の動きを測定することは、病理学的な機能喪失を理解するために重要です。バイプレーナービデオX線撮影は、 in vivo の骨の動きを測定するのに適していますが、各骨の回転と並進(姿勢)を推定する際には課題が生じます。ボーンの姿勢は、通常、マーカーベースまたはモデルベースの方法で推定されます。マーカーベースの方法は高精度ですが、侵襲性があるため、 in vivo では一般的ではありません。モデルベースの手法はより一般的ですが、ユーザー入力とラボ固有のアルゴリズムに依存しているため、現在は精度が低くなります。この研究は、ランニングおよびホッピング中にマーカーベースの方法で測定された、踵骨、距骨、および脛骨のポーズの珍しい in vivo データセットを示しています。マーカーベースの視覚的フィードバックを使用して、モデルベースの姿勢推定ソフトウェアに初期推測を改善するようにユーザーをトレーニングする方法が含まれています。新しいオペレーターは、モデルベースのソフトウェアのエキスパートユーザーと同様に、マーカーベースのポーズの回転から2°以内、平行移動から1mm以内の骨のポーズを推定することができ、以前に報告されたオペレーター間の変動性よりも大幅に改善されました。さらに、このデータセットは、他のモデルベースの姿勢推定ソフトウェアの検証にも使用できます。最終的に、このデータセットを共有することで、ユーザーがバイプレーナービデオX線撮影から骨の姿勢を測定できる速度と精度が向上します。

概要

小さな足の骨の動きを測定することは、病理学的な機能喪失を理解するために重要です。しかし、動的な足の骨の動きの測定は、骨と関節^1,2のサイズが小さく、密集した形状のため、困難です。バイプレーナービデオラジオグラフィー(BVR)技術は、ダイナミックな活動中に足や足首の小さな骨のin vivo 3次元(3D)運動を測定するのに適しています。BVRは、ダイナミックモーションのX線を可視光に変換するイメージインテンシファイアに結合された2つのX線源を使用して、関節運動学に関する洞察を提供します。足がキャプチャボリューム内を移動すると、ハイスピードカメラが画像をキャプチャします。画像は歪みがなく、キャリブレーションされたカメラ位置^3,4を使用してキャプチャボリュームに投影されます。次に、6自由度(6 d.o.f.)のボーンポーズ(位置が3 d.o.f.、向きが3 d.o.f.)が、マーカーベースまたはモデル^{ベースの方法3}を使用して推定されます。

マーカーベースまたはモデルベースの姿勢推定方法は、研究室や分野によって異なります。ダイナミックBVRポーズ測定のゴールドスタンダードは、関心のある骨に小さなタンタルマーカーを埋め込むことです^4,5。ポーズを推定するには、ボーンごとに最低3つのマーカーが必要であり、マーカーを追加すると精度が高くなります^5,6。この方法は、外科的移植を必要とし、マーカーが骨⁷に恒久的に埋め込まれるため、その侵襲性のためにin vivoではあまり一般的ではない。あるいは、モデルベースのトラッキングでは、コンピュータ断層撮影(CT)や磁気共鳴画像法などの他のイメージングモダリティからの体積情報を使用して、BVR画像2,3,8,9,10,11,12,13,14,15にモデルを再現します.次に、モデルは、画像に最も一致するように半手動で操作され(ロトスコーピング)、通常は初期推定としてのユーザー入力と相互相関最適化^{3、8、9、10、15}の組み合わせが使用されます。モデルベースの姿勢推定は侵襲性が低いため、より一般的ですが、処理時間が長くなり、ユーザー入力が必要になります。ロトスコーピングのプロセスは現在半手動であるため、オペレーター間の二乗平均平方根(RMS)誤差は0.83 mmから4.96 mm、および1つの軸に沿ってまたは1軸あたり0.58°から10.29°の範囲であるため、ラボ固有のソフトウェアでオペレーターを確実にトレーニングする必要があります¹。さらに、モデルマッチングアルゴリズムは改善されていますが、可能な限りin vivo条件に近い実験パラダイムを使用した検証が必要です。

モデルベースの姿勢推定の精度は、多くの場合、マーカーベースのメトリックに対して評価されます。例えば、マーカーが埋め込まれたヒトの死体の足は、シミュレートされた運動位置^13、14、16を通じて移動させられた。次に、キャプチャされたBVR画像は、モデルベースのロトスコープ法に供給され、精度(バイアスと精度)についてマーカーベースのメトリックと比較されます。静止死体足の使用は貴重なアプローチですが、真のin vivo骨ポーズの精度を評価するには限界があります。たとえば、死体の足では関節の位置は比較的一定であり、筋肉活動や生体内負荷はありません。したがって、多様な自発運動課題における関節運動の限界を表していない可能性があります。関節姿勢の変化は、BVR画像のオクルージョンを変化させ、これは小さくて密集した足の骨のポーズを推定する際の測定誤差の原因である¹³。さらに、画像マッチングアルゴリズムを使用する場合、BVR画像にマーカーが存在すると、結果に偏りが生じる可能性があります。グループは、コンピュータ断層撮影(CT)デジタルイメージングおよび医学における通信(DICOM)画像^9,14,16からマーカーを削除しましたが、バイプレーナービデオX線画像¹⁶からもマーカーが除去されることはまれです。

この研究は、足と足首の骨にマーカーが埋め込まれたin vivoでホッピングして走る参加者のオープンソースのBVRデータセットを示しています(図1)。脛骨、距骨、および踵骨の in vivo 骨運動に対するマーカーベースの姿勢推定が提供されます。マーカーは、モデルベースの追跡精度の評価中に導入されるバイアスを制限するために、X線画像とCT画像の両方から削除されました。このデータセットは、モデルベースの姿勢推定ソフトウェアの精度を評価し、半手動プロセスの初期姿勢推定の選択を改善することを目的としています。BVR画像処理パイプラインの速度と精度の向上を目指す個人や、初期姿勢推定におけるオペレーター間のばらつきを低く抑えたいラボに最適です。

図1:提供されたバイプレーナービデオラジオグラフィー(BVR)データセットの概要。 移植されたマーカーは、骨の姿勢推定のゴールドスタンダードとして in vivo で追跡されます。マーカーは、モデルベースの追跡のバイアスを防ぐために、BVR画像とコンピューター断層撮影スキャンからデジタル的に削除されました。モデルベースのトラッキングソフトウェアから推定された姿勢は、マーカーベースのトラッキングのゴールドスタンダードと比較することができます。マーカーベースの姿勢推定は、モデルベースの追跡のための初期骨姿勢推定を改善するために、新しいオペレーターをトレーニングするためにも使用できます。 この図の拡大版を表示するには、ここをクリックしてください。

プロトコル

実験プロトコルは、クイーンズ大学健康科学および提携教育病院研究倫理委員会によって承認されました。参加者は、データ収集に参加する前にインフォームド コンセントを与えました。

1. 患者の準備とデータセットの生成

注: 参加者 (男性、49 歳、83 kg、身長 1.75 m) には、以前に踵骨 (3 マーカー)、距骨 (4 マーカー)、および脛骨 (5 マーカー; 図1)。

1. ピクセル サイズが 0.500 mm 以下、スライスの厚さが 0.625 mm 以下の最大足底屈曲した足首の姿勢で、参加者の足に金属アーティファクト低減アルゴリズム (金属インプラントによる画像の歪みを減らすため) を使用して CT スキャンを取得します。
   注:ここでは、参加者の右足を0.441 mm x 0.441 mm x 0.625 mmの解像度でスキャンしました。マーカーの位置は^、骨4内の特定の解剖学的位置に配置されていません。代わりに、それらは骨⁵全体に分布している。
2. バイプレーナービデオラジオグラフィーを収集し、データを詳細に処理する方法については、¹⁷を参照してください。簡単に言うと、参加者に希望の動きを完了するように依頼し、開始位置をキュレーションして、足がバイプレーナービデオX線撮影ボリュームに着地するようにします。キャリブレーションオブジェクトと歪み補正グリッドを使用して、カメラの位置を特定し、画像の歪みを補正します^{(それぞれ18})。
   注:この研究の参加者は、2つの異なる動きの試験を完了しました。彼らは108bpmのメトロノームに飛び乗り、ボリュームの中をゆっくりとジョギングしました。画像は250Hz、シャッタースピード1111μsで連続撮影し、X線装置は70kVと100mAに設定しました。
3. 3D医用画像処理ソフトウェアを使用して、マーカーを個別にセグメント化します。ラスター グラフィックス エディターのコンテンツ対応塗りつぶしアルゴリズムと既知のマーカー位置を使用して、DICOM イメージからマーカーを削除します。¹⁷に示すように、マーカーレス画像のセグメンテーションにより、ボーンのパーシャルボリュームとテッセレーションされたメッシュを作成します。パーシャルボリュームとメッシュの両方を位置合わせし、CT空間に保存します。
4. フレームごとに、XMALabの各マーカーのフィルタリングされていないx-y画像座標を表にし、¹⁸をエクスポートします。MATLAB のコンピューター ビジョン ツールボックスを使用して 3D 座標を三角測量します。最小二乗法¹⁹を用いて、X線空間の3Dマーカー位置をCT空間の球体適合重心に一致させることにより、姿勢を推定する。ラスターグラフィックエディタで同じアルゴリズムを使用して、X線画像内のマーカーを削除し、追跡の準備をします。

2. データセットとコードにアクセスする

1. データセットはこちらからダウンロードしてください。各試行のBVR画像とキャリブレーションファイル、および.tra形式で保存された参照姿勢の推定値があります(図2)。https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased からコード パッケージをダウンロード/複製します。

図2:JOVE_BVR_Foot_ModelAndMarkerBasedトレーニングパッケージのデータツリー。 フォルダは黒いボックス、コードは薄い灰色のボックス、ファイルの説明は暗い灰色のボックスに表示されます。 この図の拡大版を表示するには、ここをクリックしてください。

3. モデル追跡アルゴリズムの精度を評価する

1. 姿勢の推定値を .tra ファイルとしてトライアルの参照フォルダーに保存します。ボーン空間から X 線空間へのポーズを 1 行 x 16 列の形式で記述し、各行をフレームに対応し、4 x 4 のポーズ行列を [1 列目、2 列目、3 列目、4 列目] として書き出すように .tra ファイルを配置します。
   注:このデータセットでは、骨スペースはCTスペースと同義です。
2. 姿勢の推定値を確認するには、コンピューティング プラットフォームでスクリプト verifyAssessmentPoses.m を開き、[ 実行] をクリックします。プロンプトの説明に従ってファイルをロードします。このスクリプトは、モデルベースとマーカーベースの姿勢推定の間のらせん軸を計算し、追跡データの各フレームの回転と平行移動の差を返します。

4. 新しいオペレーターのトレーニング

注:このセクションでは、新しいオペレーター向けのフィードバック付きのトレーニングについて説明します。ここでは、Autoscoperがモデルベースの姿勢推定ソフトウェアとして選択されていますが、他のソフトウェアを代わりに使用することもできます。

1. 姿勢推定ソフトウェアの最新バージョンを https://simtk.org/projects/autoscoper からダウンロードします。
2. ローカルの BVR ファイルを見つけるには、テキスト エディター (.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg) でファイルを開きます。ソフトウェアは、ポインタファイル(.cfg)を使用してファイルを検索します。ディレクトリを変更して、適切なローカルファイルに移動するようにします。ファイルを保存して閉じます。
3. BVR画像とカメラ情報を読み込むには、姿勢推定ソフトウェアを開き、[ トライアルの読み込み]をクリックします。前の手順で保存したポインタ構成ファイルに移動し、[ 開く] をクリックします。
4. 追跡するには、Akhbari et^{al 17} (モデルベースの追跡)のプロトコルに従います。簡単に言うと、踵骨の位置と向きに満足するまで、骨の軸をクリックしてドラッグすることにより、骨を回転および平行移動します。キーボードの S キーを押して、踵骨(cal)の現在のフレームを保存します。
   注:フィルター設定は\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\に含まれており、Akhbari et^{al 17}に示すようにフィルタリングに使用できます。
5. ファイルを保存するには、「 トラッキングの保存」をクリックします。[試用番号]_[被験者番号]_[試用名]_[3文字のボーンコード].tra(例:T0019_SOL001A_jog0001_cal.tra)として保存します。設定をcurrent、matrix、column、comma、none、mm、degreesとしてエクスポートします。
   注:脛骨と距骨の3文字の骨コードは、それぞれtibとtalです。
6. トラッキング精度のファイルを作成するには、コンピューティングプラットフォームを開き、コードフォルダ内の animateBonesWithReferences.m スクリプトを実行します。ダイアログボックスの要求に応じて、トレーニングパッケージ内のフォルダに移動します。
   注: animateBonesWithReferences.m コードは、マーカーベースのデータからポーズをフィードバックとして提供し、新しいオペレーターのトラッキングを改善するためのトレーニングに特化したコードです。
7. 視覚化ソフトウェアを https://github.com/DavidLaidlaw/WristVisualizer/tree/master からインストールします。トラッキングを視覚化するには、視覚化ソフトウェアで手順 4.6 で作成した .pos ファイルを開きます。そのファイルの場所は、コンピューティングプラットフォームのコマンドウィンドウにあります。
8. トラッキングされたボーン (灰色) と参照ボーンの位置合わせを確認します。緑色はポーズが回転と平行移動のしきい値内にあることを示し、赤色はしきい値外であることを示します。すべてのフレームが緑色になるまで、追跡と視覚化を続けます。必要に応じて、animateBonesWithReferences.m スクリプトの 10 行目と 11 行目でしきい値 (phi - rotation、trans - translation) を変更します。
   注:参照ボーンが赤の場合(図3A)、ヘリカル軸を使用して測定したマーカーベースのポーズから1 mmまたは2°以上離れていることを意味します。緑色で、視覚的に妥当な場合、そのフレームは十分に追跡されています(図3B)。
9. 足首複合体の他の骨を追跡するには、距骨と脛骨について手順4.4から4.8を繰り返します。視覚化ソフトウェアを使用して、ボーンが衝突していないことを確認します。
10. 評価を完了するには、評価試行と呼ばれる試行で脛骨、距骨、および踵骨を追跡して視覚化します。
    1. コンピューティングプラットフォームを開き、コード animateBonesGeneral.m を実行します。ダイアログボックスの要求に応じて、トレーニングパッケージ内のフォルダに移動します。視覚化ソフトウェアの.posファイルを使用して、ボーンのポーズを確認します。このコードは、骨の 3D 視覚化のための他の試行に一般化できます。
       注:真のマーカーベースのポーズは使用できなくなります。灰色のボーンのみが表示されます。
11. 姿勢の推定値を評価するには、コンピューティング プラットフォームでスクリプト verifyAssessmentPoses.m を開き、[ 実行] をクリックします。このスクリプトは、モデルベースとマーカーベースの姿勢推定の間のらせん軸を計算し、追跡データの各フレームの回転と平行移動の差を返します。これにより、animateBoneswithReferences.m と同じグラフが生成されますが、アニメーションは生成されません。
12. すべてのデータ ポイントが、回転と平行移動の両方で選択したしきい値 (平坦な線) を下回っていることを確認します。必要に応じて、結果を.csvファイルに保存します。

図3:許容可能なトラッキングと許容できないトラッキングの視覚化。 (A)モデルベースのトラッキングを使用して追跡された踵骨(灰色、灰色の矢印でも示される)で、マーカーベースの姿勢推定(赤、赤い矢印でも示される)のポーズと十分に一致しないもの。(B)マーカーベースの姿勢推定から姿勢と十分に一致する踵骨。マーカーで追跡された踵骨は、結果として緑色で表示されます(灰色と緑色の矢印でも示されます)。 この図の拡大版を表示するには、ここをクリックしてください。

結果

2人の新しいオペレーターと1人の専門家がモデルベースのトレーニングを完了しました。評価試験の41フレームは、モデルベースの追跡の習熟度を測定しました(図4)。オペレーターの姿勢推定は、通常、設定されたしきい値をはるかに下回っていました。骨を横切る回転の平均バイアス(範囲)の中央値は、踵骨が0.75°(0.69°から0.85°)、距骨が0.40°(0.37°から0.46°)、脛骨が0.89°(0.76°から1.07°)でした。平均中央値並進バイアスは、踵骨が0.10 mm(0.05 mm〜0.16 mm)、距骨が0.31 mm(0.22 mm〜0.41 mm)、脛骨が0.33 mm(0.27 mm〜0.37 mm)でした。これらの結果は、チュートリアルが設定された許容範囲内でオペレーターをトレーニングするのに効果的であることを示唆しています。

図4:新しいオペレーターと専門家のための回転と翻訳のバイアス。 バイオリンプロット²⁰ は、(A)(B)踵骨、(C)(D)距骨、および(E)(F)脛骨の2人の新しいオペレーターと1人の専門家について、モデルベースとマーカーベースのポーズ推定の間の(A)(C)(E)回転と(B)(D)(F)平行移動のバイアスを示しています。評価試行の 41 フレームすべてがデータ ポイントとして表示され、中央値 (白い円)、四分位範囲 (太い縦線)、平均値 (太い横線) が表示されます。2°と1mmの黒い線は、選択したしきい値を表しています。(E) の New Operator 2 のしきい値から 6 フレームは外れています。 この図の拡大版を表示するには、ここをクリックしてください。

ある新人オペレーターは、脛骨トラッキングで2°回転の閾値を6フレーム上回っていました。フレームは、verifyAssessmentPoses.m で生成されたグラフの 1 つを使用して識別されました(図 5)。これらの 6 つのフレームは、ビューを横切るもう一方の足による脛骨の閉塞により、追跡がより困難になります。

図5:スタンスフェーズ上の各フレームの回転バイアス。 2人目の新人オペレーターが、(A)踵骨、(B)距骨、(C)脛骨について、ランニングのスタンスフェーズの一部で回転トラッキングを行った例。(C)の赤いボックスは、エラーの多いフレームを示しています。(D)左の代表的な画像は、前脛骨のオレンジと青の線の整列のおおよその違いを示しています(オレンジと黒の矢印で示されています)。右の画像は、よく追跡された脛骨の例を示しています(白い矢印で示されています)。 この図の拡大版を表示するには、ここをクリックしてください。

補足ファイル。このファイルをダウンロードするには、ここをクリックしてください。

ディスカッション

正確なモデルベースの姿勢推定は、関節運動学と骨格運動を測定するための基本です。姿勢推定の以前の検証方法は、マーカーが埋め込まれた死体標本に基づいており、 in vivo 負荷や関節可動域は含まれていませんでした。このマーカーベースの姿勢推定によるランニングとホッピングの in vivo データセットにより、モデルベースのアルゴリズムの検証が可能になります。さらに、データセットは新しい演算子をトレーニングするように編成されているため、ほとんどのモデルベースのアルゴリズムに必要な初期推定値が設定された許容範囲内に収まるため、演算子間のばらつきが減少します。MATLAB コードは、ボーンをアニメーション化でき、ポーズ品質のフィードバックが自動的に生成されるように提供されています。

新しいオペレーターは、2°の回転と1mmの並進の許容範囲内で訓練を受けることに成功しました。これらの制限は、報告されているオペレーター間の信頼性よりもはるかに低く、5 mm、10°¹にも及ぶ可能性があります。ただし、選択した許容誤差は、他の無傷の死体足の実験のRMS誤差(0.59 mmおよび0.71°¹⁶)の2倍から4倍です。許容範囲には RMS 誤差の上限範囲が含まれていますが、それでも報告されたオペレーター間の変動性よりも大幅に改善されています。さらに、 in vivo 条件は、骨、軟部組織の閉塞、およびX線ボリュームを介した高速移動のアーチファクトの変動により、静的な足の姿勢よりも追跡が困難です。新しいオペレーターは、許容範囲内で試験をロトスコープすることに成功し、 図 5C に示されている 6 つのフレームを除いて、専門家の結果に近かった。したがって、設定された許容誤差は、報告されたオペレーター間の変動性よりも改善されており、結果は、この方法がその許容範囲内で新しいオペレーターを正常にトレーニングできることを示しています。

このプロトコルの重要なステップは、選択したソフトウェアでのロトスコーピングと3Dでの視覚化の間の反復です。この反復は、ボーンが空間でどのように向き付けられているかを理解するために重要です。これにより、オペレーターは、ボーンのポーズが生物学的に実現可能であり、他のボーンと衝突していないかどうかを確認できます。ロトスコーピングとビジュアライゼーションを交互に繰り返し行うことで、最終的なボーンポーズの推定品質が向上し、最適化エラーを発見するのに役立ちます。

トレーニングセット、特に評価トライアルには、新しいオペレーターの限界を押し広げるための挑戦的な追跡シナリオが含まれています。このコレクションのX線源とイメージインテンシファイアの位置により、揺れる足が視界を遮り、骨モデルの整列に課題が生じました。回転しきい値を数フレーム上回っている新しいオペレーターは、反対側の足が視界を遮る影響を受けました。フィルター設定の変更や、オクルージョンの直前と直後のフレームのロトスコープなどの戦略は、これらの問題を軽減するのに役立ちます。さらに、DICOMと姿勢推定ソフトウェアでは座標系の向きが十分に異なり、脛骨の角度が反転します。オペレーターは、この課題を克服するために、この時点ですべてのフレームを追跡する必要があります。これらのシナリオは、データ収集では珍しくなく、自動モデルベースの姿勢推定が将来ナビゲートすべき課題を表しているため、このデータセットに貴重な追加要素となります。

このプロトコルには一定の制限があります。まず、マーカーベースの姿勢推定とモデルベースの姿勢推定の精度の差は通常、^2、3、10の桁違いではないため、マーカーベースの姿勢推定をゴールドスタンダードとして宣言することは議論の余地があります。しかし、 in vivo コレクションで生じるBVR画像の視覚的変化(すなわち、運動アーチファクト、軟部組織、骨の咬合)は、マーカーベースの方法と比較して、モデルベースの姿勢推定にエラーを誘発する可能性が高いと思われます。この仮説を確証するためには、さらなる実験が必要です。さらに、このデータセットはすべての双平面X線コレクションをキャプチャするわけではありません。ボーンが異なる相対位置にあるようなカメラの向きは、ボーンの特徴の目立つ度を変え、それに応じてポーズマッチングアルゴリズムのコスト関数に影響を与える可能性があります。さらに、これらの特徴は、画像フィルタ設定^15、17の影響を受け得る。したがって、このデータセットは必ずしもBVRの精度の一般化可能な評価ではありません。むしろ、ユーザーが適切な初期姿勢推定値を入力するためのトレーニングや、手動でロトスコープされた初期推定が不要になるまでモデルベースの姿勢推定アルゴリズムを改善するためのツールなのです。

資料

Name	Company	Catalog Number	Comments
Autoscoper	Brown University		https://simtk.org/projects/autoscoper; pose estimation software
Code	Queen's University		https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker Based
Content-Aware Fill algorithm, Photoshop	Adobe
Dataset	Queen's University		Download here
MATLAB	Mathworks	n/a	computing platform
Mimics	Materialise, Belgium		3D image processing software
Revolution HD	General Electric Medical Systems		CT scan device used
WristVisualizer	Brown University		https://github.com/DavidLaidlaw/WristVisualizer/tree/master; Visualization software
XMALab	Brown University		https://bitbucket.org/xromm/xmalab/src/master/