Conjunto de dados de videoradiografia biplanar para desenvolvimento de estimativa de pose baseada em modelo e treinamento de novos usuários

Resumo

Este trabalho apresenta um conjunto de dados in vivo com poses ósseas estimadas com métodos baseados em marcadores. Um método é incluído aqui para treinar os operadores a melhorar suas estimativas iniciais para estimativa de pose baseada em modelo e reduzir a variabilidade entre operadores.

Resumo

Medir o movimento dos pequenos ossos do pé é fundamental para entender a perda patológica da função. A videorradiografia biplanar é adequada para medir o movimento ósseo in vivo , mas surgem desafios ao estimar a rotação e a translação (pose) de cada osso. A pose do osso é normalmente estimada com métodos baseados em marcadores ou modelos. Os métodos baseados em marcadores são altamente precisos, mas incomuns in vivo devido à sua invasividade. Os métodos baseados em modelos são mais comuns, mas atualmente são menos precisos, pois dependem da entrada do usuário e de algoritmos específicos do laboratório. Este trabalho apresenta um raro conjunto de dados in vivo das posturas do calcâneo, tálus e tíbia, medidos com métodos baseados em marcadores durante a corrida e o salto. Um método está incluído para treinar os usuários a melhorar suas suposições iniciais em software de estimativa de pose baseado em modelo, usando feedback visual baseado em marcadores. Novos operadores foram capazes de estimar as poses ósseas dentro de 2 ° de rotação e 1 mm de translação da pose baseada em marcadores, semelhante a um usuário experiente do software baseado em modelo e representando uma melhoria substancial em relação à variabilidade interoperadora relatada anteriormente. Além disso, esse conjunto de dados pode ser usado para validar outro software de estimativa de pose baseado em modelo. Em última análise, o compartilhamento desse conjunto de dados melhorará a velocidade e a precisão com que os usuários podem medir as poses ósseas a partir de videoradiografia biplanar.

Introdução

Medir o movimento dos pequenos ossos do pé é fundamental para entender a perda patológica de função. No entanto, a medição dinâmica do movimento ósseo do pé é desafiadora devido ao pequeno tamanho e à configuração densamente compactada dos ossos e articulações ^1,2. A tecnologia de videoradiografia biplanar (BVR) é adequada para medir o movimento tridimensional (3D) in vivo dos pequenos ossos do pé e tornozelo durante atividades dinâmicas. O BVR fornece informações sobre a artrocinemática usando duas fontes de raios-x acopladas a intensificadores de imagem, que convertem raios-x de movimento dinâmico em luz visível. À medida que o pé se move pelo volume de captura, as câmeras de alta velocidade capturam as imagens. As imagens não são distorcidas e projetadas no volume de captura usando posições de câmera calibradas ^3,4. Os seis graus de liberdade (6 d.o.f.) postura óssea (3 d.o.f. para posição e 3 d.o.f. para orientação) são então estimados usando métodos baseados em marcadores ou baseados em modelo³.

Os métodos de estimativa de pose baseados em marcadores ou modelos variam entre laboratórios e disciplinas. O padrão-ouro da medição dinâmica da postura da BVR é a implantação de pequenos marcadores de tântalo no osso de interesse ^4,5. Um mínimo de três marcadores por osso é necessário para estimar a postura, com marcadores adicionais levando a uma maior precisão ^5,6. Este método é menos comum in vivo devido ao seu caráter invasivo, pois requer implante cirúrgico, e os marcadores são então incorporados permanentemente no osso⁷. Alternativamente, o rastreamento baseado em modelo usa informações volumétricas de outras modalidades de imagem, como tomografia computadorizada (TC) ou ressonância magnética, para recriar o modelo nas imagens BVR 2,3,8,9,10,11,12,13,14,15 . O modelo é então manipulado semimanualmente para melhor corresponder às imagens (rotoscopia), normalmente usando uma combinação de entrada do usuário como estimativa inicial e otimização correlativa cruzada 3,8,9,10,15. A estimativa de pose baseada em modelo é menos invasiva e, portanto, mais comum, mas tem um tempo de processamento maior e requer entrada do usuário. Como o processo de rotoscopia é atualmente semimanual, ainda é necessário treinar de forma confiável os operadores no software específico do laboratório, pois os erros quadráticos médios (RMS) entre operadores podem variar de 0,83 mm a 4,96 mm e de 0,58° a 10,29° ao longo ou em torno de um único eixo¹. Além disso, os algoritmos de correspondência de modelos estão melhorando, mas requerem validação usando paradigmas experimentais que são o mais próximo possível das condições in vivo.

A precisão das estimativas de pose baseadas em modelo é frequentemente avaliada em relação a métricas baseadas em marcadores. Por exemplo, pés de cadáveres humanos implantados com marcadores foram movidos através de posições locomotoras simuladas 13,14,16. As imagens BVR capturadas são então alimentadas para o método de rotoscopia baseado em modelo e comparadas com as métricas baseadas em marcadores para exatidão (viés e precisão). Embora o uso de um pé de cadáver estático seja uma abordagem valiosa, ele tem limitações na avaliação da verdadeira precisão da pose óssea in vivo. Por exemplo, as posições articulares são relativamente constantes em um pé de cadáver com ausência de atividade muscular e cargas in vivo. Assim, pode não representar os limites do movimento articular em diversas tarefas locomotoras. Variações na postura articular alteram a oclusão nas imagens BVR, o que é uma fonte de erro de medição ao estimar poses de osso do pé pequenas e densamente compactadas¹³. Além disso, ao usar algoritmos de correspondência de imagens, a presença de marcadores nas imagens BVR provavelmente influenciaria os resultados. Embora os grupos tenham removido os marcadores das imagens de tomografia computadorizada (TC) digital imaging and communications in medicine (DICOM) ^9,14,16, eles também são removidos ocasionalmente das imagens de videoradiografia biplanar¹⁶.

Este trabalho apresenta um conjunto de dados BVR de código aberto de um participante pulando e correndo in vivo, que tem marcadores implantados nos ossos do pé e tornozelo (Figura 1). A estimativa de pose baseada em marcadores para o movimento ósseo in vivo da tíbia, tálus e calcâneo é fornecida. Os marcadores foram removidos das imagens de raio-x e tomografia computadorizada para limitar qualquer viés introduzido durante a avaliação da precisão do rastreamento baseado em modelo. Este conjunto de dados destina-se a avaliar a precisão de qualquer software de estimativa de pose baseado em modelo e a melhorar a seleção de estimativas de pose iniciais para processos semimanuais. É mais apropriado para indivíduos que visam melhorar a velocidade e a precisão do pipeline de processamento de imagens BVR e para laboratórios que desejam baixa variabilidade entre operadores na estimativa inicial da pose.

Figura 1: Visão geral do conjunto de dados de videoradiografia biplanar (BVR) fornecido. Os marcadores implantados são rastreados in vivo como o padrão-ouro para estimativa da pose óssea. Os marcadores foram removidos digitalmente das imagens BVR e das tomografias computadorizadas para evitar vieses no rastreamento baseado em modelo. As poses estimadas a partir de qualquer software de rastreamento baseado em modelo podem ser comparadas ao padrão-ouro de rastreamento baseado em marcadores. A estimativa de pose baseada em marcadores também pode ser usada para treinar novos operadores para melhorar sua estimativa inicial de pose óssea para rastreamento baseado em modelo. Clique aqui para ver uma versão maior desta figura.

Protocolo

Os protocolos experimentais foram aprovados pelo Conselho de Ética em Pesquisa em Ciências da Saúde da Queen's University e Hospitais Universitários Afiliados. O participante deu consentimento informado antes da participação na coleta de dados.

1. Preparação do paciente e geração de conjuntos de dados

NOTA: O participante (masculino, 49 anos, 83 kg, 1,75 m de altura) tinha vários marcadores de tântalo de 0,8 mm de diâmetro previamente implantados no calcâneo (3 marcadores), tálus (4 marcadores) e tíbia (5 marcadores; Figura 1).

1. Adquira uma tomografia computadorizada com um algoritmo de redução de artefato de metal (para reduzir a distorção da imagem devido a implantes de metal) no pé do participante em uma postura de tornozelo flexionado ao máximo com um tamanho de pixel de 0,500 mm ou menos e uma espessura de corte de 0,625 mm ou menos.
   NOTA: Aqui, o pé direito do participante foi escaneado com resolução de 0,441 mm x 0,441 mm x 0,625 mm. As localizações dos marcadores não são colocadas em locais anatômicos específicos dentro do osso⁴; em vez disso, eles são distribuídos por todo o osso⁵.
2. Para métodos de coleta de videoradiografia biplanar e processamento detalhado dos dados, consulte¹⁷. Resumidamente, peça ao participante para completar o movimento desejado, com sua posição inicial selecionada de forma que seu pé pouse no volume da videoradiografia biplanar. Use um objeto de calibração e grades de não distorção para localizar as câmeras e não distorcer as imagens, respectivamente¹⁸.
   NOTA: O participante deste estudo completou testes de dois movimentos diferentes. Eles pularam para um metrônomo a 108 bpm e correram lentamente pelo volume. As imagens foram capturadas continuamente a 250 Hz com uma velocidade de obturador de 1111 μs, e o sistema de raios-x foi ajustado para 70 kV e 100 mA.
3. Segmente individualmente os marcadores usando o software de processamento de imagens médicas 3D. Usando o algoritmo de preenchimento sensível ao conteúdo no editor de gráficos raster e os locais de marcadores conhecidos, remova os marcadores das imagens DICOM. Crie os volumes parciais ósseos e as malhas tesseladas por segmentação das imagens sem marcadores, conforme mostrado em¹⁷. Alinhe os volumes parciais e as malhas e armazene-os no espaço CT.
4. Para cada quadro, tabule as coordenadas de imagem x-y não filtradas de cada marcador no XMALab e exporte-o¹⁸. Triangule as coordenadas 3D usando a caixa de ferramentas de visão computacional no MATLAB. Estime a pose combinando as posições dos marcadores 3D no espaço de raios-x com os centróides de ajuste de esfera no espaço de TC usando uma abordagem de mínimos quadrados¹⁹. Use o mesmo algoritmo no editor de gráficos raster para remover os marcadores nas imagens de raio-x para prepará-las para rastreamento.

2. Acesse o conjunto de dados e o código

1. Baixe o conjunto de dados aqui. Existem imagens BVR e arquivos de calibração para cada ensaio, bem como estimativas de pose de referência salvas no formato .tra (Figura 2). Baixe/clone o pacote de código de: https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased.

Figura 2: Árvore de dados do pacote de treinamento JOVE_BVR_Foot_ModelAndMarkerBased. As pastas são mostradas em caixas pretas, o código é mostrado em caixas cinza claro e as descrições dos arquivos estão contidas em caixas cinza escuro. Clique aqui para ver uma versão maior desta figura.

3. Avalie a precisão do algoritmo de rastreamento de modelo

1. Salve as estimativas de pose como um arquivo .tra na pasta de referência da avaliação. Organize o arquivo .tra com a pose do espaço ósseo ao espaço de raio-x escrita em um formato de 1 linha x 16 colunas, com cada linha correspondendo ao quadro e a matriz de pose 4 x 4 escrita como [primeira coluna, segunda coluna, terceira coluna e quarta coluna].
   NOTA: O espaço ósseo é sinônimo de espaço CT neste conjunto de dados.
2. Verifique as estimativas de pose abrindo o script verifyAssessmentPoses.m na plataforma de computação e clicando em Executar. Carregue os arquivos conforme descrito pelos prompts. O script calculará o eixo helicoidal entre a estimativa de pose baseada em modelo e marcador e retornará uma diferença de rotação e translação para cada quadro de dados rastreados.

4. Treinamento de novos operadores

NOTA: Esta seção descreve o treinamento com feedback para um novo operador. Aqui, o Autoscoper é o software de estimativa de pose baseado em modelo selecionado, mas outro software pode ser usado como substituto.

1. Baixe a versão mais recente do software de estimativa de pose em: https://simtk.org/projects/autoscoper.
2. Para localizar arquivos BVR locais, abra o arquivo em um editor de texto (.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg). O software usa um arquivo de ponteiro (.cfg) para localizar arquivos. Modifique os diretórios para que eles levem aos arquivos locais apropriados. Salve o arquivo e feche-o.
3. Para carregar as imagens BVR e as informações da câmera, abra o software de estimativa de pose e clique em Carregar avaliação. Navegue até o arquivo de configuração do ponteiro salvo na etapa anterior e clique em Abrir.
4. Para rastrear, siga o protocolo em Akhbari et al¹⁷ (rastreamento baseado em modelo). Em resumo, gire e translade o osso clicando e arrastando os eixos no osso até ficar satisfeito com a posição e orientação do calcâneo. Pressione a tecla S no teclado para salvar o quadro atual para o calcâneo (cal).
   NOTA: As configurações de filtro estão incluídas em \JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\ que pode ser usado para filtragem conforme mostrado em Akhbari et al¹⁷.
5. Para salvar os arquivos, clique em Salvar rastreamento. Salve o arquivo como [Número do teste]_[Número do assunto]_[Nome do teste]_[Código ósseo de 3 letras].tra (por exemplo, T0019_SOL001A_jog0001_cal.tra) no diretório desejado. Exporte as configurações como atual, matriz, coluna, vírgula, nenhuma, mm, graus.
   NOTA: Os códigos ósseos de três letras para a tíbia e o tálus são tib e tal, respectivamente.
6. Para criar arquivos para precisão de rastreamento, abra a plataforma de computação e execute o script animateBonesWithReferences.m na pasta de código. Navegue até as pastas dentro do pacote de treinamento, conforme solicitado pelas caixas de diálogo.
   NOTA: O código animateBonesWithReferences.m é um código especializado para treinamento que fornece as poses de dados baseados em marcadores como feedback para melhorar o rastreamento do novo operador.
7. Instale o software de visualização de: https://github.com/DavidLaidlaw/WristVisualizer/tree/master. Para visualizar o rastreamento, abra o arquivo .pos criado na etapa 4.6 no software de visualização; Seu local de arquivo será na janela de comando da plataforma de computação.
8. Verifique o alinhamento do osso rastreado (cinza) com o osso de referência. A cor verde indica que a pose está dentro dos limites de rotação e translação, enquanto a cor vermelha indica que está fora do limite. Continue rastreando e visualizando até que todos os quadros estejam verdes. Altere os limites (phi - rotação, trans - trans) nas linhas 10 e 11 do script animateBonesWithReferences.m, se necessário.
   NOTA: Se o osso de referência estiver vermelho (Figura 3A), significa que a postura está a mais de 1 mm ou 2° de distância da pose baseada em marcadores, medida usando o eixo helicoidal. Se estiver verde e visualmente for razoável, esse quadro será rastreado suficientemente bem (Figura 3B).
9. Para rastrear os outros ossos do complexo do tornozelo, repita as etapas 4.4 a 4.8 para o tálus e a tíbia. Use o software de visualização para garantir que os ossos não estejam colidindo.
10. Para concluir a avaliação, rastreie e visualize a tíbia, o tálus e o calcâneo no estudo chamado teste de avaliação.
    1. Abra a plataforma de computação e execute o código animateBonesGeneral.m. Navegue até as pastas dentro do pacote de treinamento, conforme solicitado pelas caixas de diálogo. Verifique as poses ósseas usando o arquivo .pos no software de visualização. Este código é generalizável para outros ensaios para visualização 3D dos ossos.
       NOTA: A pose verdadeira baseada em marcadores não estará mais disponível. Apenas os ossos cinzentos estarão presentes.
11. Para avaliar as estimativas de pose, abra o script verifyAssessmentPoses.m na plataforma de computação e clique em Executar. O script calculará o eixo helicoidal entre a estimativa de pose baseada em modelo e marcador e retornará uma diferença de rotação e translação para cada quadro de dados rastreados. Isso produzirá o mesmo gráfico que em animateBoneswithReferences.m, mas não produzirá uma animação.
12. Verifique se todos os pontos de dados estão abaixo do limite selecionado (linha plana) para rotação e translação. Salve os resultados em um arquivo .csv, se necessário.

Figura 3: Visualização do rastreamento aceitável e inaceitável. (A) Osso calcâneo rastreado usando rastreamento baseado em modelo (cinza; também indicado pela seta cinza) que não corresponde suficientemente à pose da estimativa de pose baseada em marcadores (vermelho; também indicado pela seta vermelha). (B) Calcâneo que corresponde suficientemente à pose da estimativa de pose baseada em marcadores. O calcâneo rastreado por marcadores é mostrado em verde como resultado (também indicado pelas setas cinza e verde). Clique aqui para ver uma versão maior desta figura.

Resultados

Dois novos operadores e um especialista concluíram o treinamento baseado em modelo. Os 41 quadros do teste de avaliação mediram a proficiência de seu rastreamento baseado em modelo (Figura 4). As estimativas de pose dos operadores estavam normalmente bem abaixo dos limites estabelecidos. A mediana média do viés (intervalo) na rotação entre os ossos foi de 0,75° (0,69° a 0,85°) para o calcâneo, 0,40° (0,37° a 0,46°) para o tálus e 0,89° (0,76° a 1,07°) para a tíbia. A mediana média do viés de translação foi de 0,10 mm (0,05 mm a 0,16 mm) para o calcâneo, 0,31 mm (0,22 mm a 0,41 mm) para o tálus e 0,33 mm (0,27 mm a 0,37 mm) para a tíbia. Esses resultados sugerem que o tutorial é eficaz no treinamento dos operadores dentro de uma tolerância definida.

Figura 4: Viés de rotação e translação para novos operadores e um especialista. Os gráficos de violino²⁰ mostram viés na rotação (A) (C) (E) e na translação (B) (D) (F) entre estimativas de pose baseadas em modelo e baseadas em marcadores para dois novos operadores e um especialista para o calcâneo (A) (B), (C) (D) tálus e (E) (F) tíbia. Todos os 41 quadros do teste de avaliação são mostrados como pontos de dados, com a mediana (círculo branco), intervalo interquartil (linha vertical grossa) e média (linha horizontal grossa). A linha preta em 2° e 1 mm representa os limites selecionados. Seis quadros fora do limite para o Novo Operador 2 em (E) não são mostrados. Clique aqui para ver uma versão maior desta figura.

Um novo operador tinha seis quadros acima do limite de rotação de 2 ° em seu rastreamento de tíbia. Os quadros foram identificados usando um dos gráficos gerados em verifyAssessmentPoses.m (Figura 5). Esses seis quadros são mais difíceis de rastrear devido à oclusão da tíbia pelo outro pé balançando pela visão.

Figura 5: Viés de rotação para cada quadro sobre a fase de apoio. Exemplo do rastreamento de rotação do segundo novo operador em parte da fase de apoio da corrida, para (A) o calcâneo, (B) o tálus e (C) a tíbia. Observe que a caixa vermelha em (C) mostra os quadros com erros altos. (D) À esquerda, uma imagem representativa mostra a diferença aproximada no alinhamento das linhas laranja e azul da tíbia anterior (indicada pelas setas laranja e preta). A imagem à direita mostra um exemplo de uma tíbia bem rastreada (indicada pela seta branca). Clique aqui para ver uma versão maior desta figura.

Arquivo suplementar. Clique aqui para baixar este arquivo.

Discussão

A estimativa precisa da pose baseada em modelo é fundamental para medir a artrocinemática e o movimento esquelético. Métodos de validação anteriores para estimativa de pose foram baseados em espécimes cadavéricos com marcadores implantados, sem carga in vivo e amplitude de movimento articular. Este conjunto de dados in vivo de corrida e salto com estimativa de pose baseada em marcadores permite a validação de algoritmos baseados em modelo. Além disso, o conjunto de dados é organizado para treinar novos operadores, de modo que a estimativa inicial necessária para a maioria dos algoritmos baseados em modelo esteja dentro de uma tolerância definida, reduzindo a variabilidade entre operadores. O código MATLAB é fornecido de forma que os ossos possam ser animados e o feedback de qualidade da pose seja gerado automaticamente.

Os novos operadores foram treinados com sucesso para dentro de uma tolerância definida de 2 ° de rotação e 1 mm de translação. Esses limites são muito mais baixos do que a confiabilidade entre operadores relatada, que pode ser tão grande quanto 5 mm e 10°¹. No entanto, as tolerâncias selecionadas são 2x a 4x maiores do que o erro RMS de outros experimentos com pé cadavérico intacto (0,59 mm e 0,71°¹⁶). As tolerâncias incluem as faixas mais altas de erro RMS, mas ainda representam uma melhoria substancial em relação à variabilidade relatada entre operadores. Além disso, as condições in vivo são mais difíceis de rastrear do que as posturas estáticas dos pés devido à variação na oclusão dos ossos, tecidos moles e artefatos de movimento de alta velocidade através do volume de raios-x. Os novos operadores rotoscopiaram com sucesso os ensaios dentro da tolerância e estavam próximos dos resultados do especialista, exceto pelos seis quadros mostrados na Figura 5C. Assim, a tolerância definida representa uma melhoria em relação à variabilidade interoperadores relatada, e os resultados mostram que este método pode treinar com sucesso novos operadores dentro dessa tolerância.

Uma etapa crítica neste protocolo é a iteração entre a rotoscopia no software selecionado e a visualização em 3D. Essa iteração é importante para entender como os ossos são orientados no espaço. Ele permite que o operador verifique se as poses ósseas são biologicamente viáveis e não colidem com outros ossos. A alternância contínua entre rotoscopia e visualização melhora a qualidade das estimativas finais da pose óssea e ajuda a detectar erros de otimização.

O conjunto de treinamento, particularmente o teste de avaliação, inclui cenários de rastreamento desafiadores para ultrapassar os limites dos novos operadores. A posição das fontes de raios-x e intensificadores de imagem nesta coleção fez com que o pé oscilante obstruísse as vistas, criando desafios para o alinhamento dos modelos ósseos. O novo operador, com vários quadros acima do limiar de rotação, foi afetado pelo pé contralateral obscurecendo a visão. Estratégias como alterar as configurações do filtro e rotoscopia dos quadros imediatamente antes e depois da oclusão podem ajudar a mitigar esses problemas. Além disso, a orientação dos sistemas de coordenadas difere suficientemente entre os DICOMs e o software de estimativa de pose, causando uma inversão de ângulo na tíbia. Os operadores devem rastrear cada quadro neste ponto para superar esse desafio. Esses cenários não são incomuns em coletas de dados e representam desafios que a estimativa automática de pose baseada em modelo deve enfrentar no futuro e, portanto, são uma adição valiosa a esse conjunto de dados.

Existem certas limitações com este protocolo. Primeiro, declarar a estimativa de pose baseada em marcadores como o padrão-ouro é controverso, pois a diferença de precisão entre a estimativa de pose baseada em marcadores e modelos não é tipicamente uma ordem de magnitude diferente ^2,3,10. No entanto, é provável que as alterações visuais nas imagens BVR que surgem com coleções in vivo (ou seja, artefato de movimento, tecido mole e oclusão óssea) tenham maior probabilidade de induzir erros na estimativa de pose baseada em modelo em comparação com métodos baseados em marcadores. Mais experimentos são necessários para confirmar essa hipótese. Além disso, esse conjunto de dados não captura todas as coleções de raios-x biplanares. A orientação das câmeras, de modo que os ossos estejam em diferentes posições relativas, pode alterar a proeminência das características ósseas e afetar correspondentemente a função de custo do algoritmo de correspondência de pose. Além disso, esses recursos podem ser afetados pelas configurações do filtro de imagem^15,17. Assim, este conjunto de dados não é necessariamente uma avaliação generalizável da precisão do BVR. Em vez disso, é uma ferramenta para treinar os usuários a inserir estimativas de pose inicial apropriadas e para melhorar os algoritmos de estimativa de pose baseados em modelo até que as suposições iniciais rotoscópicas manualmente não sejam mais necessárias.

Materiais

Name	Company	Catalog Number	Comments
Autoscoper	Brown University		https://simtk.org/projects/autoscoper; pose estimation software
Code	Queen's University		https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker Based
Content-Aware Fill algorithm, Photoshop	Adobe
Dataset	Queen's University		Download here
MATLAB	Mathworks	n/a	computing platform
Mimics	Materialise, Belgium		3D image processing software
Revolution HD	General Electric Medical Systems		CT scan device used
WristVisualizer	Brown University		https://github.com/DavidLaidlaw/WristVisualizer/tree/master; Visualization software
XMALab	Brown University		https://bitbucket.org/xromm/xmalab/src/master/