Trazendo a clínica para casa: um ecossistema de coleta de dados multimodal em casa para apoiar a estimulação cerebral profunda adaptativa

Resumo

O protocolo mostra um protótipo da plataforma de coleta de dados multimodal em casa que apoia pesquisas otimizando a estimulação cerebral profunda adaptativa (aDBS) para pessoas com distúrbios neurológicos do movimento. Também apresentamos as principais descobertas da implantação da plataforma por mais de um ano na casa de um indivíduo com doença de Parkinson.

Resumo

A estimulação cerebral profunda adaptativa (aDBS) mostra-se promissora para melhorar o tratamento de distúrbios neurológicos, como a doença de Parkinson (DP). O aDBS usa biomarcadores relacionados a sintomas para ajustar os parâmetros de estimulação em tempo real para atingir os sintomas com mais precisão. Para permitir esses ajustes dinâmicos, os parâmetros para um algoritmo de aDBS devem ser determinados para cada paciente individual. Isso requer um ajuste manual demorado por parte dos pesquisadores clínicos, tornando difícil encontrar uma configuração ideal para um único paciente ou dimensionar para muitos pacientes. Além disso, a eficácia a longo prazo dos algoritmos aDBS configurados na clínica enquanto o paciente está em casa permanece uma questão em aberto. Para implementar essa terapia em larga escala, é necessária uma metodologia para configurar automaticamente os parâmetros do algoritmo aDBS enquanto monitora remotamente os resultados da terapia. Neste artigo, compartilhamos um projeto para uma plataforma de coleta de dados em casa para ajudar o campo a abordar ambas as questões. A plataforma é composta por um ecossistema integrado de hardware e software que é de código aberto e permite a coleta domiciliar de dados de vídeo neural, inercial e multicâmera. Para garantir a privacidade dos dados identificáveis pelo paciente, a plataforma criptografa e transfere dados por meio de uma rede privada virtual. Os métodos incluem o alinhamento de tempo de fluxos de dados e a extração de estimativas de pose de gravações de vídeo. Para demonstrar o uso desse sistema, implantamos essa plataforma na casa de um indivíduo com DP e coletamos dados durante tarefas clínicas autoguiadas e períodos de comportamento livre ao longo de 1,5 anos. Os dados foram registrados em amplitudes de estimulação subterapêutica, terapêutica e supraterapêutica para avaliar a gravidade dos sintomas motores em diferentes condições terapêuticas. Esses dados alinhados ao tempo mostram que a plataforma é capaz de coletar dados multimodais sincronizados em casa para avaliação terapêutica. Essa arquitetura de sistema pode ser usada para apoiar a pesquisa automatizada de aDBS, para coletar novos conjuntos de dados e para estudar os efeitos de longo prazo da terapia com DBS fora da clínica para aqueles que sofrem de distúrbios neurológicos.

Introdução

A estimulação cerebral profunda (DBS) trata distúrbios neurológicos, como a doença de Parkinson (DP), fornecendo corrente elétrica diretamente para regiões específicas do cérebro. Estima-se que existam 8,5 milhões de casos de DP em todo o mundo, e a EEP tem se mostrado uma terapia crítica quando a medicação é insuficiente para o manejo dos sintomas ^1,2. No entanto, a efetividade da EEP pode ser limitada por efeitos colaterais que às vezes ocorrem a partir da estimulação convencionalmente administrada em amplitude, frequência e largura de pulso fixas³. Essa implementação em malha aberta não responde às flutuações no estado de sintomas, resultando em configurações de estimulação que não são apropriadamente adaptadas às necessidades em mudança do paciente. A EEP é ainda mais prejudicada pelo demorado processo de ajuste dos parâmetros de estimulação, que atualmente é realizado manualmente pelos médicos para cada paciente individual.

A EEP adaptativa (EEPa) é uma abordagem de circuito fechado que se mostrou uma próxima iteração eficaz da EEP, ajustando parâmetros de estimulação em tempo real sempre que biomarcadores relacionados a sintomas são detectados ^3,4,5. Estudos têm demonstrado que as oscilações beta (10-30 Hz) no núcleo subtalâmico (NST) ocorrem consistentemente durante a bradicinesia, uma lentificação do movimento característica da DP ^6,7. Da mesma forma, sabe-se que altas oscilações gama (50-120 Hz) no córtex ocorrem durante períodos de discinesia, um movimento excessivo e involuntário também comumente observado na^DP8. Trabalhos recentes administraram com sucesso aDBS fora da clínica por períodos prolongados⁵, no entanto, a eficácia a longo prazo dos algoritmos de aDBS que foram configurados na clínica enquanto um paciente está em casa não foi estabelecida.

Sistemas remotos são necessários para capturar a eficácia variável no tempo desses algoritmos dinâmicos na supressão de sintomas encontrados durante a vida diária. Embora a abordagem de estimulação dinâmica da EEPa potencialmente permita um tratamento mais preciso com efeitos colaterais reduzidos^3,9, a EEP ainda sofre de uma alta carga sobre os médicos para identificar manualmente os parâmetros de estimulação para cada paciente. Além do já grande conjunto de parâmetros para programar durante o DBS convencional, os algoritmos aDBS introduzem muitos novos parâmetros que também devem ser cuidadosamente ajustados. Essa combinação de parâmetros de estimulação e algoritmo produz um vasto espaço de parâmetros com um número incontrolável de combinações possíveis, proibindo o dimensionamento de aDBS para muitos pacientes¹⁰. Mesmo em ambientes de pesquisa, o tempo adicional necessário para configurar e avaliar sistemas aDBS dificulta a otimização adequada de algoritmos apenas na clínica, e a atualização remota de parâmetros é necessária. Para tornar o aDBS um tratamento que possa escalar, a estimulação e o ajuste de parâmetros do algoritmo devem ser automatizados. Além disso, os resultados da terapia devem ser analisados em ensaios repetidos para estabelecer a EEP como um tratamento viável a longo prazo fora da clínica. Há necessidade de uma plataforma que possa coletar dados para avaliação remota da eficácia da terapia e implantar remotamente atualizações nos parâmetros do algoritmo aDBS.

O objetivo deste protocolo é fornecer um design reutilizável para uma plataforma multimodal de coleta de dados em casa para melhorar a eficácia do aDBS fora da clínica e permitir que esse tratamento seja dimensionado para um maior número de indivíduos. Até onde sabemos, é o primeiro projeto de plataforma de coleta de dados que avalia remotamente os resultados terapêuticos usando câmeras de vídeo em casa, sensores vestíveis, gravação crônica de sinais neurais e feedback orientado ao paciente para avaliar sistemas aDBS durante tarefas controladas e comportamento naturalista.

A plataforma é um ecossistema de componentes de hardware e software construído sobre sistemas previamente desenvolvidos⁵. É totalmente sustentável através de acesso remoto após uma instalação inicial de hardware mínimo para permitir a coleta de dados multi-modal de uma pessoa no conforto de sua casa. Um componente-chave é o sistema de neuroestimulação implantável (SNI)¹¹ , que detecta a atividade neural e estimula a NST, registrando a aceleração dos implantes torácicos. Para o implante utilizado na implantação inicial, a atividade neural é registrada a partir de eletrodos bilaterais implantados no NST e de eletroeletrocorticogramas implantados sobre o córtex motor. Um sistema de gravação de vídeo ajuda os médicos a monitorar a gravidade dos sintomas e a eficácia da terapia, que inclui uma interface gráfica do usuário (GUI) para permitir o cancelamento fácil de gravações em andamento para proteger a privacidade do paciente. Os vídeos são processados para extrair trajetórias cinemáticas de posição em duas dimensões (2D) ou tridimensionais (3D), e relógios inteligentes são usados em ambos os pulsos para capturar informações de velocidade angular e aceleração. É importante ressaltar que todos os dados são criptografados antes de serem transferidos para o armazenamento em nuvem de longo prazo, e o computador com vídeos identificáveis pelo paciente só pode ser acessado por meio de uma rede privada virtual (VPN). O sistema inclui duas abordagens para alinhamento de tempo post-hoc de todos os fluxos de dados, e os dados são usados para monitorar remotamente a qualidade do movimento do paciente e para identificar biomarcadores relacionados a sintomas para refinar algoritmos aDBS. A parte em vídeo deste trabalho mostra o processo de coleta de dados e animações de trajetórias cinemáticas extraídas dos vídeos coletados.

Várias considerações de design orientaram o desenvolvimento do protocolo:
Garantindo a segurança dos dados e a privacidade do paciente: A coleta de dados identificáveis de pacientes requer o máximo de cuidado na transmissão e armazenamento para ser um ato de portabilidade e responsabilidade do seguro de saúde (HIPAA)^12,13 cumprir e respeitar a privacidade do paciente em sua própria casa. Neste projeto, isso foi alcançado através da configuração de uma VPN personalizada para garantir a privacidade de todo o tráfego sensível entre os computadores do sistema.
Limites de segurança dos parâmetros de estimulação: É fundamental garantir que o paciente permaneça seguro ao experimentar algoritmos aDBS que podem ter efeitos não intencionais. O INS do paciente deve ser configurado por um clínico para ter limites seguros para parâmetros de estimulação que não permitam efeitos inseguros de superestimulação ou subestimulação. Com o sistema INS¹¹ Utilizado neste estudo, esse recurso é habilitado por um programador clínico.
Garantindo o veto do paciente: Mesmo dentro dos limites dos parâmetros seguros, a variabilidade diária dos sintomas e das respostas de estimulação pode resultar em situações desagradáveis para o paciente, onde ele não gosta de um algoritmo em teste e deseja retornar à EEP clínica normal de malha aberta. O sistema INS selecionado inclui um módulo de telemetria do paciente (PTM) que permite ao paciente alterar manualmente seu grupo de estimulação e amplitude de estimulação em mA. Há também um aplicativo de pesquisa conectado ao INS que é usado para configuração remota do INS antes da coleta de dados¹⁴, que também permite que o paciente aborte os ensaios de aDBS e controle sua terapia.
Capturando comportamentos complexos e naturais: Os dados de vídeo foram incorporados à plataforma para permitir que os médicos monitorem remotamente a eficácia da terapia e extraiam trajetórias cinemáticas de estimativas de pose para uso em análises de pesquisa¹⁵. Embora os sensores vestíveis sejam menos intrusivos, é difícil capturar toda a amplitude dinâmica de movimento de um corpo inteiro usando apenas sistemas vestíveis. Os vídeos permitem a gravação simultânea de toda a amplitude de movimento do paciente e seus sintomas ao longo do tempo.
Usabilidade do sistema para pacientes: A coleta de dados multimodais em casa requer que vários dispositivos sejam instalados e utilizados na casa do paciente, o que pode se tornar oneroso para os pacientes navegarem. Para tornar o sistema fácil de usar e, ao mesmo tempo, garantir o controle do paciente, apenas os dispositivos implantados ou fisicamente conectados ao paciente (neste caso, incluindo o sistema INS e relógios inteligentes) devem ser ativados manualmente antes de iniciar uma gravação. Para dispositivos que são separados do paciente (neste caso, inclui dados gravados de câmeras de vídeo), as gravações começam e terminam automaticamente sem exigir qualquer interação com o paciente. Durante o design da GUI, foi tomado cuidado para minimizar o número de botões e evitar árvores de menu profundas para que as interações fossem simples. Depois que todos os dispositivos são instalados, um coordenador de pesquisa mostrou ao paciente como interagir com todos os dispositivos por meio de GUIs voltadas para o paciente que fazem parte de cada dispositivo, como encerrar gravações em qualquer dispositivo e como inserir seu histórico de medicação e relatórios de sintomas.
Transparência da coleta de dados: Indicar claramente quando as câmeras estão ligadas é imprescindível para que as pessoas saibam quando estão sendo gravadas e possam suspender a gravação se precisarem de um momento de privacidade. Para conseguir isso, um aplicativo de sistema de câmera é usado para controlar gravações de vídeo com uma GUI voltada para o paciente. A GUI é aberta automaticamente quando o aplicativo é iniciado e lista a hora e a data da próxima gravação agendada. Quando uma gravação está em andamento, uma mensagem informa quando a gravação está programada para terminar. No centro da GUI, uma imagem grande de uma luz vermelha é exibida. A imagem mostra a luz sendo acesa sempre que uma gravação está em andamento e muda para uma imagem não iluminada quando as gravações estão DESLIGADAS.

O protocolo detalha métodos para projetar, construir e implantar uma plataforma de coleta de dados em casa, para verificar a qualidade dos dados coletados quanto à completude e robustez e para o pós-processamento de dados para uso em pesquisas futuras.

Figura 1: Fluxo de dados. Os dados de cada modalidade são coletados independentemente da residência do paciente antes de serem processados e agregados em um único endpoint de armazenamento remoto. Os dados de cada modalidade são enviados automaticamente para um ponto de extremidade de armazenamento remoto. Com a ajuda de um dos membros da equipe, ele pode ser recuperado, verificado quanto à validade, alinhado ao tempo entre as modalidades, bem como submetido a um pré-processamento mais específico da modalidade. O conjunto de dados compilado é carregado em seguida em um ponto de extremidade de armazenamento remoto que pode ser acessado com segurança por todos os membros da equipe para análise contínua. Todas as máquinas com acesso a dados, especialmente para dados confidenciais, como vídeo bruto, estão dentro de uma VPN que garante que todos os dados sejam transferidos com segurança e que os dados armazenados sejam sempre criptografados. Clique aqui para ver uma versão maior desta figura.

Protocolo

Os pacientes são inscritos através de um estudo maior aprovado pelo IRB e IDE no aDBS da Universidade da Califórnia, São Francisco, protocolo # G180097⁵. O paciente incluído neste estudo também forneceu consentimento informado especificamente para este estudo.

1. Componentes do sistema em casa

1. Servidor central e VPN
   1. Adquira um computador pessoal (PC) executando um sistema operacional (SO) baseado em Linux dedicado a servir uma VPN. Hospede a máquina em uma sala segura. O disco criptografa a máquina para garantir a segurança dos dados.
   2. Configure o servidor VPN para ser acessível publicamente em pelo menos uma porta.
      NOTA: Neste caso, isso foi conseguido através da colaboração com o departamento de TI para fornecer ao servidor um endereço IP estático voltado para o exterior e uma URL personalizada pelas opções de hospedagem DNS da universidade.
   3. Para a instalação do servidor, conclua as etapas a seguir uma vez no PC selecionado para servir a VPN.
      1. Configuração de firewall: execute os seguintes comandos no terminal do PC para instalar e configurar o firewall descomplicado:
         sudo apt instalar ufw
         sudo ufw permitir ssh
         sudo ufw permitir /udp
         sudo ufw ativar
      2. Instalação VPN do servidor: instale o protocolo VPN¹⁶ do WireGuard de código aberto no PC e navegue até o diretório de instalação. No terminal do PC, execute umask 007 para atualizar as regras de acesso ao diretório.
      3. Geração de chaves: No terminal do PC, execute
         GT Genkey - Brasil | Tee PrivateKey | WG Pubkey > PublicKey
         Isso gera um par de chaves pública/privada para o servidor VPN. Essa chave pública será compartilhada com qualquer PC cliente que se conecte à VPN.
      4. Configuração VPN: No terminal do PC, execute touch .conf para criar um arquivo de configuração, onde o nome do arquivo deve corresponder ao nome da interface. Cole as seguintes regras de servidor neste arquivo:
         [Interface]
         PrivateKey =
         Endereço = ##.#.#.#/ ##
         PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
         PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
         ListenPort = #####
         [Par]
         PublicKey =
         IPs permitidos = ##.#.#.#/ ##
      5. Ativando a VPN: Inicie a VPN inserindo wg-quick up no terminal. Para permitir que o protocolo VPN seja iniciado automaticamente sempre que o PC for reinicializado, execute o seguinte no terminal:
         systemctl ativar wg-quick@
   4. Para a instalação do cliente, conclua as etapas a seguir para cada nova máquina que precisa de acesso à VPN.
      1. Instalação VPN do cliente: instale o protocolo VPN de acordo com as instruções específicas do sistema operacional na página de download do WireGuard¹⁶ .
      2. Adicionando um cliente à VPN: pegue a chave pública do arquivo de configuração gerado durante a instalação. Cole essa chave na seção peer do arquivo de configuração do servidor.
      3. Ativando a VPN: Inicie a VPN de acordo com as instruções específicas do sistema operacional na página de download do WireGuard¹⁶ .
2. Armazenamento na nuvem
   1. Selecione um site de armazenamento em nuvem para permitir que todos os fluxos de dados gravados sejam armazenados a longo prazo em um só lugar. Aqui, um site de armazenamento em nuvem baseado em serviço da Amazon que era compatível com o protocolo de transferência de dados selecionado foi usado.
3. Sistema de neuromodulação implantável
   1. Seguindo as diretrizes do IRB e IDE, selecione um sistema de neuromodulação implantável (SNI)¹¹ que permita ao paciente alterar manualmente suas configurações de estimulação.
   2. Adquira um tablet PC e instale o aplicativo UCSF DBS de código aberto para permitir gravações do INS, relatar medicamentos e sintomas ou qualquer outro comentário do paciente¹⁴. Configure os dados INS que são transmitidos para o tablet para serem carregados em um ponto de extremidade de armazenamento em nuvem temporário compatível com HIPPA, para armazenamento temporário antes da desidentificação dos dados e do descarregamento para o armazenamento em nuvem de longo prazo.
4. Sistema de coleta de vídeo
   1. Adquira um PC capaz de coletar e armazenar a quantidade desejada de arquivos de vídeo antes de transferi-los para o armazenamento em nuvem. Verifique se a placa-mãe do PC inclui um chip TPM (trusted platform module).
      NOTA: Neste caso, foi seleccionado um PC com um SSD de 500 GB, um disco rígido de 2 TB e um GPU de 6 GB. Um disco de 2 TB garante que os vídeos possam ser armazenados em buffer após uma longa sessão de gravação ou no caso de perder a conexão com a internet por alguns dias, enquanto o único PC mantém o hardware minimamente intrusivo em casa.
   2. Instale o sistema operacional desejado e siga as instruções para habilitar a criptografia automática de disco para garantir a privacidade do paciente e evitar o vazamento de dados. Neste caso, um sistema operacional baseado em Linux com uma distribuição Ubuntu foi escolhido por sua facilidade de uso e confiabilidade.
   3. Criptografe separadamente todos os discos rígidos após a instalação do sistema operacional. Certifique-se de ativar a remontagem automática do disco após a reinicialização do sistema.
   4. Configure o chip TPM integrado do PC para manter o acesso ao PC criptografado em disco após a reinicialização do sistema¹⁷.
      NOTA: Se estiver usando um sistema operacional Linux, certifique-se de selecionar uma placa-mãe com um chip TPM2 instalado para habilitar esta etapa. Se um sistema operacional Windows for usado, a criptografia e o desbloqueio automático de disco podem ser manipulados pelo programa Bitlocker.
   5. Configure o PC como um cliente VPN seguindo as etapas de instalação na versão 1.1.4. Habilite o protocolo VPN para iniciar automaticamente sempre que o PC for reinicializado, como na seção 1.1.3.5, para garantir que os computadores pesquisadores sempre possam acessar remotamente o PC (recomendado).
   6. Crie uma conta de usuário de máquina GitHub para automatizar facilmente as atualizações de software instalado no PC. Essa conta serve como um webhook para automatizar a extração do ponto de extremidade git remoto e ajuda a identificar quaisquer atualizações enviadas pela máquina remota.
   7. Selecione o software para agendar e controlar gravações de vídeo e instalá-lo no PC. Para maximizar a privacidade e o conforto do paciente, o software selecionado deve incluir uma interface gráfica do usuário (GUI) para indicar claramente quando as gravações estão em andamento e permitir o encerramento fácil das gravações a qualquer momento.
      NOTA: Se desejar, o aplicativo de gravação de vídeo personalizado dos autores com uma GUI voltada para o paciente pode ser instalado baixando o aplicativo e seguindo as instruções no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp).
   8. Selecione um monitor para indicar quando os vídeos estão sendo gravados e para permitir que as pessoas encerrem facilmente as gravações. Selecione um monitor com capacidade de tela sensível ao toque para que as gravações possam ser encerradas sem a necessidade de operar um teclado ou mouse.
   9. Instale um aplicativo de área de trabalho remota no PC. Isso permite executar um aplicativo com uma GUI tal que a GUI permaneça visível no lado do paciente e no lado do pesquisador remoto.
      NOTA: O aplicativo de área de trabalho remota NoMachine de código aberto funcionou melhor para um sistema operacional Linux.
   10. Selecione webcams compatíveis com USB com resolução suficientemente alta para calcular poses no espaço determinado.
       NOTA: Neste caso, foram escolhidas webcams compatíveis com 4k, que oferecem várias combinações de resolução e taxa de quadros, incluindo resolução 4k a 30 fps ou resolução HD a 60 fps.
   11. Selecione hardware robusto para montar webcams na casa do paciente. Use suportes de pescoço de ganso com grampos para prendê-los aos móveis para evitar que as câmeras tremam.
   12. Selecione um protocolo de transferência de dados com capacidade de criptografia e instale-o no PC. Crie uma configuração para acessar o site de armazenamento em nuvem e, em seguida, crie uma configuração de criptografia para encapsular a primeira configuração antes da transferência de dados.
       Observação : nesse caso, uma transferência de dados de código aberto e protocolo de sincronização de arquivos com capacidade de criptografia foi instalado¹⁸. A documentação do protocolo de transferência de dados explica como configurar a transferência de dados para o armazenamento em nuvem. O protocolo foi instalado pela primeira vez no servidor VPN e foi criada uma configuração de criptografia que transfere dados para o site de armazenamento em nuvem externo.
5. Componentes de dados de sensores vestíveis
   1. Selecione relógios inteligentes a serem usados em cada pulso do paciente para rastrear sinais, incluindo movimento, acelerometria e frequência cardíaca.
      NOTA: O Apple Watch série 3 foi selecionado com um monitor de sintomas de distúrbio de movimento integrado que gera pontuações de sintomas de DP, como discinesia e pontuações de tremor.
   2. Selecione e instale software em cada relógio inteligente que pode iniciar e terminar gravações e pode transferir dados para o armazenamento em nuvem. Selecione um aplicativo que carregue todos os fluxos de dados em seu portal on-line associado para pesquisadores e clínicos analisarem¹⁹.

Figura 2: Componentes de gravação de vídeo. Os componentes de hardware para suportar a coleta de dados de vídeo são mínimos, incluindo um único PC de torre, webcams conectadas por USB e um pequeno monitor para exibir a GUI voltada para o paciente. O monitor é habilitado para tela sensível ao toque para permitir o encerramento fácil de quaisquer gravações em andamento ou programadas pressionando os botões visíveis na GUI. O centro da GUI mostra uma imagem de uma luz de gravação que se transforma em uma cor vermelha brilhante quando as câmeras de vídeo estão gravando ativamente. Clique aqui para ver uma versão maior desta figura.

2. Configuração doméstica

1. Instalação de hardware
   1. Determine um espaço apropriado para a montagem de webcams que minimize as interrupções na casa. Determinar o espaço através de discussões com o paciente; Aqui, a área de Home Office foi escolhida como o local ideal para equilibrar o volume de gravação com a privacidade.
   2. Monte webcams na área identificada no hardware de montagem selecionado. Cortar montagens de pescoço de ganso em móveis pesados próximos evita que as câmeras tremam sempre que alguém pisa por perto.
   3. Coloque o PC suficientemente perto das webcams montadas para que seus cabos USB possam se conectar ao PC.
   4. Coloque o tablet PC, componentes INS, relógios inteligentes e telefones inteligentes perto de uma tomada de energia para que todos os dispositivos possam ficar conectados e prontos para uso a qualquer momento.
   5. Confirme se a VPN está ATIVADA executando a rota -n no terminal do PC. Caso contrário, siga as instruções para ativar a VPN na seção 1.1.3.5.
2. Inicie o aplicativo de gravação de vídeo
   1. Cronograma de gravação de vídeo: Antes de coletar qualquer dado, discuta um cronograma de gravação apropriado com o paciente. Configure essa programação no software de gravação de vídeo.
      NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as instruções para definir uma programação podem ser encontradas no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
   2. Atualizar software de gravação: Certifique-se de que a versão mais recente do software de gravação de vídeo selecionado foi carregada para o PC usando a conta de usuário da máquina GitHub instalada na versão 1.4.6.
   3. Iniciar gravações de vídeo: Inicie sessão no PC através do software de ambiente de trabalho remoto instalado e inicie o software de gravação de vídeo.
      NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as instruções para iniciar o aplicativo podem ser encontradas no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
3. Calibração da câmera de vídeo
   1. Desativar o foco automático: para calcular parâmetros intrínsecos, como distorção de lente e perspectiva, siga as instruções com base no sistema operacional e webcams selecionados para desativar o foco automático.
      NOTA: No Linux, as webcams são acessadas por meio do vídeo para a API do Linux, que por padrão ativa o foco automático toda vez que o computador conectado às câmeras é reiniciado. Configurar um script para desativar automaticamente isso é necessário para preservar o foco adquirido durante a calibração da câmera para processar a pose 3D.
   2. Calibração intrínseca: Adquira um padrão quadriculado 6 x 8 com quadrados de 100 mm para suportar a calibração 3D do software de estimativa de pose²⁰. Grave um vídeo de cada webcam individual enquanto um pesquisador inclina o quadriculado no quadro de todas as câmeras. Certifique-se de que o quadriculado tenha um número par de linhas e um número ímpar de colunas (ou vice-versa). Isso eliminará a ambiguidade em relação à rotação.
   3. Calibração extrínseca: Grave um vídeo de todas as três webcams simultaneamente. Certifique-se de que os vídeos sejam gravados na mesma resolução que qualquer vídeo a ser processado para estimativas de pose 3D. Para garantir a sincronização de tempo exata em todos os vídeos, pisce uma luz LED IR no início e no final da gravação. Use o software de edição de vídeo para sincronizar manualmente os vídeos, marcando quadros no início do LED e cortando os vídeos para um comprimento igual.
   4. Matrizes de calibração: Passe os vídeos gravados nas duas etapas anteriores pelo OpenPose²¹ para gerar matrizes de calibração intrínsecas e extrínsecas.
      NOTA: O OpenPose usa a biblioteca OpenCV para calibração da câmera, e instruções adicionais podem ser encontradas através da documentação no OpenPose GitHub^20,22.

3. Coleta de dados

1. Instruções do paciente para iniciar a gravação
   1. Verifique a bateria e a alimentação do dispositivo: O dispositivo INS está sempre ligado para fornecer estimulação constante para o sujeito. Para iniciar a gravação de dados neurais, peça ao paciente para ligar o tablet PC e garantir que os módulos de telemetria do clínico (CTMs) para dispositivos INS esquerdo e direito estejam LIGADOS e totalmente carregados.
   2. Colocação de CTM: Coloque os CTMs em ambos os lados do tórax. Para máxima conectividade e redução da perda de pacotes, posicione os CTMs próximos aos implantes torácicos durante as gravações. Outros locais para colocar CTMs são bolsos no peito de uma jaqueta ou usando um lenço especializado.
   3. Ativar conexão com o tablet: Uma vez que o tablet tenha inicializado, peça ao paciente para abrir o aplicativo DBS e selecione Conectar, que solicita uma conexão Bluetooth para os CTMs e, posteriormente, os dispositivos INS¹⁴.
   4. Ativação da câmera: Peça ao paciente para confirmar que as câmeras de vídeo estão conectadas ao PC através de seus cabos USB e que as câmeras foram ligadas.
      NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as gravações em andamento são claramente indicadas na GUI voltada para o paciente por uma imagem grande de uma luz vermelha que está iluminada. Isso muda para uma luz vermelha não acesa quando as gravações estão DESLIGADAS. As webcams selecionadas também têm uma pequena luz indicadora branca.
   5. Ativação do relógio inteligente: Peça ao paciente para ligar relógios inteligentes e telefones inteligentes mantendo pressionado o botão liga/desliga . Em seguida, peça-lhes que abram o aplicativo do relógio inteligente para iniciar a gravação de dados e o rastreamento de sintomas de DP.
2. Cenários de gravação e alinhamento de dados baseados em gestos
   1. Escreva todas as tarefas desejadas para o paciente realizar durante as gravações de dados antes de iniciar uma coleta de dados.
   2. Como a sincronização baseada em relógio de vários dispositivos para alinhar carimbos de data/hora pode não ser confiável, peça ao paciente que execute um gesto que possa ser usado para sincronizar os carimbos de data/hora dos dados gravados no início de cada nova gravação, mesmo quando planeja gravar durante períodos de comportamento livre.
      NOTA: Os autores projetaram um gesto simples em que o paciente tocou em ambos os dispositivos INS implantados enquanto mantinha as mãos à vista das câmeras. Este toque cria padrões distintos nas gravações inerciais dos relógios inteligentes e do acelerômetro INS e é fácil de observar em vídeos.
3. Instruções do paciente para encerrar a gravação
   1. Mude o grupo de estimulação de volta para o grupo clinicamente designado pelo paciente.
   2. Na GUI voltada para o paciente do aplicativo DBS, insira um relatório de sintomas.
   3. Feche o aplicativo DBS, que desconectará os CTMs e concluirá o streaming INS.
   4. Feche o aplicativo de gravação do relógio inteligente e devolva os CTMs, smartphones e dispositivos de relógio inteligente de volta às suas portas de carregamento.
4. Descarregamento de dados
   1. Transfira vídeos brutos para o armazenamento em nuvem através do protocolo de transferência de dados usando uma configuração criptografada. Crie um trabalho cron no PC de gravação de vídeo para transferir automaticamente vídeos gravados para o armazenamento em nuvem através do protocolo de transferência de dados¹⁸.
      NOTA: Dependendo da resolução dos vídeos e do número de horas gravadas por dia, a velocidade da internet deve ser suficientemente alta para permitir que todos os vídeos sejam transferidos para o armazenamento em nuvem dentro de 24 horas. Se a transferência de dados for muito lenta, o espaço em disco pode se esgotar, fazendo com que gravações de vídeo adicionais agendadas para o dia seguinte falhem.
   2. Salve os dados do INS no ponto de extremidade de nuvem seguro da HIPAA configurado na etapa 1.3.2. Baixe os dados INS do endpoint de nuvem seguro pela HIPAA e desidentifique os dados. Salve os dados não identificados no armazenamento externo em nuvem.
      NOTA: O código de pré-processamento OpenMind²³ de código aberto foi utilizado para desidentificar dados e convertê-los de arquivos json para um formato de tabela. O tablet do paciente foi configurado com um endpoint de nuvem seguro pela HIPAA para armazenamento temporário dos dados brutos do INS; no entanto, concebivelmente o mesmo site de armazenamento em nuvem usado para armazenamento de longo prazo também pode ser usado para esta etapa, desde que seja compatível com HIPAA e os dados sejam criptografados antes do descarregamento.
   3. Se desejar, salve uma cópia dos dados do relógio inteligente em um armazenamento em nuvem externo para que todos os fluxos de dados estejam acessíveis em um único local.

4. Caracterização do sistema

1. Visualização de dados brutos: No ambiente de codificação desejado, visualize todos os fluxos de dados brutos para garantir que os dados foram gravados e transferidos adequadamente sem perda ou corrupção.
   NOTA: O aplicativo que foi selecionado para gerenciar gravações de relógio inteligente tem um aplicativo de navegador que é útil para visualizar dados de relógio inteligente²⁴.
2. Atrasos de quadro de vídeo e carimbo de data/hora: inspecione quaisquer atrasos entre carimbos de data/hora gerados a partir de webcams diferentes. Analise os atrasos gravando vídeos com uma luz LED programável colocada no quadro de todas as webcams.
   NOTA: A análise revelou que uma função de segmentação de vídeo²⁵ importada pelo aplicativo de gravação de vídeo personalizado foi a fonte de atrasos de carimbo de data/hora crescentes. A gravação de vídeos sem a função de segmentação resultou em atrasos entre os quadros da webcam e carimbos de data/hora que não aumentaram com o tempo (consulte o Arquivo Suplementar 1 e a Figura Suplementar 1).

5. Pré-processamento e alinhamento de dados post-hoc

1. Posar dados
   1. Instale um software para calcular estimativas de posição conjunta a partir de vídeos gravados.
      NOTA: A biblioteca OpenPose foi selecionada, pois inclui rastreamento de mão e rosto em 2D e 3D.
   2. A biblioteca OpenPose não lida automaticamente com casos em que várias pessoas estão no quadro, portanto, use um script de pós-processamento para garantir que as estimativas de pose de cada pessoa sejam contínuas de um quadro para o próximo. O OpenPose fornece código para gerar facilmente animações, em 2D ou 3D, para verificações visuais na qualidade da estimativa de pose.
2. Alinhamento de tempo baseado em gestos
   1. Para cada dispositivo INS (esquerdo e direito), siga as etapas descritas abaixo usando a GUI de alinhamento de dados (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI) dos autores.
      1. Leia os dados: Acesse os dados de acelerometria INS e relógio inteligente salvos do armazenamento em nuvem para a sessão de dados desejada.
         NOTA: Uma série temporal adicional pode ser adicionada, se desejado. A Figura 3 mostra a posição de postura da ponta do dedo médio direito em verde.
      2. Visualize fluxos de dados na GUI: use a GUI de alinhamento de tempo manual para sobrepor a acelerometria INS, a acelerometria do relógio inteligente e os dados de pose.
      3. Ampliando artefatos de alinhamento: aumente o zoom no eixo do tempo e mova a janela de visualização para a seção de toque no peito da gravação. Mude a série temporal de alinhamento para que o pico dos toques no peito nos sinais de série de tempo do INS e do relógio inteligente se sobreponha o mais próximo possível.
         NOTA: A GUI foi projetada para facilitar o alinhamento manual de séries temporais arbitrárias a um tempo real comum. A Figura 3 mostra as séries temporais verdadeiras em azul, enquanto as séries temporais alinhadas são mostradas em laranja e verde. Os principais guias para alinhamento da GUI são indicados no Leiame do GitHub (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment).
      4. Confirmação de alinhamento: mova a janela da GUI para cada uma das tarefas de toque no peito na gravação e confirme se o alinhamento permanece consistente ao longo da série temporal. Pressione o botão Alternar alinhamento e repita os alinhamentos nos fluxos de dados restantes.
      5. Sinalizadores de aviso: para indicar se os dados estavam ausentes, deslocados ou outros avisos gerais sobre a qualidade dos dados, defina sinalizadores de aviso na GUI usando as teclas D, S e F, respectivamente.
3. Alinhamento de tempo de correlação cruzada normalizada zero (ZNCC)
   1. Identifique o sinal com maior probabilidade de estar mais próximo do tempo real. Normalmente, este é o que tem a maior frequência de amostragem ou a atualização de tempo de internet mais rápida.
   2. Reamostragem dos dois sinais para ter a mesma frequência de amostragem temporal, e individualmente z-score ambos os sinais. Isso garante que os escores ZNCC resultantes serão normalizados para estar entre -1 e 1, dando uma estimativa do nível de similaridade entre os dois sinais, útil para detectar erros.
   3. Calcule a correlação cruzada do segundo sinal e do primeiro sinal em cada intervalo de tempo.
   4. Se a informação de fase dos dois sinais não for importante, tome o valor absoluto da curva de correlação cruzada medida.
      NOTA: Se o comportamento for significativamente a-periódico, as informações de fase não são necessárias, como neste caso.
   5. Analise a curva ZNCC. Se houver um único pico claro, com um escore ZNCC de pico acima de 0,3, então o tempo desse pico corresponde ao intervalo de tempo entre os dois sinais. Se houver vários picos, nenhum pico claro ou a pontuação ZNCC for baixa em todos os intervalos de tempo, os dois sinais precisam ser alinhados manualmente.

Figura 3: Alinhamento de dados baseado em gestos. A metade superior da figura mostra a GUI de alinhamento manual depois de alinhar os três fluxos de dados. A linha azul são os dados de acelerometria do smartwatch, a linha laranja são os dados de acelerometria do INS, e a linha verde é a posição de pose 2D da ponta do dedo médio direito de uma única webcam. O canto superior direito mostra o deslocamento entre o tempo real do relógio inteligente e o INS, bem como várias bandeiras de aviso para marcar quaisquer problemas que surjam. Neste exemplo, o INS estava 20,8 s à frente do smartwatch. O gráfico inferior esquerdo é ampliado para mostrar as cinco batidas torácicas realizadas pelo paciente para alinhamento dos dados. Os cinco picos são suficientemente claros em cada fluxo de dados para garantir o alinhamento adequado. Clique aqui para ver uma versão maior desta figura.

Resultados

Projeto e implantação de protótipos de plataforma
Projetamos um protótipo de plataforma e a implantamos na casa de um único paciente (Figura 1). Após a primeira instalação de hardware em casa, a plataforma pode ser mantida, e os dados coletados inteiramente através de acesso remoto. Os dispositivos INS, relógios inteligentes e câmeras têm aplicativos voltados para o paciente, permitindo que os pacientes iniciem e parem gravações. O hardware de coleta de víd...

Discussão

Compartilhamos o projeto de um protótipo caseiro de uma plataforma multimodal de coleta de dados para apoiar pesquisas futuras em pesquisa em neuromodulação. O design é de código aberto e modular, de modo que qualquer peça de hardware pode ser substituída, e qualquer componente de software pode ser atualizado ou alterado sem que a plataforma geral entre em colapso. Enquanto os métodos de coleta e desidentificação de dados neurais são específicos para o INS selecionado, os métodos restantes e a abordagem gera...

Materiais

Name	Company	Catalog Number	Comments
Analysis RCS Data Processing	OpenMind		https://github.com/openmind-consortium/Analysis-rcs-data, open-source
Apple Watches	Apple, Inc		Use 2 watches for each patient, one on each wrist
BRIO ULTRA HD PRO BUSINESS WEBCAM	Logitech	960-001105	Used 3 in our platform design
DaVinci Resolve video editing software	DaVinci Resolve		used to support camera calibration
Dell XPS PC	Dell		2T hard disk drive, 500GB SSD
Dropbox	Dropbox
ffmpeg	N/A		open-source, install to run the Video Recording App
Gooseneck mounts for webcams	N/A
GPU	Nvidia		A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal
Java 11	Oracle		Install to run the Video Recording App
Microsoft Surface tablet	Microsoft
NoMachine	NoMachine		Ideal when using a Linux OS, open-source
OpenPose	N/A		open-source
Rclone file transfer program	Rclone		Encrypts data and copies or moves data to offsite storage, open-source
StrivePD app	RuneLabs		We installed the app on the Apple Watches to start recordings and upload data to an online portal.
Summit RC+S neuromodulation system	Medtronic		For investigational use only
touchscreen-compatible monitor	N/A
Video for Linux 2 API	The Linux Kernel		Install if using a Linux OS for video recording
Wasabi	Wasabi		Longterm cloud data storage
WireGuard VPN Protocol	WireGuard		open-source