Name: cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications
Uploaded: 2019-02-23T14:00:00
Duration: 9 min 20 s
Description: The rapid accumulation of biomedical textual data has far exceeded the human capacity of manual curation and analysis, necessitating novel text-mining ...

Este trabajo fue financiado en parte por el National Heart, Lung and Blood Institute: HL135772 R35 (al P. Ping); Instituto Nacional de Ciencias de Medicina General: GM114833 U54 (a Ping P., K. Watson y W. Wang); U54 GM114838 (a J. Han); un regalo de la Hellen & Larry Hoag Foundation y el Dr. S. Setty; y la dotación de T.C. Laubisch en UCLA (al P. Ping).

Nota: Hemos desarrollado este protocolo basado en el lenguaje de programación Python. Para ejecutar este programa, tener Python Anaconda y Git instalado en el dispositivo. Los comandos indicados en este protocolo se basan en entorno Unix. Este protocolo proporciona los detalles de la descarga de datos desde la base de datos PubMed (MEDLINE), analizar los datos y establecer una plataforma para la frase minería y cuantificación de la Asociación de la categoría de entidad definidos por el usuario de computación en nube.
1 obtener código y python la configuración de entorno
<ol><li>Descargar o clonar el repositorio de código en Github (<a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap</a>) o escribiendo 'git clone <a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap.git</a>' en la ventana de terminal.</li>
	<li>Desplácese hasta el directorio 'caseolap'. Este es el directorio raíz del proyecto. Dentro de este directorio, el directorio de 'datos' se popularán con múltiples conjuntos de datos como usted progresa a través de estos pasos en el protocolo. El directorio 'input' es para los datos proporcionado por el usuario. El directorio de 'registro' tiene archivos de registro para fines de solución de problemas. El directorio de 'resultado' es donde se almacenarán los resultados finales.</li>
	<li>Usando la ventana de terminal, ir al directorio donde usted clonado el repositorio de GitHub. Crear el entorno de CaseOLAP usando el archivo 'environment.yml' escribiendo 'conda env crear -f environment.yaml' en la terminal de. Luego activar el entorno tecleando 'fuente activar caseolap' en el terminal.</li>
</ol>2. descarga de documentos
<ol><li>Asegúrese de que la dirección FTP en 'ftp_configuration.json' en el directorio config es la misma que la dirección de enlace base anual o los archivos de actualización diaria, en el enlace (<a href="https://www.nlm.nih.gov/databases/download/pubmed_medline.html">https://www.nlm.nih.gov/databases/download/pubmed_medline.html</a>) .</li>
	<li>Para descargar sólo línea base o actualización archivos sólo, establecer 'true' en el archivo 'download_config.json' en el directorio 'config'. Por defecto, descarga y extrae los archivos base de referencia y actualización. Una muestra de los datos extraídos de XML puede ser consultada en (<a href="https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml">https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml</a>)</li>
	<li>Tipo 'python run_download.py' en la ventana de terminal para descargar los resúmenes de la base de datos de Pubmed. Esto creará un directorio llamado 'ftp.ncbi.nlm.nih.gov' en el directorio actual. Este proceso comprueba la integridad de los datos descargados y extractos para el directorio de destino.</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'download_log.txt' en caso de que falle el proceso de descarga. Si el proceso se ha completado con éxito, los mensajes de depuración del proceso de descarga se va a imprimir en archivo de registro.</li>
	<li>Cuando la descarga haya finalizado, navegar a través de 'ftp.ncbi.nlm.nih.gov' para asegurarse de que hay 'updatefiles' o 'basefiles' o ambos directorios basados en descargar la configuración en 'download_config.json'. Las estadísticas de archivo se convierten en 'filestat.txt' en el directorio 'data'.</li>
</ol>3. Análisis de documentos
<ol><li>Asegúrese de que descargado y extraídos datos están disponibles en el directorio 'ftp.ncbi.nlm.nih.gov' en el paso 2. Este directorio es el directorio de datos de entrada en este paso.</li>
	<li>Para modificar el esquema de análisis de datos, ajustar parámetros en el archivo 'parsing_config.json' en el directorio 'config' su valor 'true'. De forma predeterminada, analiza la PMID, autores, Resumen, malla, ubicación, revista, fecha de publicación.
</li>
	<li>Tipo 'python run_parsing.py' en el terminal para analizar los documentos de los archivos descargados (o extraídos). Este paso analiza todo descargados archivos XML y crea un diccionario de python para cada documento con las teclas (por ejemplo., PMID, autores, Resumen, malla de archivo basado en análisis de configuración de esquema en el paso 3.2).</li>
	<li>Una vez terminado el análisis de datos, asegúrese de que los datos analizados se guardan en el archivo llamado 'pubmed.json' en el directorio de datos. Una muestra de datos analizados está disponible en figura 3.
</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'parsing_log.txt' en caso de falla el proceso de análisis. Si el proceso se ha completado con éxito, los mensajes de depuración se va a imprimir en el archivo de registro.</li>
</ol>4. acoplamiento del mapeo de PMID
<ol><li>Asegúrese de que los datos analizados ('pubmed.json') están disponibles en el directorio 'data'.</li>
	<li>Tipo 'python run_mesh2pmid.py' en el terminal para llevar a cabo acoplamiento para traz PMID. Esto crea una tabla de mapeo donde cada una de la malla recoge PMIDs asociados. Un PMID sola puede caer bajo los términos de acoplamiento múltiple.</li>
	<li>Una vez terminado el trazado, asegúrese de que hay 'mesh2pmid.json' en el directorio de datos. Una muestra de las estadísticas de asignación top 20 está disponible en la tabla 2, figuras 4 y 5.</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'mesh2pmid_mapping_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración de la asignación se va a imprimir en archivo de registro.</li>
</ol>5. documento indexado
<ol><li>Descargar la aplicación de Elasticsearch de <a href="https://www.elastic.co/downloads">https://www.elastic.co</a>. Actualmente, la descarga está disponible en (<a href="https://www.elastic.co/downloads/elasticsearch">https://www.elastic.co/downloads/elasticsearch</a>). Para descargar el software en la nube remota, escriba 'wget <a href="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz">https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz</a>' en el terminal. Asegúrese de que 'x.x.x' en el comando anterior es sustituida por la versión correcta.</li>
	<li>Asegúrese de que el archivo descargado "elasticsearch-x.x.x.tar.gz' aparece en el directorio raíz y luego extraer los archivos escribiendo 'tar xvzf elasticsearch-x.x.x.tar.gz' en la ventana de terminal.</li>
	<li>Abra una nueva terminal e ir al directorio bin de ElasticSearch escribiendo 'cd Elasticsearch/bin' en el terminal en el directorio raíz.</li>
	<li>Inicie el servidor de Elasticsearch escribiendo '. / Elasticsearch' en la ventana de terminal. Asegúrese de que el servidor se inició sin mensajes de error. En caso de error en iniciar servidor de Elasticsearch, siga las instrucciones en (<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html">https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html</a>).</li>
	<li>Modificar el contenido de la 'index_init_config.json' en el directorio 'config' para establecer el inicio del índice. Por defecto, seleccionará todos los elementos presentes.</li>
	<li>Tipo 'python run_index_init.py' en el terminal para iniciar una base de datos de índice en el servidor de Elasticsearch. Esto inicializa el índice con un conjunto de criterios conocidos como información de índice (p. ej., Índice nombre, tipo, número de fragmentos, número de réplicas). Verá el mensaje mencionar índice es creado.</li>
	<li>Seleccione los elementos de la 'index_populate_config.json' en el directorio 'config' por su valor 'true'. Por defecto, seleccionará todos los elementos presentes.</li>
	<li>Asegúrese de que los datos analizados ('pubmed.json') están presentes en el directorio 'data'.</li>
	<li>Tipo 'python run_index_populate.py' en el terminal para llenar el índice mediante la creación de datos a granel con dos componentes. Un primer componente es un diccionario con información de metadatos en el Índice nombre, tipo y el id a granel (por ejemplo, 'Pertenece'). A segundo componente es un diccionario de datos que contiene toda la información sobre las etiquetas (por ejemplo, 'título', 'Resumen', 'MeSH').
</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'indexing_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración de la indexación de direcciones se va a imprimir en el archivo de registro.</li>
</ol>6. creación de texto-cubo
<ol><li>Descargar el árbol de malla más reciente disponible en (<a href="https://www.nlm.nih.gov/mesh/filelist.html">https://www.nlm.nih.gov/mesh/filelist.html</a>). La versión actual del código utiliza acoplamiento árbol de 2018 como 'meshtree2018.bin' en el directorio de entrada.</li>
	<li>Definir las categorías de interés (por ejemplo, nombres de enfermedad, grupos de edad, género). Una categoría puede incluir uno o más descriptores MeSH (<a href="https://meshb-prev.nlm.nih.gov/treeView">https://meshb-prev.nlm.nih.gov/treeView</a>). Recoger identificadores de malla para una categoría. Guardar los nombres de las categorías en el archivo 'textcube_config.json' en el directorio de configuración (vea una muestra de la categoría de 'Edad' en la versión descargada del archivo 'textcube_config.json').</li>
	<li>Poner las categorías recogidas de IDs de malla en una línea separada por un espacio. Guarde el archivo de la categoría como 'categories.txt' en el directorio 'input' (vea una muestra de 'Edad' malla de identificadores de la versión descargada del archivo 'categories.txt'). Este algoritmo selecciona automáticamente todos los descriptores MeSH descendientes. Un ejemplo de los nodos raíz y descendientes se presentan en figura 4.
</li>
	<li>Asegúrese de que 'mesh2pmid.json' está en el directorio 'data'. Si el árbol de la malla se ha actualizado con un nombre diferente (por ejemplo, 'meashtree2019.bin') en el directorio 'input', asegúrese de que esto se representa correctamente en la ruta de entrada de datos en el archivo 'run_textube.py'.</li>
	<li>Tipo 'python run_textcube.py' en el terminal para crear una estructura de datos de documento llamada cubo de texto. Esto crea una colección de documentos (PMIDs) para cada categoría. Un solo documento (PMID) puede caer en varias categorías, (ver tabla 3A, 3B de la tabla, figura 6A y Figura 7A).
</li>
	<li>Una vez terminado el paso de creación de texto-Cube, asegúrese de que los siguientes archivos de datos se guardan en el directorio 'data': (1) una célula tabla PMID como "textcube_cell2pmid.json", (2) pertenece a la tabla de asignación de celda como "textcube_pmid2cell.json", (3) colección de todo descendientes términos MeSH para una celda como "meshterms_per_cat.json" (4) estadísticas de datos de texto-Cube como "textcube_stat.txt".</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'textcube_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración de la creación de texto-cubo se va a imprimir en el archivo de registro.</li>
</ol>7. cuenta de la entidad
<ol><li>Crear entidades definidas por el usuario (por ejemplo, nombres de proteínas, genes, productos químicos). Poner una entidad y sus abreviaturas en una sola línea separada por "|". Guarde el archivo de la entidad como 'entities.txt' en el directorio 'input'. Una muestra de entidades se puede encontrar en cuadro 4.
</li>
	<li>Asegúrese de que está ejecutando el servidor de Elasticsearch. De lo contrario, vaya al paso 5.2 y 5.3 para reiniciar el servidor de Elasticsearch. Se espera tener una base de datos indexada llamado 'pubmed' en el servidor de Elasticsearch que se estableció en el paso 5.</li>
	<li>Asegúrese de que 'textcube_pmid2cell.json' está en el directorio 'data'.</li>
	<li>Tipo 'python run_entitycount.py' en el terminal para realizar la operación de la cuenta de la entidad. Esto busca los documentos de la base de datos indexada y cuenta de la entidad en cada documento como recoge PMIDs en que entidades se encontraron.</li>
	<li>Una vez completada la cuenta de la entidad, asegúrese de que los resultados finales se guardan como 'entitycount.txt' y 'entityfound_pmid2cell.json' en el directorio 'data'.</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'entitycount_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración de la cuenta de la entidad se va a imprimir en el archivo de registro.</li>
</ol>8. metadatos actualización
<ol><li>Asegúrese de que todos los datos de entrada ('entitycount.txt', 'textcube_pmid2cell.json', 'entityfound_pmid2cell.txt') en el directorio 'data'. Estos son los datos de entrada para la actualización de metadatos.</li>
	<li>Tipo 'python run_metadata_update.py' en el terminal para actualizar los metadatos. Esto prepara una colección de metadatos (por ejemplo, celda nombre, malla asociado, PMIDs) que representa cada documento de texto en la celda. Una muestra de texto-Cube metadatos se presenta en la tabla 3A y tabla 3B.
</li>
	<li>Una vez completada la actualización de metadatos, asegúrese de que 'metadata_pmid2pcount.json' y 'metadata_cell2pmid.json' los archivos se guardan en el directorio 'data'.</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'metadata_update_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración de la actualización de metadatos se va a imprimir en el archivo de registro.</li>
</ol>9. cálculo de puntuación de CaseOLAP
<ol><li>Asegúrese de que los archivos 'metadata_pmid2pcount.json' y 'metadata_cell2pmid.json' están presentes en el directorio 'data'. Estos son los datos de entrada para el cálculo de la puntuación.</li>
	<li>Tipo 'python run_caseolap_score.py' en el terminal para realizar cálculo de puntuación de CaseOLAP. Esto calcula la puntuación de CaseOLAP de las entidades basadas en categorías definidas por el usuario. La puntuación de CaseOLAP es el producto de la integridad, popularidady carácter distintivo.</li>
	<li>Una vez terminado el cómputo de la puntuación, asegúrese de que esto guarda los resultados en varios archivos (por ejemplo, popularidad como 'pop.csv', carácter distintivo como 'dist.csv', CaseOLAP puntuación como 'caseolap.csv'), en el directorio 'resultado'. El resumen del cálculo de puntuación de CaseOLAP también se presenta en la tabla 5.</li>
	<li>Vaya al directorio de 'registro' para leer los mensajes de registro en 'caseolap_score_log.txt' en caso de falla de este proceso. Si el proceso se ha completado con éxito, los mensajes de depuración del cálculo de puntuación de CaseOLAP se va a imprimir en el archivo de registro.</li>
</ol>

<ol>
	<li>Tao, F., Zhuang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Phrase-Based+Summarization+in+Text+Cubes.">Phrase-Based Summarization in Text Cubes.</a> IEEE Data Engineering Bulletin. , 74-84 (2016).</li><li>Ding, B., Zhao, B., Lin, C. X., Han, J., Zhai, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TopCells:+Keyword-based+search+of+top-k+aggregated+documents+in+text+cube.">TopCells: Keyword-based search of top-k aggregated documents in text cube.</a> IEEE 26th International Conference on Data Engineering (ICDE). , 381-384 (2010).</li><li>Ding, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Efficient+Keyword-Based+Search+for+Top-K+Cells+in+Text+Cube.">Efficient Keyword-Based Search for Top-K Cells in Text Cube.</a> IEEE Transactions on Knowledge and Data Engineering. 23 (12), 1795-1810 (2011).</li><li>Liu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Text+Cube+Approach+to+Human,+Social+and+Cultural+Behavior+in+the+Twitter+Stream.Social+Computing,+Behavioral-Cultural+Modeling+and+Prediction.">A Text Cube Approach to Human, Social and Cultural Behavior in the Twitter Stream.Social Computing, Behavioral-Cultural Modeling and Prediction.</a> Lecture Notes in Computer Science. 7812, (2013).</li><li>Liem, D. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Phrase+Mining+of+Textual+Data+to+analyze+extracellular+matrix+protein+patterns+across+cardiovascular+disease.">Phrase Mining of Textual Data to analyze extracellular matrix protein patterns across cardiovascular disease.</a> American Journal of Physiology-Heart and Circulatory. , (2018).</li><li>Shang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+Phrase+Mining+from+Massive+Text+Corpora.">Automated Phrase Mining from Massive Text Corpora.</a> IEEE Transactions on Knowledge and Data Engineering. 30 (10), 1825-1837 (2018).</li><li>Liu, J., Shang, J., Wang, C., Ren, X., Han, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mining+Quality+Phrases+from+Massive+Text+Corpora.">Mining Quality Phrases from Massive Text Corpora.</a> Proceedings ACM-Sigmod International Conference on Management of Data. , 1729-1744 (2015).</li><li>Lee, S., Kim, N., Kim, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Multi-dimensional+Analysis+and+Data+Cube+for+Unstructured+Text+and+Social+Media.">A Multi-dimensional Analysis and Data Cube for Unstructured Text and Social Media.</a> IEEE Fourth International Conference on Big Data and Cloud Computing. , 761-764 (2014).</li><li>Lin, C. X., Ding, B., Han, J., Zhu, F., Zhao, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Text+Cube:+Computing+IR+Measures+for+Multidimensional+Text+Database+Analysis.">Text Cube: Computing IR Measures for Multidimensional Text Database Analysis.</a> IEEE Data Mining. , 905-910 (2008).</li><li>Hsu, W. J., Lu, Y., Lee, Z. Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Accelerating+Topic+Exploration+of+Multi-Dimensional+Documents+Parallel+and+Distributed+Processing+Symposium+Workshops+(IPDPSW).">Accelerating Topic Exploration of Multi-Dimensional Documents Parallel and Distributed Processing Symposium Workshops (IPDPSW).</a> IEEE International. , 1520-1527 (2017).</li><li>Chaudhuri, S., Dayal, U. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+overview+of+data+warehousing+and+OLAP+technology.">An overview of data warehousing and OLAP technology.</a> SIGMOD Record. 26 (1), 65-74 (1997).</li><li>Ravat, F., Teste, O., Tournier, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Olap+aggregation+function+for+textual+data+warehouse.">Olap aggregation function for textual data warehouse.</a> ICEIS - 9th International Conference on Enterprise Information Systems, Proceedings. , 151-156 (2007).</li><li>Ho, C. T., Agrawal, R., Megiddo, N., Srikant, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Range+Queries+in+OLAP+Data+Cubes.">Range Queries in OLAP Data Cubes.</a> SIGMOD Conference. , (1997).</li><li>Saxena, V., Pratap, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Olap+Cube+Representation+for+Object-+Oriented+Database.">Olap Cube Representation for Object- Oriented Database.</a> International Journal of Software Engineering &amp; Applications. 3 (2), (2012).</li><li>Maniatis, A. S., Vassiliadis, P., Skiadopoulos, S., Vassiliou, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advanced+visualization+for+OLAP.">Advanced visualization for OLAP.</a> DOLAP. , (2003).</li><li>Bog, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Benchmarking Transaction and Analytical Processing Systems: The Creation of a Mixed Workload Benchmark and its Application. , 7-13 (2013).</li><li>&#214;zcan, F., Tian, Y., T&#246;z&#252;n, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hybrid+Transactional/Analytical+Processing:+A+Survey.">Hybrid Transactional/Analytical Processing: A Survey.</a> In Proceedings of the ACM International Conference on Management of Data (SIGMOD). , 1771-1775 (2017).</li><li>Hasan, K. M. A., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+Efficient+Implementation+for+MOLAP+Basic+Data+Structure+and+Its+Evaluation.">An Efficient Implementation for MOLAP Basic Data Structure and Its Evaluation.</a> International Conference on Database Systems for Advanced Applications. , 288-299 (2007).</li><li>Nantajeewarawat, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advances+in+Databases:+Concepts,+Systems+and+Applications.+DASFAA+2007.">Advances in Databases: Concepts, Systems and Applications. DASFAA 2007.</a> Lecture Notes in Computer Science. 4443, (2007).</li><li>Shimada, T., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+storage+scheme+for+multidimensional+data+alleviating+dimension+dependency.">A storage scheme for multidimensional data alleviating dimension dependency.</a> Third International Conference on Digital Information Management. , 662-668 (2007).</li></ol>

Los autores no tienen nada que revelar.

Hemos demostrado que el algoritmo de CaseOLAP puede crear una asociación cuantitativa frase basada en una categoría basada en el conocimiento sobre grandes volúmenes de datos textuales para la extracción de información significativa. Siguiendo nuestro protocolo, uno puede construir el marco de CaseOLAP para crear un cubo de texto deseado y cuantificar asociaciones de categoría de la entidad a través del cálculo de puntuación de CaseOLAP. Los puntajes crudos obtenidos de la CaseOLAP pueden tomarse para análisis integrantes incluyendo la reducción de dimensionalidad, clustering, análisis temporal y geográfico, así como la creación de una base de datos gráfica que permite la asignación semántica de los documentos.
Aplicabilidad del algoritmo de. Ejemplos de entidades definidas por el usuario, diferentes proteínas, podrían ser una lista de nombres de gene, drogas, específicos signos y síntomas incluyendo sinónimos y abreviaturas. Además, hay muchas opciones para la selección de categoría facilitar la definida por el usuario biomédicos análisis específicos (por ejemplo, anatomía [A], disciplina y ocupación [H], fenómenos y procesos [G]). En nuestros dos casos de uso, todas las publicaciones científicas y sus datos textuales se recuperan de la base de datos MEDLINE mediante PubMed como el motor de búsqueda, ambos gestionados por la Biblioteca Nacional de medicina. Sin embargo, la plataforma de CaseOLAP puede aplicarse a otras bases de datos de interés que contienen documentos biomédicos con datos textuales como la FDA adversos evento informes sistema (FAERS). Se trata de una base de datos abierta que contiene información sobre eventos adversos clínicos y de informes de errores de medicación presentados a la FDA. A diferencia de MEDLINE y FAERS, bases de datos que contiene registros electrónicos de salud de pacientes de hospitales no abiertas al público y se limitan por la Health Insurance Portability y Accountability Act, conocida como HIPAA.
Algoritmo de CaseOLAP se ha aplicado con éxito a los diferentes tipos de datos (por ejemplo, noticias)1. La implementación de este algoritmo en documentos biomédicos realizada en 20185. Los requisitos para la aplicabilidad del algoritmo CaseOLAP es que cada uno de los documentos debe asignarse con palabras clave asociada con los conceptos (por ejemplo, descriptores MeSH en publicaciones biomédicas, palabras clave en artículos de prensa). Si no se encuentran palabras, uno puede aplicar Autophrase6,7 para recoger mejores frases representativas y construir la lista de personas antes de implementar el protocolo. Nuestro protocolo no proporciona el paso para realizar Autophrase.
Comparación con otros algoritmos de. El concepto de usar un cubo de datos8,9,10 y texto-cubo2,3,4 ha ido evolucionando desde el año 2005 con nuevos avances para hacer minería de datos más aplicable. El concepto de procesamiento analítico en línea (OLAP)11,12,13,14,15 en minería de datos e inteligencia de negocios se remonta a 1993. OLAP, en general, agrega la información de múltiples sistemas y almacena en un formato multidimensional. Hay diferentes tipos de sistemas OLAP en minería de datos. Por ejemplo procesamiento de transacción/analítica (1) híbrido (HTAP)16,17, de18,de OLAP Multidimensional (MOLAP) (2)19-cubo OLAP relacional (ROLAP) de base y (3)20.
Específicamente, el algoritmo de CaseOLAP se ha comparado con numerosos algoritmos existentes, específicamente, con sus mejoras de segmentación de la frase, incluyendo TF-IDF + Seg, MCX + Seg, MCX y SegPhrase. Por otra parte, RepPhrase (RP, también conocido como SegPhrase +) ha sido comparado con sus propias variaciones de ablación, incluyendo (1) RP sin la medida de integridad incorporada (RP No INT), (2) RP sin la medida de popularidad incorporada (RP No POP) y (3) RP sin la Medida de carácter distintivo incorporado (RP No DIS). Los resultados se muestran en el estudio por Fangbo Tao et al.1.
Todavía hay retos en minería de datos que puede Agregar funcionalidad adicional sobre guardar y recuperar los datos de la base de datos. Sensibles al contexto semántico Analytical Processing, (CaseOLAP) implementa sistemáticamente el Elasticsearch para construir una base de datos de indexación de millones de documentos (protocolo 5). El texto-cubo es una estructura de documento construida sobre los datos indexados con categorías suministrada por el usuario (Protocolo de 6). Esto aumenta la funcionalidad de los documentos dentro y a través de la celda del cubo de texto y nos permiten calcular frecuencia de término de las entidades en un documento y documento frecuencia sobre una celda concreta (protocolo 8). La puntuación final de CaseOLAP utiliza estos cálculos de frecuencia para un marcador final de salida (9 del Protocolo). En el 2018, hemos implementado este algoritmo para estudiar proteínas ECM y seis enfermedades cardiacas para analizar asociaciones de proteína-enfermedad. Los detalles de este estudio pueden encontrarse en el estudio por Liem, D.A. et al.5. lo que indica que CaseOLAP podía ser ampliamente utilizado en la comunidad biomédica, explorando una variedad de enfermedades y mecanismos.
Limitaciones del algoritmo de. Explotación minera de la frase sí mismo es una técnica para administrar y recuperar conceptos importantes de datos textuales. Descubrir la Asociación entidad categoría como una cantidad matemática (vector), esta técnica es incapaz de averiguar la polaridad (por ejemplo, inclinación positiva o negativa) de la asociación. Uno puede construir la síntesis cuantitativa de los datos utilizando la estructura del documento texto-Cude con categorías y entidades asignadas, pero no se logra un concepto cualitativo resulta microscópica. Algunos conceptos están evolucionando continuamente desde pasado hasta ahora. El resumen presentado por la Asociación de una categoría específica de entidad incluye todas las incidencias a lo largo de la literatura. Esto puede carecer la propagación temporal de la innovación. En el futuro, planeamos abordar estas limitaciones.
Aplicaciones futuro. Cerca del 90% de los datos acumulados en el mundo está en los datos de texto no estructurado. Encontrar una frase representativa y relación con las entidades en el texto es una tarea muy importante para la aplicación de nuevas tecnologías (por ejemplo, en el aprender de máquina, extracción de información, Inteligencia Artificial). Para hacer que los datos de texto máquina legible, datos que se organizó en la base de datos sobre los que podría aplicarse la siguiente capa de herramientas. En el futuro, este algoritmo puede ser un paso crucial en la fabricación de minería de datos más funcional para la recuperación de la información y la cuantificación de las asociaciones de categoría de la entidad.

Manual evaluación de millones de archivos de texto para el estudio de la Asociación de categoría de frase (por ejemplo., grupo de edad a la Asociación de la proteína) es incomparable con la eficacia de un método computacional automatizado. Queremos presentarle la plataforma en la nube de contexto semántico Online Analytical Processing (CaseOLAP) como un método de extracción de frase para cómputo automatizado de Asociación de categoría de frase en el contexto biomédico.
La plataforma CaseOLAP, que primero fue definida en 20161, es muy eficiente comparado con los métodos tradicionales de gestión de datos y computación por su gestión funcional llamado texto-cubo2,3, 4, que distribuye los documentos manteniendo la jerarquía y barrios subyacentes. Se ha aplicado en la investigación biomédica5 para estudiar asociación de categoría de la entidad. La plataforma de CaseOLAP consiste en seis pasos principales, incluyendo descarga y extracción de datos, análisis, indexación, creación de texto-cubo, cuenta de la entidad y cálculo de puntaje de CaseOLAP; cual es el objetivo principal del Protocolo (figura 1, figura 2, tabla 1).
Para implementar el algoritmo de CaseOLAP, el usuario establece las categorías de interés (p. ej., enfermedad, signos y síntomas, grupos de edad, diagnóstico) y entidades de interés (por ejemplo, proteínas, medicamentos). Un ejemplo de una categoría incluida en este artículo es el 'Las edades', que tiene 'Infantil', 'niño', 'adolescente', y 'adultos' subcategorías como las células de la texto-Cube y proteína nombres (sinónimos) y abreviaturas como entidades. Medical Subject Headings (MeSH) se implementan para recuperar publicaciones correspondientes a las categorías definidas (tabla 2). Descriptores meSH se organizan en una estructura de árbol jerárquica para permitir la búsqueda de publicaciones en diferentes niveles de especificidad (un ejemplo que se muestra en la figura 3). La plataforma de CaseOLAP utiliza la funcionalidad de indización y búsqueda de datos para la conservación de los documentos relacionados con una entidad que facilitar aún más el documento que la entidad cuenta cartografía y cálculo de puntuación de CaseOLAP.
Los detalles del cálculo de puntuación de CaseOLAP está disponible en anteriores publicaciones1,5. Esta puntuación se calcula utilizando criterios de clasificación específica basados en estructura de documento de texto-cubo subyacente. El resultado final es el producto de la integridad, popularidady carácter distintivo. Integridad describe una entidad representativa sea una integral unidad semántica que colectivamente se refiere a un concepto significativo. La integridad de la frase definida por el usuario es llevado a ser 1.0 porque se destaca como una frase estándar en la literatura. Carácter distintivo representa la importancia relativa de una frase en un subconjunto de documentos en comparación con el resto de las otras células. Primero calcula la relevancia de una entidad a una célula específica mediante la comparación de la ocurrencia del nombre proteína del objetivo conjunto de datos y proporciona una puntuación normalizada de carácter distintivo . Popularidad representa el hecho de que la frase con una puntuación de popularidad aparece más con frecuencia en un subconjunto de documentos. Nombres raros de la proteína en una célula se alinean bajo, mientras que un aumento en su frecuencia de mención tiene un retorno decreciente debido a la implementación de la función logarítmica de frecuencia. Medir cuantitativamente estos tres conceptos depende de la frecuencia (1) término de la entidad sobre una celda y a través de las células y (2) número de documentos que tengan esa entidad (frecuencia de documento) dentro de la célula y a través de las células.
Hemos estudiado dos escenarios representativos mediante un conjunto de datos de PubMed y nuestro algoritmo. Estamos interesados en cómo mitocondriales proteínas se asocian a dos únicas categorías de descriptores MeSH; "Los grupos de edad" y "enfermedades nutricionales y metabólicas". Concretamente, hemos obtenido 15,728,250 publicaciones de publicaciones 20 años recogidos por PubMed (1998 a 2018), entre ellos, resúmenes únicos 8.123.458 han tenido completos descriptores MeSH. Por consiguiente, 1.842 proteína mitocondrial humano nombres (incluyendo las abreviaturas y sinónimos), adquiridos de UniProt (uniprot.org) y MitoCarta2.0 (http://mitominer.mrc-mbu.cam.ac.uk/release-4.0/begin.do >), son sistemáticamente examinado. Sus asociaciones con estas 8.899.019 publicaciones y entidades fueron estudiados usando nuestro protocolo; construye un cubo de texto y calcula los puntajes respectivos de CaseOLAP.

cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications

La rápida acumulación de datos textuales biomédicas ha superado la capacidad humana de curación manual y análisis, que requiere de nuevas herramientas de minería de textos para extraer ideas biológicas de grandes volúmenes de informes científicos. La tubería del contexto semántico Online Analytical Processing (CaseOLAP), desarrollada en el año 2016, cuantifica con éxito relaciones de categoría de frase definida por el usuario a través del análisis de datos textuales. CaseOLAP tiene muchas aplicaciones biomédicas.
Hemos desarrollado un protocolo para un entorno basado en la nube, apoyando la plataforma de análisis y minería de frase end-to-end. Nuestro protocolo incluye preprocesado de datos (por ejemplo, descarga, extracción y análisis de documentos de texto), indexación y búsqueda con Elasticsearch, creando una estructura funcional documento llaman texto-Cube y cuantificar las relaciones de categoría de frase utilizando el algoritmo de CaseOLAP de base.
El preprocesamiento de datos genera asignaciones de clave y valor para todos los documentos involucrados. Los datos preprocesados sea indexados para llevar a cabo una búsqueda de documentos, incluidas las entidades, que facilita aún más la creación de texto-Cube y cálculo de puntuación de CaseOLAP. Los puntajes crudos obtenidos de la CaseOLAP se interpretan utilizando una serie de análisis integrados, incluyendo la reducción de dimensionalidad, clustering, temporal y análisis geográficos. Además, las puntuaciones de CaseOLAP se utilizan para crear una base de datos gráfica, que permite la asignación semántica de los documentos.
CaseOLAP define las relaciones de categoría de frase en una exacta (identifica relaciones), consistente (altamente reproducible) y de manera eficiente (procesos 100.000 palabras por segundo). Siguiendo este protocolo, los usuarios pueden acceder a un entorno de cloud computing para apoyar sus propias configuraciones y aplicaciones de CaseOLAP. Esta plataforma ofrece mayor accesibilidad y empodera a la comunidad biomédica con herramientas de minería de frase para aplicaciones de investigación biomédica generalizada.

Presentamos un protocolo y código de programación asociada así como muestras de metadatos para soportar una identificación automatizada basada en nube de Asociación de la categoría frases que representan conceptos únicos en dominio de conocimiento seleccionado usuario en literatura biomédica. La Asociación de categoría de frase cuantificada por este protocolo puede facilitar en el análisis de la profundidad en el dominio del conocimiento seleccionado.

Minería de frase basado en la nube y el análisis de Asociación de categoría de frase definida por el usuario en publicaciones biomédicas

The rapid accumulation of biomedical textual data has far exceeded the human capacity of manual curation and analysis, necessitating novel text-mining ...

Nuestro protocolo proporciona una medida paso a paso para construir una plataforma de minería de frases basada en la nube para la asociación de categorías de entidades definidas por el usuario, para evaluar la asociación de proteínas, genomas o productos químicos con enfermedades específicas. Las principales ventajas de esta técnica son su mayor eficiencia en comparación con la evaluación manual de la asociación de categorías de entidades, la accesibilidad mejorada y el uso de herramientas de minería de frases para aplicaciones de investigación biomédica generalizadas. Los usuarios pueden seleccionar entidades y categorías de interés dentro de publicaciones biomédicas, o dentro de documentos de texto asociados con palabras clave específicas.Los nuevos usuarios pueden seguir nuestro protocolo y las referencias proporcionadas en el manuscrito, y pueden plantear problemas técnicos dentro de nuestro repositorio GitHub. La demostración visual de esta materia añade más claridad a cómo realizar el protocolo y fomenta la implementación de nuevas herramientas de minería de texto. Para crear un cubo de texto, primero descargue los últimos encabezados de asunto médicos disponibles o el árbol de malla.El código para el árbol de malla 2018 es MESHTree2018. bin, y debe introducirse en el directorio de entrada. Defina las categorías de interés utilizando uno o varios descriptores de malla y recopile los ID de malla para una categoría.Guarde los nombres de las categorías en el textcube_config. json en el directorio config y agregue las categorías recopiladas de los identificadores de malla en una línea separada por un espacio. Guarde el archivo de categoría como categorías.txt en el directorio de entrada. Este algoritmo selecciona automáticamente todos los descriptores de malla descendientes. Asegúrese de que mesh2pmid.json está en el directorio de datos. Si el árbol de malla se ha actualizado con un nombre diferente en el directorio de entrada, asegúrese de que se representa correctamente en la ruta de acceso de datos de entrada en el run_textcube. archivo py.Para crear una estructura de documento denominada text-cube, escriba python run_textcube. py en el terminal para crear una colección de documentos para cada categoría. Un solo documento puede estar comprendido en varias categorías.Una vez completado el paso de creación de cubo de texto, asegúrese de que una celda de la tabla PMID se guarda en el directorio de datos como textcube_cell2pmid.json. Un PMID a la tabla de asignación de celdas se guarda en el directorio de datos como textcube_pmid2cell.json. Una colección de todos los términos de malla descendientes para una celda se guarda en el directorio de datos como meshterms_per_cat.json.Y las estadísticas de datos de cubo de texto se guardan en el directorio de datos como textcube_stat.txt. A continuación, vaya al directorio de registro para leer los mensajes de registro en textcube_log. txt, en caso de que este proceso falle.Si el proceso se completa correctamente, los mensajes de depuración de la creación de cubo de texto se imprimirán en el archivo de registro. Para un recuento de entidades, cree entidades definidas por el usuario, colocando una entidad y sus abreviaturas en una sola línea, separadas por el símbolo de línea vertical. Guarde el archivo de entidad como entidades.txt en el directorio de entrada y asegúrese de que el servidor Elasticsearch se está ejecutando. Si una base de datos indizada denominada PubMed está presente en el servidor Elasticsearch, confirme la presencia del textcube_pmid2cell. json en el directorio de datos e introduzca python run_entitycount.py en el terminal para realizar una operación de recuento de entidades. Cuando se hayan contado todos los documentos de la base de datos de índices y el número de entidades de cada documento y se hayan recopilado los PMID en los que se han encontrado entidades, guarde los resultados finales como recuento de entidades. txt y entityfound_pmid2cell.json en el directorio de datos. A continuación, abra el directorio de registro para leer los mensajes de registro en el entitycount_log. txt, en caso de que este proceso falle.Si el proceso se completa correctamente, los mensajes de depuración del recuento de entidades se imprimirán en el archivo de registro. Asegúrese de que todos los datos de entrada están en el directorio de datos. Estos son los datos de entrada para la actualización de metadatos.Para preparar una colección de metadatos, escriba python run_metadata_update. py en el terminal para actualizar los metadatos. Una vez completada la actualización de metadatos, asegúrese de que el metadata_pmid2pcount.json y metadata_cell2pmid. los archivos json se guardan en el directorio de datos. Vaya al directorio de registro para leer los mensajes de registro en el metadata_update_log.txt, en caso de que este proceso falle. Si el proceso se completa correctamente, los mensajes de depuración de la actualización de metadatos se imprimirán en el archivo de registro. Para el cálculo de la puntuación de procesamiento analítico en línea semántico consciente del contexto, confirme la presencia del metadata_pmid2pcount.json y metadata_cell2pmid. json en el directorio de datos. Estos son los datos de entrada para el cálculo de la puntuación.Introduzca python run_caseolap_score. py en el terminal para realizar un cálculo de la puntuación de procesamiento analítico en línea semántico consciente del contexto de las entidades basadas en categorías definidas por el usuario. La partitura es el producto de la integridad, popularidad y distinción.Una vez completado el cálculo de la puntuación, confirme que los resultados se guardan en el directorio de resultados. A continuación, acceda al directorio de registro para leer los mensajes de registro en el caseolab_score_log. txt, en caso de que este proceso falle.Si el proceso se completa correctamente, los mensajes de depuración del cálculo de la puntuación caseolab se imprimirán en el archivo de registro. Utilizando los metadatos y estadísticas obtenidos de las cuatro subcategorías de grupos de edad para lactantes, niños, adolescentes y adultos, se puede mostrar una comparación del número de documentos entre las celdas de cubo de texto. Aquí, la subcategoría para adultos contiene el número más alto en todas las celdas, con las subcategorías para adultos y adolescentes que tienen el mayor número de documentos compartidos y que contienen la entidad de interés para este análisis representativo.La evaluación de la asociación del grupo de edad proteica como una puntuación de procesamiento analítico en línea semántica consciente del contexto, las 10 proteínas principales asociadas con las subcategorías de lactantes, niños, adolescentes y adultos pudieron determinarse. Aquí se muestran los metadatos y estadísticas obtenidos para las subcategorías de enfermedades nutricionales y metabólicas. La subcategoría enfermedad metabólica contiene casi tres veces más documentos que la subcategoría de trastornos nutricionales.Las subcategorías de enfermedades metabólicas y trastornos nutricionales tienen 7.101 documentos compartidos. En particular, estos documentos incluían la entidad de interés para el estudio representativo. Más de la mitad de todas las proteínas se reparte entre las subcategorías, con casi la mitad de todas las proteínas asociadas en la subcategoría de enfermedad metabólica exclusiva de esa subcategoría, y con la subcategoría de trastornos nutricionales que exhibe sólo unas pocas proteínas únicas.Categorías independientes y distintas, y una colección de todos los sinónimos y abreviaturas de una entidad proporcionarán los mejores resultados. Dado que la asociación de categoría de entidad se presenta como un valor numérico, esto abre la puerta a implementar técnicas de aprendizaje que faltan, como la agrupación en clústeres y el análisis de componentes de principios. Esta técnica facilita el descubrimiento de relaciones ocultas o previamente no identificadas dentro de estas asociaciones, allanando el camino para una comprensión más profunda de los procesos biológicos.

Research

JoVE Journal

Medicine

Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications

Making Sense of Listening: The IMAP Test Battery

Tener sentido de la escucha: la batería de pruebas IMAP

The ability to hear is only the first step towards making sense of the range of information contained in an auditory signal. Of equal importance are the ...

Investigación

Medicina

Generation of Alginate Microspheres for Biomedical Applications

Generación de microesferas de alginato para aplicaciones biomédicas

Alginate-based materials have received considerable attention for biomedical applications because of their hydrophilic nature, biocompatibility, and ...

Quantitative Analysis and Characterization of Atherosclerotic Lesions in the Murine Aortic Sinus

Atherosclerosis is a disease of the large arteries and a major underlying cause of myocardial infarction and stroke. Several different mouse models have ...

The Bovine Lung in Biomedical Research: Visually Guided Bronchoscopy, Intrabronchial Inoculation and In Vivo Sampling Techniques

The Bovine Lung in Biomedical Research: Visually Guided Bronchoscopy, Intrabronchial Inoculation and In Vivo Sampling Techniques

La broncoscopia guiada visualmente, intrabronquial Inoculación e: El pulmón bovino en la Investigación Biomédica<em&gt; En Vivo</em&gt; Técnicas de Muestreo

There is an ongoing search for alternative animal models in research of respiratory medicine. Depending on the goal of the research, large animals as ...

Carotid Artery Infusions for Pharmacokinetic and Pharmacodynamic Analysis of Taxanes in Mice

Infusiones de la arteria carótida para farmacocinéticas y farmacodinámicas Análisis de taxanos en ratones

When proposing the use of a drug, drug combination, or drug delivery into a novel system, one must assess the pharmacokinetics of the drug in the study ...

Whole-brain Segmentation and Change-point Analysis of Anatomical Brain MRI&#8212;Application in Premanifest Huntington's Disease

Todo cerebro segmentación y análisis de punto de cambio anatómico cerebral MRI — aplicación asintomático enfermedad de Huntington

Recent advances in MRI offer a variety of useful markers to identify neurodegenerative diseases. In Huntington&#39;s disease (HD), regional brain atrophy ...

Sampling Strategies and Processing of Biobank Tissue Samples from Porcine Biomedical Models

Estrategias de muestreo y procesamiento de las muestras de tejido de Biobanco de porcinos modelos biomédicos

In translational medical research, porcine models have steadily become more popular. Considering the high value of individual animals, particularly of ...

A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts

Un enfoque de extracción de metadatos de informes clínicos del caso permitir avanzada comprensión de los conceptos biomédicos

Clinical case reports (CCRs) are a valuable means of sharing observations and insights in medicine. The form of these documents varies, and their content ...

Quantitative [18F]-Naf-PET-MRI Analysis for the Evaluation of Dynamic Bone Turnover in a Patient with Facetogenic Low Back Pain

Cuantitativo [18F]-Naf-PET-MRI Análisis para la evaluación de la rotación ósea dinámica en un paciente con dolor de espalda baja facetogénico

Imaging techniques that reflect dynamic bone turnover may aid in characterizing a wide range of bone pathologies. Bone is a dynamic tissue undergoing ...

On-Site Sampling and Extraction of Brain Tumors for Metabolomics and Lipidomics Analysis

Muestreo y extracción in situ de tumores cerebrales para el análisis de metabolómica y lipidómica

Despite the variety of tools available for cancer diagnosis and classification, methods that enable fast and simple characterization of tumors are still ...