Name: cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications
Uploaded: 2019-02-23T14:00:00
Duration: 9 min 20 s
Description: Watch this Scientific Journal Video about Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications at JoVE.com

Detta arbete var stöds delvis av nationella hjärta, lungor och blod Institute: R35 HL135772 (till s. Ping); National Institute of General Medical Sciences: U54 GM114833 (till s. Ping, K. Watson och W. Wang); U54 GM114838 (till J. Han); en gåva från Hellen & Larry Hoag Foundation och Dr. S. liggsoffa; och T.C. Laubisch endowment vid UCLA (till s. Ping).

Obs: Vi har utvecklat detta protokoll baserat på programmeringsspråket Python. När du kör det här programmet har Anaconda Python och Git pre-installerat på enheten. De kommandon som anges i detta protokoll baseras på Unix-miljö. Detta protokoll ger i detalj för att hämta data från PubMed (MEDLINE) databas, analysera data och ställa in en molnbaserade datortjänster plattform för fras gruv- och kvantifiering av användardefinierade enhet-kategori association.
1. att få koden och python miljö setup
<ol><li>Ladda ner eller klon kod arkivet från Github (<a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap</a>) eller genom att skriva 'git klona <a href="https://github.com/CaseOLAP/caseolap.git">https://github.com/CaseOLAP/caseolap.git</a>' i terminal-fönstret.</li>
	<li>Navigera till katalogen 'caseolap'. Detta är rotkatalogen på projektet. I denna katalog fylls katalogen 'data' med flera datamängder som du framsteg genom dessa steg i protokollet. Den 'input' katalogen är för användaren data. 'Logga' katalogen har loggfiler för felsökning. Den 'resultat' katalogen är där de slutliga resultaten kommer att lagras.</li>
	<li>Använda terminal-fönstret, gå till katalogen där du klonad våra GitHub-databasen. Skapa en CaseOLAP miljö med hjälp av 'environment.yml'-filen genom att skriva 'conda env skapa -f environment.yaml' i terminal. Aktivera sedan miljön genom att skriva 'Källa aktivera caseolap' i terminalen.</li>
</ol>2. nedladdning av dokument
<ol><li>Kontrollera att FTP-adressen i 'ftp_configuration.json' i konfigurationskatalogen är samma som årliga baslinjen eller dagliga uppdateringsfiler länkadressen, Funna i länken (<a href="https://www.nlm.nih.gov/databases/download/pubmed_medline.html">https://www.nlm.nih.gov/databases/download/pubmed_medline.html</a>) .</li>
	<li>För att ladda ner uppdateringen eller originalplan endast anges filer enbart 'sann' i 'download_config.json'-filen i katalogen 'config'. Som standard, den hämtar och extraherar både vid baslinjen och uppdatera filer. Ett urval av extraherade XML-data kan ses på (<a href="https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml">https://github.com/CaseOLAP/caseolap-pipelines/blob/master/data/extracted-data-sample.xml</a>)</li>
	<li>Skriv 'python run_download.py' i terminalfönstret för att hämta abstracts från databasen Pubmed. Detta kommer att skapa en katalog som heter 'ftp.ncbi.nlm.nih.gov' i den aktuella katalogen. Denna process kontrollerar integriteten för den nedladdade data och extrakt det till målkatalogen.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'download_log.txt' hämtningsprocessen misslyckas. Om processen slutförs utan problem, kommer att felsökning meddelanden av nedladdningen skrivas ut i loggfilen.</li>
	<li>När nedladdningen är klar, navigera genom 'ftp.ncbi.nlm.nih.gov' för att se till att det är 'updatefiles' eller 'basefiles' eller båda katalogerna utifrån ladda ner konfigurationen i 'download_config.json'. Fil statistiken blir tillgänglig på 'filestat.txt' i katalogen 'data'.</li>
</ol>3. analysera dokument
<ol><li>Kontrollera att hämtade och extraherade data finns på 'ftp.ncbi.nlm.nih.gov' katalog från steg 2. Denna katalog är katalogen indata i det här steget.</li>
	<li>Data-parsning schemat väljer du parametrar i 'parsing_config.json'-filen i katalogen 'config' genom att ange deras värde på 'true'. Som standard den tolkar den PMID, författare, abstrakt, MeSH, läge, tidning, publiceringsdatum.
</li>
	<li>Skriv 'python run_parsing.py' i terminalen för att parsa dokument från nedladdade (eller extraherade) filer. Här steget tolkar alla nedladdade XML-filer och skapar en python ordbok för varje dokument med nycklar (e.g., PMID, författare, abstrakt, MeSH av filen baserat på parsning schema installationen vid steg 3,2).</li>
	<li>När data parsning är klar, kontrollera att analyserad data sparas i en fil som heter 'pubmed.json' i datakatalogen. Ett urval av analyserad data finns på figur 3.
</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'parsing_log.txt' i parsning processen misslyckas. Om processen slutförs utan problem, ska felsökningsmeddelanden skrivas i loggfilen.</li>
</ol>4. mesh PMID-mappningen
<ol><li>Kontrollera att analyserad data ('pubmed.json') är tillgängliga på katalogen 'data'.</li>
	<li>Skriv 'python run_mesh2pmid.py' i terminalen för att utföra MeSH PMID-mappningen. Detta skapar en Mappningstabell där var och en av MeSH samlar associerade PMIDs. En enda PMID kan omfattas av flera MeSH-termer.</li>
	<li>När kartläggningen är klar, se till att det är 'mesh2pmid.json' i datakatalogen. Ett urval av topp 20 mappning statistiken finns i tabell-2, figurerna 4 och 5.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'mesh2pmid_mapping_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökning meddelanden av kartläggning skrivas ut i loggfilen.</li>
</ol>5. dokument indexering
<ol><li>Hämta programmet Elasticsearch från <a href="https://www.elastic.co/downloads">https://www.elastic.co</a>. Nedladdningen är för närvarande tillgänglig på (<a href="https://www.elastic.co/downloads/elasticsearch">https://www.elastic.co/downloads/elasticsearch</a>). För att ladda ner programvaran i remote molnet, skriv 'wget <a href="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz">https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-x.x.x.tar.gz</a>' i terminalen. Kontrollera att 'x.x.x' i kommandot ovan ersätts med rätt versionsnummer.</li>
	<li>Kontrollera att den Hämta 'elasticsearch-x.x.x.tar.gz'-filen visas i rotkatalogen och sedan extrahera filerna genom att skriva 'tar xvzf elasticsearch-x.x.x.tar.gz' i terminal-fönstret.</li>
	<li>Öppna en ny terminal och gå till ElasticSearch bin-katalogen genom att skriva 'cd Elasticsearch/bin' i terminalen från rotkatalogen.</li>
	<li>Starta Elasticsearch servern genom att skriva '. / Elasticsearch' i terminal-fönstret. Kontrollera att servern är igång utan felmeddelanden. Vid fel på starta Elasticsearch server, Följ instruktionerna på (<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html">https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html</a>).</li>
	<li>Ändra innehållet i den 'index_init_config.json' i 'config' directory ställa index initiering. Som standard väljs alla objekt som finns.</li>
	<li>Skriv 'python run_index_init.py' i terminalen för att initiera en index-databas i Elasticsearch servern. Detta initierar indexet med en uppsättning kriterier som kallas indexinformation (t.ex. Indexnamn som, typ, antal skärvor, antal repliker). Du kommer att se meddelandet att nämna index skapas.</li>
	<li>Markera objekt i den 'index_populate_config.json' i 'config' katalogen genom att ange deras värde på 'true'. Som standard väljs alla objekt som finns.</li>
	<li>Kontrollera att analyserad data ('pubmed.json') är närvarande i katalogen 'data'.</li>
	<li>Skriv 'python run_index_populate.py' i terminalen för att befolka index genom att skapa stora mängder data med två komponenter. En första komponenten är en ordlista med metadatainformation om Indexnamn, typ, och bulk-id (t.ex. 'PMID'). A andra komponenten är en dataordlista som innehåller all information om Taggar (t.ex. 'title', 'abstrakt', 'MeSH').
</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'indexing_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökning meddelanden av indexering skrivas ut i loggfilen.</li>
</ol>6. text-cube skapandet
<ol><li>Hämta den senaste MeSH Tree finns på (<a href="https://www.nlm.nih.gov/mesh/filelist.html">https://www.nlm.nih.gov/mesh/filelist.html</a>). Den aktuella versionen av koden använder MeSH Tree 2018 som 'meshtree2018.bin' i katalogen ingång.</li>
	<li>Definiera kategorierna av intresse (t.ex. sjukdom namn, åldersgrupper, kön). En kategori kan innehålla en eller flera MeSH deskriptorer (<a href="https://meshb-prev.nlm.nih.gov/treeView">https://meshb-prev.nlm.nih.gov/treeView</a>). Samla MeSH-ID för en kategori. Spara namnen på kategorierna i filen 'textcube_config.json' i konfigurationskatalogen (se urval av kategorin 'Åldersgrupp' i den nedladdade versionen av 'textcube_config.json'-fil).</li>
	<li>Sätta de insamlade kategorierna av MeSH-ID i en linje som avgränsade med ett blanksteg. Spara filen kategori som 'categories.txt' i 'input' katalogen (se urval av 'Åldersgrupp' MeSH-ID: N i den nedladdade versionen av 'categories.txt'-fil). Denna algoritm väljs automatiskt alla underordnade MeSH deskriptorer. Ett exempel på rotnoder och ättlingar presenteras i figur 4.
</li>
	<li>Kontrollera att 'mesh2pmid.json' är i katalogen 'data'. Om trädet MeSH har uppdaterats med ett annat namn (t.ex., 'meashtree2019.bin') i 'input' directory, se till att detta är väl representerade i indata sökvägen i filen 'run_textube.py'.</li>
	<li>Skriv 'python run_textcube.py' i terminalen för att skapa ett dokument-datastruktur kallas Text-Cube. Detta skapar en samling dokument (PMIDs) för varje kategori. Ett enda dokument (PMID) kan falla under flera kategorier (se tabell 3A, tabell 3B, figur 6A och figur 7A).
</li>
	<li>När Text-Cube skapande steg är klar, se till att följande datafiler sparas i katalogen 'data': (1) en cell PMID tabellen ”textcube_cell2pmid.json”, (2) en PMID till cell mappningstabellen som ”textcube_pmid2cell.json”, (3) en samling av alla underordnade MeSH-termer för en cell som ”meshterms_per_cat.json”, (4) Text-Cube data statistik som ”textcube_stat.txt”.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'textcube_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökningsmeddelanden skapelsens Text-kuben skrivas ut i loggfilen.</li>
</ol>7. enhet antal
<ol><li>Skapa användardefinierade enheter (t.ex. protein namn, gener, kemikalier). Sätta en person och dess förkortningar i en enda rad avgränsas med ”|”. Spara filen enhet som 'entities.txt' i 'input' katalog. Ett urval av enheter kan hittas i tabell 4.
</li>
	<li>Kontrollera att Elasticsearch server körs. Gå annars till steg 5.2 och 5.3 starta om Elasticsearch servern. Det förväntas ha en indexerad databas som kallas 'pubmed' i serverns Elasticsearch som var etablerad i steg 5.</li>
	<li>Kontrollera att 'textcube_pmid2cell.json' är i katalogen 'data'.</li>
	<li>Skriv 'python run_entitycount.py' i terminalen för entiteten Count-åtgärd. Detta söker dokumenten från indexerade databasen och räknar entiteten i varje dokument som samlar in de PMIDs där enheter hittades.</li>
	<li>När antalet enhet är klar, se till att de slutliga resultaten sparas som 'entitycount.txt' och 'entityfound_pmid2cell.json' i katalogen 'data'.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'entitycount_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökning meddelanden av entiteten räkningen skrivas ut i loggfilen.</li>
</ol>8. Metadata update
<ol><li>Kontrollera att alla indata ('entitycount.txt', 'textcube_pmid2cell.json', 'entityfound_pmid2cell.txt') är i katalogen 'data'. Dessa är indata för Metadata Update.</li>
	<li>Skriv 'python run_metadata_update.py' i terminalen för att uppdatera metadata. Detta förbereder en samling av metadata (t.ex. cellnamn, associerade MeSH, PMIDs) som representerar varje textdokument i cellen. Ett urval av Text-Cube metadata presenteras i tabell 3A och tabell 3B.
</li>
	<li>När Metadata uppdateringen är klar, se till att 'metadata_pmid2pcount.json' och 'metadata_cell2pmid.json' filer sparas i 'data' katalog.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'metadata_update_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökning meddelanden av uppdatering av metadata skrivas ut i loggfilen.</li>
</ol>9. CaseOLAP poäng beräkning
<ol><li>Kontrollera att 'metadata_pmid2pcount.json' och 'metadata_cell2pmid.json' filer finns i katalogen 'data'. Dessa är indata för beräkning av poäng.</li>
	<li>Skriv 'python run_caseolap_score.py' i terminalen för att utföra CaseOLAP poäng beräkning. Detta beräknar CaseOLAP poäng av enheter baserat på användardefinierade kategorier. CaseOLAP är produkten av integritet, popularitetoch särskiljningsförmåga.</li>
	<li>När poäng uträkningen är klar, se till att detta sparar resultaten i flera filer (t.ex. popularitet som 'pop.csv', särskiljningsförmåga som 'dist.csv', CaseOLAP poäng som 'caseolap.csv'), i katalogen 'leda'. Sammanfattningen av CaseOLAP poäng beräkningen presenteras också i tabell 5.</li>
	<li>Gå till loggkatalogen '' att läsa loggmeddelanden i 'caseolap_score_log.txt' denna processen misslyckas. Om processen slutförs utan problem, kommer att felsökningsmeddelanden CaseOLAP poäng beräkning skrivas ut i loggfilen.</li>
</ol>

<ol>
	<li>Tao, F., Zhuang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Phrase-Based+Summarization+in+Text+Cubes.">Phrase-Based Summarization in Text Cubes.</a> IEEE Data Engineering Bulletin. , 74-84 (2016).</li><li>Ding, B., Zhao, B., Lin, C. X., Han, J., Zhai, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TopCells:+Keyword-based+search+of+top-k+aggregated+documents+in+text+cube.">TopCells: Keyword-based search of top-k aggregated documents in text cube.</a> IEEE 26th International Conference on Data Engineering (ICDE). , 381-384 (2010).</li><li>Ding, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Efficient+Keyword-Based+Search+for+Top-K+Cells+in+Text+Cube.">Efficient Keyword-Based Search for Top-K Cells in Text Cube.</a> IEEE Transactions on Knowledge and Data Engineering. 23 (12), 1795-1810 (2011).</li><li>Liu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Text+Cube+Approach+to+Human,+Social+and+Cultural+Behavior+in+the+Twitter+Stream.Social+Computing,+Behavioral-Cultural+Modeling+and+Prediction.">A Text Cube Approach to Human, Social and Cultural Behavior in the Twitter Stream.Social Computing, Behavioral-Cultural Modeling and Prediction.</a> Lecture Notes in Computer Science. 7812, (2013).</li><li>Liem, D. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Phrase+Mining+of+Textual+Data+to+analyze+extracellular+matrix+protein+patterns+across+cardiovascular+disease.">Phrase Mining of Textual Data to analyze extracellular matrix protein patterns across cardiovascular disease.</a> American Journal of Physiology-Heart and Circulatory. , (2018).</li><li>Shang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+Phrase+Mining+from+Massive+Text+Corpora.">Automated Phrase Mining from Massive Text Corpora.</a> IEEE Transactions on Knowledge and Data Engineering. 30 (10), 1825-1837 (2018).</li><li>Liu, J., Shang, J., Wang, C., Ren, X., Han, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mining+Quality+Phrases+from+Massive+Text+Corpora.">Mining Quality Phrases from Massive Text Corpora.</a> Proceedings ACM-Sigmod International Conference on Management of Data. , 1729-1744 (2015).</li><li>Lee, S., Kim, N., Kim, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Multi-dimensional+Analysis+and+Data+Cube+for+Unstructured+Text+and+Social+Media.">A Multi-dimensional Analysis and Data Cube for Unstructured Text and Social Media.</a> IEEE Fourth International Conference on Big Data and Cloud Computing. , 761-764 (2014).</li><li>Lin, C. X., Ding, B., Han, J., Zhu, F., Zhao, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Text+Cube:+Computing+IR+Measures+for+Multidimensional+Text+Database+Analysis.">Text Cube: Computing IR Measures for Multidimensional Text Database Analysis.</a> IEEE Data Mining. , 905-910 (2008).</li><li>Hsu, W. J., Lu, Y., Lee, Z. Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Accelerating+Topic+Exploration+of+Multi-Dimensional+Documents+Parallel+and+Distributed+Processing+Symposium+Workshops+(IPDPSW).">Accelerating Topic Exploration of Multi-Dimensional Documents Parallel and Distributed Processing Symposium Workshops (IPDPSW).</a> IEEE International. , 1520-1527 (2017).</li><li>Chaudhuri, S., Dayal, U. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+overview+of+data+warehousing+and+OLAP+technology.">An overview of data warehousing and OLAP technology.</a> SIGMOD Record. 26 (1), 65-74 (1997).</li><li>Ravat, F., Teste, O., Tournier, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Olap+aggregation+function+for+textual+data+warehouse.">Olap aggregation function for textual data warehouse.</a> ICEIS - 9th International Conference on Enterprise Information Systems, Proceedings. , 151-156 (2007).</li><li>Ho, C. T., Agrawal, R., Megiddo, N., Srikant, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Range+Queries+in+OLAP+Data+Cubes.">Range Queries in OLAP Data Cubes.</a> SIGMOD Conference. , (1997).</li><li>Saxena, V., Pratap, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Olap+Cube+Representation+for+Object-+Oriented+Database.">Olap Cube Representation for Object- Oriented Database.</a> International Journal of Software Engineering &amp; Applications. 3 (2), (2012).</li><li>Maniatis, A. S., Vassiliadis, P., Skiadopoulos, S., Vassiliou, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advanced+visualization+for+OLAP.">Advanced visualization for OLAP.</a> DOLAP. , (2003).</li><li>Bog, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Benchmarking Transaction and Analytical Processing Systems: The Creation of a Mixed Workload Benchmark and its Application. , 7-13 (2013).</li><li>&#214;zcan, F., Tian, Y., T&#246;z&#252;n, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hybrid+Transactional/Analytical+Processing:+A+Survey.">Hybrid Transactional/Analytical Processing: A Survey.</a> In Proceedings of the ACM International Conference on Management of Data (SIGMOD). , 1771-1775 (2017).</li><li>Hasan, K. M. A., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+Efficient+Implementation+for+MOLAP+Basic+Data+Structure+and+Its+Evaluation.">An Efficient Implementation for MOLAP Basic Data Structure and Its Evaluation.</a> International Conference on Database Systems for Advanced Applications. , 288-299 (2007).</li><li>Nantajeewarawat, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advances+in+Databases:+Concepts,+Systems+and+Applications.+DASFAA+2007.">Advances in Databases: Concepts, Systems and Applications. DASFAA 2007.</a> Lecture Notes in Computer Science. 4443, (2007).</li><li>Shimada, T., Tsuji, T., Higuchi, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+storage+scheme+for+multidimensional+data+alleviating+dimension+dependency.">A storage scheme for multidimensional data alleviating dimension dependency.</a> Third International Conference on Digital Information Management. , 662-668 (2007).</li></ol>

Författarna har något att avslöja.

Vi har visat att den CaseOLAP algoritmen kan skapa en fras baserat kvantitativa association är en kunskapsbaserad kategori över stora volymer av textdata för utvinning av meningsfulla insikter. Efter våra protokoll, kan man bygga CaseOLAP ramen för att skapa en önskad Text-kub och kvantifiera entitet-kategori föreningar genom CaseOLAP poäng beräkning. De erhållna CaseOLAP Råpoäng kan tas till integrativ analyser inklusive dimensionalitet minskning, klustring, tidsmässiga och geografiska analys, samt skapandet av en grafisk databas som möjliggör semantiska kartläggning av dokumenten.
Tillämplighet av algoritmen. Exempel på användardefinierade enheter, än proteiner, kan vara en lista av genen namn, droger, särskilda tecken och symtom inklusive deras förkortningar och synonymer. Dessutom finns det många alternativ för kategorin markering att underlätta specifika användardefinierade biomedicinska analyser (t.ex. anatomi [A], disciplin och ockupationen [H], fenomen och processer [G]). I våra två användningsfall, alla vetenskapliga publikationer och deras textbaserade data hämtas från databasen MEDLINE via PubMed som sökmotor, båda förvaltas av National Library of Medicine. CaseOLAP plattformen får dock tillämpas till andra databaser av intresse som innehåller biomedicinsk dokument med textbaserade data såsom den FDA negativa Event Reporting System (FAERS). Detta är en öppen databas som innehåller information om medicinska biverkningar och medicinering felrapporter till FDA. I motsats till MEDLINE och FAERS, databaser på sjukhus som innehåller elektroniska patientjournaler från patienter är inte öppna för allmänheten och är begränsade av Health Insurance Portability och Accountability Act kallas HIPAA.
CaseOLAP algoritm har tillämpats framgångsrikt på olika typer av data (t.ex. nyhetsartiklar)1. Genomförandet av denna algoritm i biomedicinsk dokument har gjorts i 20185. Kraven för tillämpligheten av CaseOLAP algoritm är att varje dokument bör tilldelas med nyckelord som är associerade med begreppen (MeSH beskrivare i biomedicinsk publikationer, sökord i nyhetsartiklar). Om nyckelord inte finns, kan man tillämpa Autophrase6,7 för att samla in övre representativa fraser och bygga entitetslistan innan du implementerar våra protokoll. Våra protokoll ger inte steget för att utföra Autophrase.
Jämförelse med andra algoritmer. Begreppet med en datakub8,9,10 och en Text-Cube2,3,4 har utvecklats sedan 2005 med nya framsteg att göra datautvinning mer tillämpbar. Begreppet Online Analytical Processing (OLAP)11,12,13,14,15 i datautvinning och business intelligence går tillbaka till 1993. OLAP, i allmänhet, aggregerar information från flera system och lagrar den i en multi-dimensionell format. Det finns olika typer av OLAP-system som genomförts i datautvinning. Till exempel (1) Hybrid transaktionen/analytisk bearbetning (HTAP)16,17, (2) flerdimensionell OLAP (MOLAP)18,19-kub baserat, och (3) Relations-OLAP (ROLAP)20.
Specifikt, CaseOLAP algoritmen har jämförts med ett flertal befintliga algoritmer, specifikt, med deras fras segmentering förbättringar, inklusive TF-IDF + Seg, MCX + Seg, MCX och SegPhrase. Dessutom RepPhrase (RP, även känd som SegPhrase +) har jämförts med dess egna ablation variationer, inklusive (1) RP utan integritet åtgärden införlivas (RP No INT), (2) RP utan popularitet åtgärden införlivas (RP nr POP) och (3) RP utan den Särskiljningsförmåga åtgärd införlivats (RP nr DIS). Resultaten visas i studien av Fangbo Tao et al.1.
Det finns fortfarande utmaningar på datautvinning som kan lägga till ytterligare funktionalitet över spara och hämta data från databasen. Kontextmedvetna semantiska Analytical Processing (CaseOLAP) genomför systematiskt Elasticsearch för att bygga en indexering databas med miljontals dokument (protokoll 5). Text-kuben är en dokumentstruktur byggd över indexerade data med användaren kategorier (protokoll 6). Detta förbättrar funktionaliteten till handlingar inom och över cellen av Text-kuben och tillåta oss att beräkna term frekvens enheter över ett dokument och dokumentet frekvens över en viss cell (protokoll nr 8). CaseOLAP slutresultatet använder tredjeparts dessa frekvens beräkningar att mata en slutpoäng (protokoll nr 9). 2018 genomfört vi denna algoritm för att studera ECM proteiner och sex hjärtsjukdomar att analysera protein-sjukdom föreningar. Detaljerna i denna studie kan hittas i studien av Liem, D.A. et al.5. indikerar att CaseOLAP kan användas allmänt i biomedicinska gemenskapen att utforska en mängd sjukdomar och mekanismer.
Begränsningar av algoritmen. Fras gruvdrift själv är en teknik att hantera och hämta viktiga begrepp från textbaserade data. Samtidigt upptäcka enhet-kategori association som en matematisk kvantitet (vector), är denna teknik inte att räkna ut polaritet (t.ex., positiv eller negativ lutning) föreningen. Man kan bygga den kvantitativa Sammanfattning av data använder Text-Cude dokumentstrukturen med tilldelade enheter och kategorier, men ett kvalitativa koncept med mikroskopiska granularities inte kan nås. Några begrepp utvecklas kontinuerligt från tidigare till nu. Den sammanfattning som presenteras för en specifik enhet-kategori förening omfattar alla incidenter under hela litteraturen. Detta kanske saknar temporal förökningen av innovation. I framtiden planerar vi att ta itu med dessa begränsningar.
Framtida tillämpningar. Omkring 90% av de ackumulerade data i världen är i ostrukturerad textdata. Att hitta en representativ fras och relation till de enheter som är inbäddade i texten är en mycket viktig uppgift för genomförande av ny teknik (t.ex., Machine Learning, Information utvinning, artificiell intelligens). För att göra text-data maskin läsbar, behöver data organiseras i databasen som nästa lager av verktyg kunde genomföras. Denna algoritm kan i framtiden vara ett avgörande steg i att göra datautvinning mer funktionell för hämtning av information och kvantifiering av de entitet-kategori föreningarna.

Manuell utvärdering av miljontals textfiler för studien av fras-kategori association (e.g., åldersgrupp till protein association) är makalös med effektivitet som tillhandahålls av en automatiserad beräkningsmöjlighet. Vi vill införa den molnbaserade kontextmedvetna semantiska Online Analytical Processing (CaseOLAP) plattformen som fras-mining metod för automatisk uträkning av fras-kategori association i biomedicinsk samband.
Den CaseOLAP plattformen, som först definierades i 20161, är mycket effektiv jämfört med de traditionella metoderna för datahantering och uträkningen på grund av dess funktionella dokumenthantering kallas Text-Cube2,3, 4, som distribuerar dokumenten bibehållen underliggande hierarkin och stadsdelar. Det har tillämpats i biomedicinsk forskning5 att studera entitet-kategori association. CaseOLAP plattformen består av sex stora steg inklusive nedladdning och extraktion av data, parsning, indexering, Text-Cube skapande, enhet antal och CaseOLAP poäng beräkning; som är i fokus i protokollet (figur 1, figur 2, tabell 1).
För att genomföra CaseOLAP algoritmen, ställer användaren in kategorier av intresse (t.ex. sjukdom, tecken och symtom, åldersgrupper, diagnos) och personer av intresse (till exempel proteiner, droger). Ett exempel på en kategori som ingår i denna artikel är 'Åldersgrupper', som har 'Barn', 'barn', 'ungdomar', och 'vuxen' underkategorier som celler av Text-Cube och protein namn (synonymer) och förkortningar som enheter. Medical Subject Headings (MeSH) genomförs för att hämta publikationer som motsvarar de angivna kategorierna (tabell 2). MeSH deskriptorer är organiserade i en hierarkisk trädstruktur för att tillåta sökning efter publikationer vid olika nivåer av specificitet (ett urval visas i figur 3). CaseOLAP plattformen använder tredjeparts data indexering och Sök funktionen för curation av de dokument som är associerade med en entitet som ytterligare underlättar dokument enhet räkna kartläggning och CaseOLAP poäng beräkning.
Detaljerna i CaseOLAP poäng beräkning finns i tidigare publikationer1,5. Denna poäng beräknas använda specifika rankingkriterier baserat på underliggande Text-Cube dokumentstruktur. Slutresultatet är en produkt av integritet, popularitetoch särskiljningsförmåga. Integritet beskriver om en representativ enhet är en semantisk enhet som kollektivt refererar till ett meningsfullt koncept. Integritet i användardefinierade frasen tas vara 1.0 eftersom det står som en vanlig fras i litteraturen. Särskiljningsförmåga representerar den relativa betydelsen av en fras i en delmängd av dokument jämfört med resten av de andra cellerna. Den första beräknar relevansen av en entitet till en viss cell genom att jämföra förekomsten av protein namnet i målet datauppsättningen och ger en normaliserad särskiljningsförmåga poäng. Popularitet representerar det faktum att frasen med en högre popularitet poäng visas oftare i en delmängd av dokument. Sällsynt protein namn i en cell rankas lågt, medan en ökning av deras frekvens nämna har en avtagande avkastning på grund av genomförandet av den logaritmiska funktionen frekvens. Kvantitativt mäta dessa tre begrepp beror på (1) termen frekvensen för entiteten över en cell och mellan cellerna och (2) antalet dokument som har denna enhet (dokument frekvens) inom cellen och mellan cellerna.
Vi har studerat två representativa scenarier med hjälp av en PubMed-datamängd och vår algoritm. Vi är intresserade i hur mitokondrie proteiner är associerade med två unika kategorier av MeSH deskriptorer; ”Åldersgrupper” och ”närings- och metabola sjukdomar”. Specifikt vi Hämtad 15,728,250 publikationer från 20 års publikationer samlas in av PubMed (1998 till 2018), bland dem, 8,123,458 unika abstracts har haft full MeSH deskriptorer. Således 1 842 mänskligt mitokondrie protein namn (inklusive förkortningar och synonymer), förvärvade från UniProt (har) samt MitoCarta2.0 (http://mitominer.mrc-mbu.cam.ac.uk/release-4.0/begin.do >), systematiskt undersökt. Sammanslutningar med dessa 8,899,019 publikationer och enheter studerades med hjälp av våra protokoll. Vi konstruerade en Text-kub och beräknas respektive CaseOLAP poängen.

cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications

Snabb ackumulation av biomedicinska textbaserade data har långt överskridit den mänskliga förmågan av manuell samlingsvård och analys, vilket nödvändiggör nya textutvinning verktyg för att extrahera biologiska insikter från stora volymer av vetenskapliga rapporter. Rörledningen kontextmedvetna semantiska Online Analytical Processing (CaseOLAP), utvecklat under 2016, kvantifierar framgångsrikt användardefinierade fras-kategori relationer genom analys av textdata. CaseOLAP har många biomedicinska tillämpningar.
Vi har utvecklat ett protokoll för en molnbaserade miljö som stöder slutpunkt till slutpunkt fras-gruv- och analyser plattform. Våra protokoll innehåller data förbehandling (t.ex. nedladdning, utvinning och parsning textdokument), indexering och sökning med Elasticsearch, att skapa en funktionell dokumentstrukturen kallas Text-Cube och kvantifiera fras-kategori relationer med core CaseOLAP algoritm.
Våra data förbehandling genererar nyckel-värde-mappningar för alla dokument som är inblandade. Förbearbetade data indexeras för att utföra en sökning av dokument, inklusive enheter, vilket ytterligare underlättar Text-Cube skapandet och CaseOLAP poäng beräkning. De erhållna CaseOLAP Råpoäng tolkas med hjälp av en serie av integrativ analyser, inklusive dimensionalitet minskning, klustring, temporal, och geografiska analyser. Dessutom används CaseOLAP poängen för att skapa en grafisk databas, vilket möjliggör semantiska kartläggning av dokumenten.
CaseOLAP definierar fras-kategori relationer på ett korrekt (identifierar relationer), konsekvent (mycket reproducerbara), och effektivt sätt (processer 100.000 ord per sekund). Efter detta protokoll, kan användare komma åt en molnbaserade miljö för att stödja sina egna konfigurationer och tillämpningar av CaseOLAP. Denna plattform erbjuder ökad tillgänglighet och ger biomedicinska gemenskapen med fras-mining verktyg för utbredd biomedicinsk forskning.

Watch this Scientific Journal Video about Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications at JoVE.com

Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications

Vi presenterar ett protokoll samt associerade programmeringskod och metadata prover att stödja en moln-baserade automatisk identifiering av fraser-kategori intresseorganisation unika koncept i användarens valda kunskap domän i biomedicinsk litteratur. Fras-kategori föreningen kvantifieras i detta protokoll kan underlätta fördjupad analys i domänen valda kunskap.

Molnbaserade fras gruvdrift och analys av användardefinierade fras-kategori Association i biomedicinsk publikationer

The rapid accumulation of biomedical textual data has far exceeded the human capacity of manual curation and analysis, necessitating novel text-mining ...

Vårt protokoll ger en steg-för-steg-åtgärd för att bygga en molnbaserad fras mining plattform för användardefinierade enhet kategori association, att utvärdera associering av proteiner, genom eller kemikalier med specifika sjukdomar. De viktigaste fördelarna med denna teknik är dess förbättrade effektivitet jämfört med manuell enhet kategori förening utvärdering, förbättrad tillgänglighet och användning av fras gruvverktyg för utbredd biomedicinsk forskning applikationer. Användare kan välja entiteter och intressekategorier inom biomedicinska publikationer, eller inom textdokument som är kopplade till specifika nyckelord.Nya användare kan följa vårt protokoll och de referenser som finns i manuskriptet, och de kan ta upp tekniska frågor inom vårt GitHub-förråd. Visuell demonstration av denna fråga ger mer klarhet till hur man utför protokollet, och uppmuntrar genomförandet av nya text mining verktyg. Om du vill skapa en textkub hämtar du först de senaste tillgängliga medicinska ämnesrubrikerna eller nätträdet.Koden för meshträd 2018 är MESHTree2018. lagerplats, och bör skrivas in i input-katalogen. Definiera intressekategorierna med hjälp av en eller flera nätbeskrivare, och samla in nät-ID:ar för en kategori.Spara namnen på kategorierna i textcube_config. json-fil i katalogen Config, och lägga till de insamlade kategorierna av nät-ID:na i en rad som skiljs åt av ett blanksteg. Spara kategorifilen som kategorier.txt i inputkatalogen. Den här algoritmen väljer automatiskt alla underordnade nätbeskrivare. Se till att mesh2pmid.json finns i datakatalogen. Om nätträdet har uppdaterats med ett annat namn i indatakatalogen kontrollerar du att detta är korrekt representerat i inmatningsdatasökvägen i run_textcube. py-filen.Om du vill skapa en dokumentstruktur som kallas textkub anger du python run_textcube. py i terminalen för att skapa en samling dokument för varje kategori. Ett enskilt dokument kan falla under flera kategorier.När steget för att skapa textkub har slutförts kontrollerar du att en cell till TABELLEN PMID sparas i datakatalogen som textcube_cell2pmid.json. Ett PMID till cellmappningstabellen sparas i datakatalogen som textcube_pmid2cell.json. En samling av alla underordnade nättermer för en cell sparas i datakatalogen som meshterms_per_cat.json.Och datastatistiken för textkuber sparas i datakatalogen som textcube_stat.txt. Gå sedan till loggkatalogen för att läsa loggmeddelandena i textcube_log. txt, ifall denna process misslyckas.Om processen slutförs utan framgång kommer felsökningsmeddelandena för textkubsverktyget att skrivas ut i loggfilen. För en entitetsräkning skapar du användardefinierade entiteter, placerar en entitet och dess förkortningar på en enda rad, åtskilda av den lodräta linjesymbolen. Spara entitetsfilen som entiteter.TXT i indatakatalogen, och se till att Elasticsearch-servern körs. Om en indexerad databas som heter PubMed finns i Elasticsearch-servern, bekräfta förekomsten av textcube_pmid2cell. json-fil i datakatalogen, och ange python run_entitycount.py i terminalen för att utföra en entitetsräkningsåtgärd. När alla dokument från indexdatabasen, och antalet entiteter i varje dokument har räknats, och de PMID-enheter där entiteter hittades har samlats in, sparar du de slutliga resultaten som entitetsräkning. txt och entityfound_pmid2cell.json i datakatalogen. Öppna sedan loggkatalogen för att läsa loggmeddelandena i entitycount_log. txt, ifall denna process misslyckas.Om processen slutförs utan fel kommer felsökningsmeddelandena för entitetens antal att skrivas ut i loggfilen. Kontrollera att alla indata finns i datakatalogen. Dessa är de indata för metadatauppdateringen.Om du vill förbereda en samling metadata anger du python run_metadata_update. py i terminalen för att uppdatera metadata. Kontrollera att metadata_pmid2pcount när uppdateringen av metadata är klar.json och metadata_cell2pmid. json-filer sparas i datakatalogen. Gå till loggkatalogen för att läsa loggmeddelandena i metadata_update_log.txt-fil, ifall denna process misslyckas. Om processen slutförs utan fel kommer felsökningsmeddelandena för uppdateringen av metadata att skrivas ut i loggfilen. För kontextmedveten semantisk online analytisk bearbetning poäng beräkning, bekräfta förekomsten av metadata_pmid2pcount.json och metadata_cell2pmid. json-filer i datakatalogen. Dessa är ingångsdata för poängberäkningen.Ange python run_caseolap_score. py i terminalen för att utföra en kontextmedveten semantisk online analytisk bearbetning poäng beräkning av enheterna baserat på användardefinierade kategorier. Poängen är produkten av integritet, popularitet och särskiljningsförmåga.När poänguträkningen är klar bekräftar du att resultaten sparas i resultatkatalogen. Sedan får du tillgång till loggkatalogen för att läsa loggmeddelandena i caseolab_score_log. txt-fil, ifall denna process misslyckas.Om processen slutförs utan fel kommer felsökningsmeddelandena för caseolab score-beräkningen att skrivas ut i loggfilen. Med hjälp av de erhållna metadata och statistik från de fyra underkategorierna spädbarn, barn, ungdomar och vuxna åldersgrupper kan en jämförelse av antalet dokument bland textkubscellerna visas. Här innehåller underkategorin för vuxna det högsta antalet i alla celler, där underkategorierna vuxna och ungdomar har det högsta antalet delade dokument och innehåller entiteten av intresse för denna representativa analys.Bedömning av protein åldersgrupp föreningen som en kontext-medvetna semantiska online analytisk bearbetning poäng, de 10 proteinerna i samband med spädbarn, barn, ungdomar och vuxna underkategorier kunde fastställas. Här visas erhållna metadata och statistik för underkategorierna Närings- och ämnesomsättningssjukdomar. Den underkategori metabola sjukdomen innehåller nästan tre gånger så många dokument som de näringsmässiga störningar underkategorin.Den metabola sjukdomen och näringsstörningar underkategorier har 7, 101 delade dokument. I dessa dokument ingick i synnerhet den enhet som var av intresse för den representativa studien. Mer än hälften av alla proteiner delas mellan underkategorierna, med nästan hälften av alla associerade proteiner i den metabola sjukdomen underkategorin unikt för denna underkategori, och med näringsstörningar underkategori uppvisar endast ett fåtal unika proteiner.Oberoende och distinkta kategorier, och en samling av alla synonymer och förkortningar av en enhet kommer att ge de bästa resultaten. Eftersom entitetskategori association presenteras som ett numeriskt värde, detta öppnar dörren för att implementera saknas inlärningstekniker som klustring och princip komponent analys. Denna teknik underlättar upptäckten av dolda eller tidigare oidentifierade relationer inom dessa associationer, vilket banar väg för en djupare förståelse av biologiska processer.

Research

JoVE Journal

Medicine

Making Sense of Listening: The IMAP Test Battery

Making Sense of Listening: IMAP testbatteri

The ability to hear is only the first step towards making sense of the range of information contained in an auditory signal. Of equal importance are the ...

Generation of Alginate Microspheres for Biomedical Applications

Generering av alginatmikrosfärer för biomedicinska tillämpningar

Alginate-based materials have received considerable attention for biomedical applications because of their hydrophilic nature, biocompatibility, and ...

Quantitative Analysis and Characterization of Atherosclerotic Lesions in the Murine Aortic Sinus

Kvantitativ Analys och karakterisering av aterosklerotiska lesioner i murina Aorta Sinus

Atherosclerosis is a disease of the large arteries and a major underlying cause of myocardial infarction and stroke. Several different mouse models have ...

The Bovine Lung in Biomedical Research: Visually Guided Bronchoscopy, Intrabronchial Inoculation and In Vivo Sampling Techniques

The Bovine Lung in Biomedical Research: Visually Guided Bronchoscopy, Intrabronchial Inoculation and In Vivo Sampling Techniques

Den Bovin Lung i biomedicinsk forskning: Visuellt Guidad Bronkoskopi, intrabronkial Ympning och<em&gt; In Vivo</em&gt; Provtagningstekniker

There is an ongoing search for alternative animal models in research of respiratory medicine. Depending on the goal of the research, large animals as ...

Carotid Artery Infusions for Pharmacokinetic and Pharmacodynamic Analysis of Taxanes in Mice

Halspulsådern Tinkturer för farmakokinetiska och farmakodynamiska Analys av taxaner i möss

When proposing the use of a drug, drug combination, or drug delivery into a novel system, one must assess the pharmacokinetics of the drug in the study ...

Whole-brain Segmentation and Change-point Analysis of Anatomical Brain MRI&#8212;Application in Premanifest Huntington's Disease

Hela-hjärnan segmentering och ändra punkt analys av anatomiska hjärnan MRI — tillämpning i Premanifest Huntingtons sjukdom

Recent advances in MRI offer a variety of useful markers to identify neurodegenerative diseases. In Huntington&#39;s disease (HD), regional brain atrophy ...

Sampling Strategies and Processing of Biobank Tissue Samples from Porcine Biomedical Models

Strategier för provtagning och behandling av Biobank vävnadsprover från svin biomedicinska modeller

In translational medical research, porcine models have steadily become more popular. Considering the high value of individual animals, particularly of ...

A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts

En Metadata utvinning metod för kliniska fallrapporter aktivera avancerad förståelse av biomedicinska begrepp

Clinical case reports (CCRs) are a valuable means of sharing observations and insights in medicine. The form of these documents varies, and their content ...

Quantitative [18F]-Naf-PET-MRI Analysis for the Evaluation of Dynamic Bone Turnover in a Patient with Facetogenic Low Back Pain

Quantitative [18F]-Naf-PET-MRI Analysis for the Evaluation of Dynamic Bone Turnover in a Patient with Facetogenic Low Back Pain

Kvantitativ [18F]-NAF-PET-MRI-analys för utvärdering av dynamisk benomsättning hos en patient med Facetogen ländryggsmärta

Imaging techniques that reflect dynamic bone turnover may aid in characterizing a wide range of bone pathologies. Bone is a dynamic tissue undergoing ...

On-Site Sampling and Extraction of Brain Tumors for Metabolomics and Lipidomics Analysis

Provtagning på plats och utvinning av hjärntumörer för metabolomik och Lipidomics-analys

Despite the variety of tools available for cancer diagnosis and classification, methods that enable fast and simple characterization of tumors are still ...