病理文本數(shù)據(jù)的結(jié)構(gòu)化處理系統(tǒng)研究與實現(xiàn).pdf

1、各大醫(yī)院在提供臨床醫(yī)療服務(wù)的過程中，均會產(chǎn)生大量的非結(jié)構(gòu)化臨床文檔數(shù)據(jù)。病理報告作為一類重要的非結(jié)構(gòu)化臨床文檔，其內(nèi)容主要是病理科醫(yī)生采用自然語言書寫的文本格式數(shù)據(jù)，記錄了病人的基本信息、標本肉眼所見、標本鏡下所見和診斷結(jié)果等信息。病理報告中的文本內(nèi)容對于醫(yī)生進行疾病診斷至關(guān)重要，是臨床診療的重要依據(jù)之一。
　　傳統(tǒng)對病理報告的處理方法，大都依賴于主治醫(yī)生憑借經(jīng)驗對病理報告的文本內(nèi)容進行人工處理，其過程實質(zhì)上是依靠主治醫(yī)生的臨床思

2、維對病理文本內(nèi)容進行結(jié)構(gòu)化處理，以人工的方式提取出包含在病理文本數(shù)據(jù)中的標本及其各指標的值。但是，這種人工處理的方式不僅耗時耗力，而且正確率難以得到保證。為此，本文借助規(guī)則提取、文本主題分析、統(tǒng)計分析等手段，設(shè)計并實現(xiàn)一種病理文本數(shù)據(jù)結(jié)構(gòu)化處理系統(tǒng)，以支持病理報告中標本及其指標值的自動提取。
　　本文首先對病理報告的文本數(shù)據(jù)結(jié)構(gòu)進行了分析，給出了病理文本中的概念層次結(jié)構(gòu)，并闡述了病理報告的結(jié)構(gòu)化處理流程。在此基礎(chǔ)上，本文設(shè)計了病理

3、文本結(jié)構(gòu)化處理系統(tǒng)的總體架構(gòu)，分別介紹了系統(tǒng)中三個主要的模塊：病理數(shù)據(jù)預處理模塊、病理標本模板提取模塊和病理文本即時結(jié)構(gòu)化模塊的主要功能與任務(wù)。
　　然后，本文為了解決病理標本描述模板的提取問題，提出了一種基于 LDA 模型 (隱含狄利克雷主題模型)的標本描述模板提取算法。該算法對同種標本的數(shù)據(jù)集合進行隱含狄利克雷主題模型（LDA 模型）的建模，并通過快速Gibbs抽取的方式獲取集合中詞的概率分布情況。在此基礎(chǔ)上，結(jié)合IDF權(quán)重值

4、進行文本價值計算，得到該文本集合中“文本價值”最高的Top-N個詞，將其視為當前標本的候選關(guān)鍵字。這些關(guān)鍵詞即是標本描述模板的核心描述詞。同時，考慮到病理報告經(jīng)過長期的積累，形成了規(guī)模龐大的病理數(shù)據(jù)，本文利用MapReduce并行計算框架實現(xiàn)了病理標本描述模板的提取過程，并將其部署到開源分布式平臺Hadoop上。
　　最后，為了驗證本文提出算法的有效性，通過真實數(shù)據(jù)集的測試，結(jié)果表明本系統(tǒng)可正確提取其中超過87.5％的指標名稱和指