基于HMM的商標(biāo)詞識別研究與應(yīng)用.pdf

1、目前，百度推廣的風(fēng)險(xiǎn)防控政策未做到精細(xì)化控制，限制規(guī)則范圍太廣。不管是什么行業(yè)，只要涉及低俗、有線上風(fēng)險(xiǎn)，就不讓展示廣告。導(dǎo)致許多企業(yè)的有效關(guān)鍵詞得不到購買和展現(xiàn)，失去了很多入口流量，誤殺率高，同時(shí)帶來大量客戶投訴。所有這些，使線上的風(fēng)險(xiǎn)情況不能及時(shí)得到控制，線上商標(biāo)和競品的風(fēng)險(xiǎn)一直居高不下，導(dǎo)致商標(biāo)類風(fēng)險(xiǎn)在線上風(fēng)險(xiǎn)中達(dá)到63％左右的比例。
　　本文針對命名實(shí)體識別的現(xiàn)狀及算法進(jìn)行了研究，分析了百度推廣風(fēng)險(xiǎn)防控的不足，提出了基于隱

2、馬爾可夫模型(Hidden Markov Model，HMM)的商標(biāo)詞識別與應(yīng)用的解決方案。即在行業(yè)區(qū)分和角色標(biāo)注地獲取原始語料庫基礎(chǔ)上建立HMM模型后，采用Viterbi算法預(yù)測商標(biāo)詞，并將生成的商標(biāo)詞策略詞表和風(fēng)險(xiǎn)識別模塊通過服務(wù)接口應(yīng)用于審核系統(tǒng)中。最終達(dá)到了降低商標(biāo)類的線上風(fēng)險(xiǎn)，同時(shí)優(yōu)化企業(yè)與網(wǎng)民的體驗(yàn)并提高廣告收入的研究目的。本文的主要工作如下:
　　第一，介紹了本文的研究背景與研究意義，對涉及的相關(guān)命名實(shí)體識別和百度風(fēng)

3、險(xiǎn)防控面臨的問題進(jìn)行了論述，簡述了論文的研究內(nèi)容與結(jié)構(gòu)。
　　第二，討論了商標(biāo)詞的識別和算法的改進(jìn)，提出了一種基于HMM的商標(biāo)詞識別方法。該工作分為三部分:(1)將百度內(nèi)部審核日志、物料信息等，進(jìn)行分行業(yè)、切詞、分角色標(biāo)注等處理，得到語料預(yù)處理結(jié)果;(2)在HMM訓(xùn)練時(shí)，同時(shí)使用Viterbi算法進(jìn)行預(yù)測，自動角色標(biāo)注識別商標(biāo)詞;(3)進(jìn)行商標(biāo)詞識別的實(shí)驗(yàn)及分析。實(shí)驗(yàn)結(jié)果表明:該方法有較高的準(zhǔn)確率、召回率和F值。
　　第三，

4、討論了商標(biāo)詞識別改進(jìn)算法的應(yīng)用。該工作亦分為三部分:(1)通過區(qū)分行業(yè)進(jìn)行數(shù)據(jù)獲取并預(yù)處理成所需的原始語料庫;(2)通過改進(jìn)的識別算法識別商標(biāo)詞;(3)為其他系統(tǒng)應(yīng)用提供商標(biāo)詞識別的服務(wù)接口，如生成商標(biāo)詞策略詞表，以規(guī)則的粒度進(jìn)行分行業(yè)限制，降低誤殺，以及將商標(biāo)風(fēng)險(xiǎn)識別模塊應(yīng)用于線上廣告的巡查中，識別商標(biāo)類風(fēng)險(xiǎn)，降低線上風(fēng)險(xiǎn)。
　　第四，進(jìn)行了系統(tǒng)實(shí)驗(yàn)與分析，對商標(biāo)詞應(yīng)用的風(fēng)險(xiǎn)及消費(fèi)相關(guān)的影響進(jìn)行了描述。分析結(jié)果表明:應(yīng)用本文的商