資料剖析知識探勘

1、數(shù)據(jù)挖掘在商業(yè)管理與決策分析之實例應(yīng)用,,,,決策分析質(zhì)量與效率之提升數(shù)據(jù)挖掘之原理概念與功能數(shù)據(jù)挖掘之建構(gòu)方法應(yīng)用案例介紹電子商務(wù)之應(yīng)用（Web Mining/WAP Mining）建議與結(jié)論,引言,經(jīng)營環(huán)境,經(jīng)營環(huán)境日益挑戰(zhàn)考慮：成本、利潤、質(zhì)量 . . . .管理活動整合：業(yè)務(wù)運作、管理控制、策略規(guī)畫信息密集行業(yè)全方位/多角化經(jīng)營,資料 --企業(yè)寶貴之資產(chǎn),信息,Mining,資料倉儲,,Mining,知識,

2、,,,,,,(Corporate Memory),(Corporate Intelligence),,,,,,Database/DataWarehouse,Targetdata,Cleaneddata,Transformeddata,Pattern/model,評鑒,數(shù)據(jù)視覺,資料挖掘,數(shù)據(jù)轉(zhuǎn)換與簡化,前置處理與清理,樣本選取,,,,,,,,,,,,,,,,,,,,Performancesystem,知識發(fā)現(xiàn)流程（Knowle

3、dge Discovery),Knowledge,/Adapted from IBM Corp./,數(shù)據(jù)挖掘之基本概念,背景管理信息超載及結(jié)構(gòu)化不足信息混亂與誤用管理問題復(fù)雜度高實時決策分析日益重視發(fā)展目的有效利用搜集之市場、客戶、供貨商、競爭對手及未來趨勢信息使企業(yè)經(jīng)由有效之方法與技術(shù)從歷史數(shù)據(jù)里擷取有用的知識,數(shù)據(jù)挖掘原理,主要方法數(shù)據(jù)庫、數(shù)據(jù)視覺、統(tǒng)計學(xué)、機器學(xué)習(xí)等相關(guān)技術(shù)類神經(jīng)網(wǎng)絡(luò)、模糊邏輯、基因算法、基因規(guī)

4、畫、 案例庫推理法、規(guī)則庫推理、統(tǒng)計回歸等知識表現(xiàn)決策樹 、法則、定量數(shù)學(xué)公式、黑箱公式 等,Data mining主要功能與技術(shù),功能 技術(shù) 適用領(lǐng)域關(guān)聯(lián)性 (Association) 案例庫推理/集合理論/統(tǒng)計 菜籃分析時間序列 (Sequence) 類神經(jīng)網(wǎng)絡(luò)

5、/統(tǒng)計 利率預(yù)測分類 (Classification) 基因演算/類神經(jīng)網(wǎng)絡(luò)/統(tǒng)計/ 客戶評鑒分類 模糊邏輯案例推理/決策樹公式 (Modeling) 基因規(guī)劃/基因演算/回歸 銷售預(yù)測群組 (Clustering)

6、 類神經(jīng)網(wǎng)絡(luò)/模糊邏輯/ 市場區(qū)隔基因演算/統(tǒng)計,數(shù)據(jù)挖掘應(yīng)用現(xiàn)況,Safeway 販賣促銷信息（e.g. coupon)音樂/電影喜好問卷搜集Fidelity Investment客戶服務(wù) （cross-selling/ wallet share)First USA Bank信用卡資料（汽車房貸）Capital One 降低貸款風(fēng)險損失率First Union預(yù)測潛在流失客戶

7、預(yù)測侵蝕性的物質(zhì)對皮膚的影響降低產(chǎn)品(藥品或毒品)的發(fā)展成本和時間，以及減少動物實驗的需求分析零售商店歷史銷售記錄與位置概述以決定最佳的位置分析提款機設(shè)置地點最佳位置,Data Mining 過程,了解應(yīng)用領(lǐng)域建立目標集、選擇目標數(shù)據(jù)集去除數(shù)據(jù)雜質(zhì)、做先置處理減少數(shù)據(jù)和數(shù)據(jù)轉(zhuǎn)換選擇數(shù)據(jù)挖掘的模式（功能）選擇數(shù)據(jù)挖掘的算法（技術(shù)）資料挖掘評估第七步驟的結(jié)果整理發(fā)現(xiàn)的知識,實例應(yīng)用,客戶評鑒與分類 (NeuroFuzz

8、y)提升郵購回函率 (Fuzzy)股市交易最佳化規(guī)則之發(fā)掘 (GA)零售商品與客源群聚相關(guān)性分析 (Neural/Statistic)民航機重落地分析（Regression Tree)化妝品偏好分析（Classification Tree)窯燒最佳化控制（Neural/GA)大哥大忠誠客戶與游離客戶之分析及預(yù)測（Classification Tree),股市交易最佳化規(guī)則之發(fā)掘,規(guī)則一﹕假如6日RSI小于20且6日BIAS

9、 小于 -4%時則 買入并持有12日規(guī)則二﹕假如6日RSI 大于 80且6日BIAS 大于 5%時則 賣出并放空10日,提升Direct Mail回函率,,,寄出信函數(shù)（寄出成本）,回函數(shù),,,,,,,節(jié)省,目標營銷,大眾營銷,預(yù)定目標,,Segment 1 (Age 43)(42.8%),Segment 2 (Age 42)(24.8%),Segment 3 (Age 52)(20.4%),Segment 4 (Ag

10、e 26)(11.9%),Market SegmentationSegment size, average age,Figure 9.3 Segmentation Results: Segment Size and Average Age,,,,,,population,Segment3,Segmnet1,Segmenet4,Segment2,Target Categories,Avg$spent,3000,200

11、0,2500,1500,1000,500,0,Market Segment AnalysisSegments v..s. Population,Figure 9.4 Market Segmentation Analysis,Safeway 案例,面臨之挑戰(zhàn)8 million transaction data/week (4 T MB)500家店面與600萬客戶市場競爭激烈，傳統(tǒng)手法技術(shù)式微 （如更低價位，更多據(jù)點，多類產(chǎn)品）

12、新的競爭關(guān)鍵焦點：掌握客戶需要--哪類客戶買哪些商品以及購買頻率,Market Basket Analysis (菜籃分析）,,,,CokeMilkJuiceEgg,Coke,Milk,Juice,Egg,Egg,Juice,Milk,Coke,其它相關(guān)應(yīng)用,發(fā)掘背部手術(shù)成敗關(guān)鍵因素磁磚顏色配比決策輔助旋窯燃燒最佳化控制研磨機鋼球配比及置放址決策輔助電子能量、功率、廢氣流量、氨氣流量組合對氮氧化物

13、及硫氧化物去除效率之模式發(fā)展污染排放量預(yù)測模式（DECADES MODEL）燃燒爐中NG、LPG、與正?？諝庵浔葘θ紵始捌渌泻怏w之排放程度之影響,其它相關(guān)應(yīng)用(續(xù)),發(fā)掘共同基金潛在客戶銀行活期存款賬戶流失率估計相關(guān)產(chǎn)品群組設(shè)計（cross-selling）預(yù)測油田生產(chǎn)量海上石油外溢對生態(tài)破壞影響之估計飛機結(jié)構(gòu)負載,醫(yī)療案例,DISXPERT - 殘障職業(yè)轉(zhuǎn)介專家系統(tǒng) 區(qū)別分析尋找分類要因數(shù)據(jù)學(xué)習(xí)以萃取分類

14、規(guī)則整合專家規(guī)則與萃取分類規(guī)則延伸應(yīng)用客戶分類,醫(yī)療保險FAMS的 功 能,偵測 ( Detection )利用fuzzy modeling和統(tǒng)計技術(shù)來分析群組的行為，針對每個醫(yī)療服務(wù)提供者評定分數(shù)，以反應(yīng)其遍離行為標準的程度調(diào)查 ( Investigation )分析提供者的分數(shù)和詳細的賠償數(shù)據(jù)解決 ( Settlement )詳細分析群組行為和賠償?shù)膱蟾婧蛨D表。報告可以用來協(xié)商、解決問題和檢舉不法之事 預(yù)防 (

15、Prevention )支持提供者的監(jiān)視和提供新的工具來評估和教育他們，改善提供者的行為，以防止醫(yī)療詐欺和濫用，減低保險公司的損失,FAMS的特性,利用案例數(shù)據(jù)的“retrospective analysis”，分析帳目和醫(yī)療提供者的醫(yī)療工作，以找出有嫌疑的提供者依據(jù)醫(yī)療專業(yè)和地理位置來定義群組例如，你可以著重于Los Angeles的經(jīng)神科、Hartford的皮膚科、大都會地區(qū)的緊急救護服務(wù),建置數(shù)據(jù)剖析應(yīng)注意事項,在規(guī)畫Dat

16、a Warehouse時即應(yīng)與所需Mining之目標結(jié)合配合數(shù)據(jù)處理情況 Data Warehouse --> Data Marts --> Cube 選擇軟硬件發(fā)展平臺分期或分步驟并以漸進式方法開發(fā)80%心力需投入于Data Preparation步驟常見之主機平臺包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS,可能遭遇問題之影響因素,企業(yè)教育訓(xùn)練之不足不適當(dāng)之支持工具

17、數(shù)據(jù)之無效性資料樣型（patterns）太多多變與時間性數(shù)據(jù)復(fù)雜之?dāng)?shù)據(jù)型態(tài)沒有現(xiàn)成之模式可立即使用數(shù)據(jù)質(zhì)量資料可取得性專家意見,Web/WAP Mining,Dynamic product catalogDynamic bannerDynamic contentTailored mailing list,Data Mining for CRM/Churn Management,Defector identificat

18、ionCampaign promotionMarketing resource allocationRisk assessment & fraud detectionRoyal customer identification,Business Intelligence in Electronic Commerce,,,建議與結(jié)論,以信息科技為主軸之經(jīng)營管理數(shù)據(jù)之保存、管理與運用為致勝關(guān)鍵善用商業(yè)智慧工具以有效解決問題

19、,案例（一）—建物抵押貸款申請評估,說明：評估模式針對五個輸入變項值給予綜合評定 分數(shù)--1).建造的施工質(zhì)量、 2).建筑物的位置、 3).申貸人的資產(chǎn)、 4).申貸人的收入、 5).利 息支付情況。各個項目的評分范圍從0分到 100分?？墒褂弥夹g(shù)：基因算法、決策樹、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法,計分模式結(jié)構(gòu),,案例（二）— DM寄送對象評分,說明：評估模式針

20、對六個輸入變項值給予綜合評定 分數(shù) -- 1).盈余、2).住家地理位置、 3).房地產(chǎn) 總值、 4).年齡、 5).小孩個數(shù)、 6).是否結(jié)婚。可使用之技術(shù)：基因算法、決策樹、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法,計分模式結(jié)構(gòu),,,窯燒最佳穩(wěn)定控制結(jié)果,,x1x2x3x4x5,資料挖掘技術(shù)與發(fā)展,,類神經(jīng)網(wǎng)絡(luò)-監(jiān)督式學(xué)習(xí),類神經(jīng)網(wǎng)絡(luò)-非監(jiān)督式學(xué)習(xí),,,,,,,,模糊規(guī)則庫,Neuro-Fuzzy類

21、神經(jīng)-模糊系統(tǒng),Genetic Algorithm（基因演算）,基因演算原理,GP(基因規(guī)劃）,,GP-Fuzzy基因規(guī)劃-模糊系統(tǒng),案例推理流程,If Time_band >=2.5 yearsand Time_employed >=1.5 yearwhile reject is only 3.2% likely.A total of 63 cases fit this profile,61 accepts

22、 and 2 rejects.,決策樹,過去相關(guān)R＆D經(jīng)歷,民營單位計劃因特網(wǎng)客戶購買行為分析暨預(yù)測（安瑟在線），2000網(wǎng)頁瀏覽使用行為分析（發(fā)現(xiàn)者國際公司），2000大哥大門號轉(zhuǎn)換與客戶流失分析(自行研究)，2000網(wǎng)際廣告暨電視廣告采買組合決策輔助系統(tǒng)(潤利公司)，1999消費者對化妝品之品牌選擇模式建構(gòu)與分析（資生堂、佳麗寶與香奈兒），1999ISP客戶使用意愿分析因果預(yù)測模式建構(gòu)(自行研究)，1999信用卡持卡人

23、延滯繳款預(yù)測模式研究（某國內(nèi)金融機構(gòu)）,1999信用卡簽帳金額預(yù)測（某金融單位），1999保險產(chǎn)品與客戶選擇分析輔助系統(tǒng)（某保險經(jīng)濟人公司），1999醫(yī)院洗腎中心護理人員排班輔助系統(tǒng)(長庚醫(yī)院)，1998船席調(diào)配作業(yè)專家決策系統(tǒng)(基隆港務(wù)局)，1998,過去相關(guān)R＆D經(jīng)歷(續(xù)）,公營單位"基因工程算法則應(yīng)用于飛機結(jié)構(gòu)負載歷程之分析，" 航發(fā)中心，NSC 89-2623-D-155 -005，1999/7/1

24、~2000/6/31"動態(tài)基因規(guī)劃，" 國科會， NSC 89-2416-H-155 -015，1999/8/1~2000/7/31"建立區(qū)域整體資源規(guī)劃數(shù)據(jù)庫先期研究，"臺灣電力綜合研究所，TAE87001, 1999/1/1~1999/6/31"非破壞檢測專家系統(tǒng)推理機構(gòu)之開發(fā)，"中科院，NSC88-2623-D-155-003，1998/7/1~1999/6/31

25、"GA-Fuzzy在證券投資之輔助應(yīng)用，"國科會，NSC88-2416-H-155-019，1998/8/1~1999/7/31"智能型水泥設(shè)備操作系統(tǒng)之研究," 亞洲水泥公司，CFF87006, 1998/2/1 ~ 1999/1/31"全民健康保險復(fù)建醫(yī)療費用專業(yè)審查一致性之評估研究," 中央健保局， D0H87-NH-031, 1998/3/1 ~ 1999/2/28

26、,研發(fā)之方法與技術(shù),,,。Genetic Algorithms(基因算法)。Genetic Programming(基因規(guī)劃法)。Neural Networks(類神經(jīng)網(wǎng)絡(luò))。Fuzzy Logic(乏晰理論)。Case-Base Reasoning(案例庫推理)。Rule-Based System(專家規(guī)則)。Genetic-Based Decision Tree System(決策樹專家系統(tǒng)),軟件資源（智能型系統(tǒng)實驗室

27、）,Rule-Base packagesLEVEL5XpertRuleProfilerWinRosaGA packagesEvolverGeneHunterGeneratorCBR packagesInduce ITEsteemFuzzy Logic packagesFuzzyTech for BusinessCubiCalcFuzzy Thought Amplifier,Neural Net packag

28、esLabView & Intelligent DataEngineNeuroShell IINeuroForecasterNeuroWindowsNon-Linear Modeling packagePCNonlinDymaic-GPDecision Trees packageGA-TreeSee5/CubistOptimization & SimulationRiskOptimizer@Ri