非泊松工件流CSPS系統(tǒng)優(yōu)化控制仿真研究.pdf

1、傳送帶給料加工站(Conveyor-Serviced Production Station，CSPS)系統(tǒng)作為一種典型的智能決策系統(tǒng)被廣泛應(yīng)用在柔性生產(chǎn)加工站上。目前CSPS系統(tǒng)的優(yōu)化控制研究往往將工件和需求的到達(dá)過程建模為泊松過程，然后將系統(tǒng)建立為半馬爾可夫決策過程(Semi-Markov Decision Process Model，SMDP)模型后，通過策略迭代或是Q學(xué)習(xí)來獲得最優(yōu)或次優(yōu)控制策略。但是當(dāng)工件非標(biāo)準(zhǔn)泊松到達(dá)時(shí)，工件的

2、到達(dá)過程不滿足馬爾可夫性。當(dāng)CSPS系統(tǒng)無法建立為SMDP模型時(shí)，Q學(xué)習(xí)的學(xué)習(xí)效果如何是一個(gè)值得研究的問題。因此本文研究當(dāng)工件非泊松到達(dá)時(shí)，Q學(xué)習(xí)算法的適用性問題。
　　首先以馬爾可夫調(diào)制泊松過程(Markov Modulated Poisson Process，MMPP)和半馬爾可夫調(diào)制泊松過程（Semi-Markov Modulated Poisson Process，SMMPP）作為非標(biāo)準(zhǔn)泊松到達(dá)的典型代表，在相同的平均到達(dá)

3、率情況下，分析對(duì)比工件以標(biāo)準(zhǔn)泊松流和非標(biāo)準(zhǔn)泊松流兩種情況到達(dá)時(shí)的Q學(xué)習(xí)結(jié)果，并觀測(cè)以統(tǒng)計(jì)平均到達(dá)率作為工件標(biāo)準(zhǔn)泊松到達(dá)率的理論學(xué)習(xí)情況，以檢驗(yàn)算法性能;其次討論當(dāng)兩品種工件以MMPP和SMMPP的混合信號(hào)流到達(dá)時(shí)Q學(xué)習(xí)的適用性問題。另外，在工件非泊松到達(dá)的基礎(chǔ)上，進(jìn)一步研究顧客需求也不服從泊松分布情況下，算法的適用性問題。
　　仿真結(jié)果證明，在非泊松工件流CSPS系統(tǒng)無法建立為SMDP模型時(shí)，Q學(xué)習(xí)依然可以學(xué)到較好的控制策略，以相