證券行情發(fā)布及程序交易系統之減少時延技術

1、上證所Level-2行情接口開發(fā),高昀,主要內容,Level-2產品介紹Level-2系統接入Level-2數據解碼,一、Level-2 產品介紹,,Level-1行情的不足,Level-1行情Show2003.dbf不足之處 內容信息量少，市場深度反映不夠－－Show2003只有29個有效字段實時信息產品單一 －－Show2003 為僅有的實時行情產品按同一模式顯示不同的交易品種－－顯示債券、基金信息時出現“市盈率”字段

2、名 技術5秒鐘一次的快照，文件交換方式，發(fā)布延時明顯信息內容可擴展性差－－dbf文件是固定字段，只能通過增加數據庫字段方式來增加信息內容,從Level-1到Level-2,商業(yè)模式：“免費”->收費發(fā)布路徑：券商->信息商行情深度：五檔->十擋，新增委托明細和全部成交信息行情頻率：5秒->3秒數據格式：dbf->FIX/STEP->FAST交換方式：文件->文本數據流-&g

3、t;二進制數據流行情延時：3秒->28毫秒->20毫秒,Level-2內容,Reference Data (UA101)Transaction(UA3101)Market Data(UA3102,UA3113)Order Queue(UA3111),行情展示,Order Queue(UA3111),Market Data(UA3102),Transaction(UA3111),二、 Level-2系統接入,,SSE

4、to Vendor Connection,VDE(Vendor Data Engine)VSS(Vendor Supplies System),VDE to VSS Connection,,Daily Procedure,,三、 Level-2 FAST數據解碼,,Level-2 FAST的介紹,FIX Adapted for Streaming (FAST)為解決FIX協議傳輸市場數據存在冗余度高，帶寬需求大的問題,芝加哥商品交

5、易所于2003年11月17日向FPL提交了一個隱示標記(Implicit tags)方案 FPL于2004年12月27日宣布成立市場數據優(yōu)化工作組(MDOWG,Market Data Optimization Working Group). 2005年5月開始MDOWG根據一系列POC的結果，開始進行協議標準制定2006年初完成FAST（FIX Adapted for STreaming）V1.02006年12月完成FAST

6、V1.1,Level-2 FAST的介紹,中國證券市場的特點1.2億交易帳戶較高的換手率，上海證券交易所日交易金額峰值超過3000億，成交筆數超過4000萬市場數據的發(fā)展趨勢和挑戰(zhàn)產品越來越多、掛牌證券數量越來越大更多的價格檔位、更多的市場深度更少的延時,Level-2 FAST的介紹,STEP協議的優(yōu)缺點基于FIX ，已成為事實上的證券數據標準語法簡單，定義靈活，易擴展數據相對冗余８＝STEP.1.0.0＜ＳＯＨ＞

7、9＝１１２＜ＳＯＨ＞３５＝Ｄ＜ＳＯＨ＞４９＝Ｓｅｎｄｅｒ＜ＳＯＨ＞５６＝Ｔａrｇｅｔ＜ＳＯＨ＞３４＝２３５＜ＳＯＨ＞１＝Ａ１２３４５６７８９＜ＳＯＨ＞５５＝青島啤酒＜ＳＯＨ＞48＝600600＜ＳＯＨ＞５４＝Ｂ＜ＳＯＨ＞44＝8.520 ＜ＳＯＨ＞ 38＝1000 ＜ＳＯＨ＞６０＝20030703-09：35：28 ＜ＳＯＨ＞11＝825＜ＳＯＨ＞10＝157 ＜ＳＯＨ＞,STEP 的冗余,平均每條消息長度為467字節(jié),FAST編碼后為

8、127字節(jié),平均每條消息長度為160字節(jié), FAST編碼后為25字節(jié),Level-2 FAST的介紹,FAST的技術優(yōu)勢高壓縮比(70-80%)低資源消耗算法簡單,效率高,每秒百萬級別消息的處理能力,FAST系統測試結果,,帶寬利用率與STEP系統對比測試結果比較,測試結果：FAST版本最大值為0.679Mbps；平均值為0.162MbpsSTEP版本最大值為2.23Mbps；平均值為0.668MbpsFAST

9、版本平均值為STEP版本的24.2%,FAST關鍵技術,Field Encoding隱式標簽（Implicit Tag）(模版 Template)提供消息層面的優(yōu)化操作符（Operator）消息層面和tag層面的優(yōu)化Transfer Encoding二進制數據流Presence Map(PMAP)Stop Bit Encoded Entities,Field Encoding—Implicit Tag,Implicit

10、tag將FIX的tag=value格式進行分離，變成消息模板和消息內容。消息模板在雙方通信之前就確定，實際只需要傳輸消息內容,Field Encoding,常用數據類型,,Field Encoding,Field Encoding Operator,Field Encoding Operator,Constant Value用途：主要用于表示模板中的固定數據,Field Encoding Operator,Default Valu

11、e用途：主要用于表示默認值,Field Encoding Operator,Copy Value用途：主要用于表達相鄰數據相同的情況,Field Encoding Operator,Increment Value 用途：主要用于表示前后數據有規(guī)律的遞增的情況,Field Encoding,Field Encoding-Template,定義和語法，包括：Field（Message Structure）Field Enco

12、ding OperatorData Type如何表示：XML語言,Field Encoding-Template,XML格式的模板示例,                        

13、                ,Transfer Encoding,對FIX數據實現二進制Byte/Bit Level優(yōu)化根據模板生成數據流，并且同步進行壓縮的協議本身具有通用性，是一個與具體的應用無關的協議。,Transfer Encoding,stream ::=

14、 message* | block*block ::= BlockSize message+message ::= segmentsegment ::= PresenceMap TemplateIdentifier? (field | segment)*field ::= integer | string | delta | ScaledNumber | ByteVectorinteger ::= UnsignedIntege

15、r | SignedIntegerstring ::= ASCIIString | UnicodeStringdelta ::= IntegerDelta | ScaledNumberDelta | ASCIIStringDelta | ByteVectorDelta,Transfer Encoding-Stop Bit,最高比特位0：下一個字節(jié)屬于同一個實體1：下一個字節(jié)不屬于同一個實體編碼舉例：,Transfer Enco

16、ding-Presence Map,在每一條消息的開頭處增加標志串(BYTE 數組)每一個Bit標示后面的各個field存在與否，1存在，0不存在不用傳送的field不用進行編碼，減少了數據量,Transfer Encoding-Presence Map,Presence Map and NULL,NULL一般用來指示這一field沒有出現（absent）,Data Type Example,uInt32 Example—Optio

17、nal Number,如何解析Level-2 FAST 的消息,VSS 1 Initial2 ReadTemplates3 Connect VDE4 Logon5 Receive Data6 Decode7 業(yè)務處理8 數據存儲和轉發(fā),FAST的實現過程,UA3101的解碼實例,,,PMAP 5F E0 1011111 1110000010111111100000TID占位=118 9d 11000

18、 100111011100000111013101 不占位UA3101 占位=0 占位=1 8110000001 000000011 10115 占位=1 8610000110 000001106,UA3101的解碼實例,, 占位=1 36 30 31 37 36 B6 601766 占位=1 04 34 4A 83 100 0110100 1

19、001010 0000011 9250051 9250050 占位=129 83 101001 0000011525152505.250 占位=11E 42 A1 11110 1000010 0100001 500001 500000 500.000 10016 占位=1 00 7D 15 5D A1 1111101 0010101 1011101 0100001 262500001 262500