搜索引擎爬蟲協(xié)議的競爭法分析.pdf

1、爬蟲協(xié)議也稱Robots協(xié)議、爬蟲規(guī)則等,是指網(wǎng)絡(luò)服務(wù)商可設(shè)立特定的電子文件來向搜索引擎示明自身哪些內(nèi)容可以抓取,而搜索引擎則可以讀取該文件來識別所在頁面是否允許被抓取。然而，由于爬蟲協(xié)議本身存在著非強制性，搜索引擎的網(wǎng)絡(luò)爬蟲很容易就能夠繞過此文件來實現(xiàn)信息抓取的目的。2012年，百度基于爬蟲協(xié)議訴奇虎（360搜索）不正當(dāng)競爭一案將爬蟲協(xié)議及其一系列相關(guān)的互聯(lián)網(wǎng)法律問題帶入了公眾的視野，自此以后相關(guān)案件層出不窮。由于我國現(xiàn)有法律對于爬蟲

2、協(xié)議缺乏直接、明確的適用規(guī)定，對于司法實踐的結(jié)果學(xué)者們亦存在一定的爭論與分歧，對于此問題的法律規(guī)制亟待解決。
　　本文認為，Robots協(xié)議雖然表面具備技術(shù)手段的特征，但其法律性質(zhì)同樣不容忽視。特別是我國《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》的簽訂，使Robots協(xié)議在業(yè)界已經(jīng)上升為重要的行業(yè)慣例之一。作為互聯(lián)網(wǎng)用戶、搜索引擎服務(wù)商、網(wǎng)絡(luò)內(nèi)容服務(wù)商三角關(guān)系的核心，Robots協(xié)議及相關(guān)規(guī)范應(yīng)當(dāng)受到每一位互聯(lián)網(wǎng)參與者的支持與遵守。
　

3、　從反不正當(dāng)競爭的角度來看，以行業(yè)規(guī)范為代表的商業(yè)道德通常會作為認定不正當(dāng)競爭行為的重要考量因素。而搜索引擎能夠在抓取其他網(wǎng)站信息的過程中遵守所遇到的Robots協(xié)議事實上也屬于一種行業(yè)內(nèi)的普遍商業(yè)倫理，一旦與之悖逆，就可能會形成不正當(dāng)競爭行為。同時，網(wǎng)絡(luò)內(nèi)容服務(wù)商雖然擁有自由設(shè)立Robots協(xié)議相關(guān)內(nèi)容的權(quán)利，但依然應(yīng)當(dāng)受到互聯(lián)網(wǎng)“互聯(lián)互通”原則的約束。此外，在我國《反不正當(dāng)競爭法》面臨新舊交替、更新?lián)Q代的當(dāng)下，立法者們也應(yīng)當(dāng)立足現(xiàn)實