文/達(dá)人小編

　　在新浪、網(wǎng)易、搜狐等幾乎所有大中型網(wǎng)站的根目錄里，都會(huì)有一個(gè)只有幾KB或十幾KB的robots.txt文件，別看這個(gè)文件小的可憐，卻事關(guān)世界網(wǎng)民的隱私安全。

　　對(duì)我國6億多網(wǎng)民來說，如果沒有這個(gè)robots.txt文件，我們?cè)谛吕?、網(wǎng)易乃至淘寶、京東等各大網(wǎng)站的賬戶信息等隱私內(nèi)容，都有可能被不法分子惡意獲取，嚴(yán)重影響著網(wǎng)民的信息安全。這可不是危言聳聽，兩年前，就有微博網(wǎng)友zeracker曝出360抓取用戶賬戶、密碼及訂單、優(yōu)惠碼等信息，并曬出圖片，讓360瀏覽器抓取很多國內(nèi)知名網(wǎng)游的后臺(tái)訂單、優(yōu)惠碼等敏感記錄的行為盡顯無遺。對(duì)一個(gè)搜索引擎而言，如果違反robots協(xié)議，不僅用戶隱私會(huì)受到威脅，就連公司的商業(yè)機(jī)密我無法保證。記得之前曾有IBM國際商業(yè)機(jī)器中國有限公司的黑客老鷹在微博中指出，360搜索能抓取公司內(nèi)網(wǎng)信息，而這些信息在正常狀態(tài)下僅能通過VPN+動(dòng)態(tài)口令才允許訪問。這也就意味著公司所有的內(nèi)部信息、商業(yè)機(jī)密等將在360面前暴露無疑。雖然該當(dāng)時(shí)微博發(fā)出后立刻被莫名刪除，但關(guān)于搜索引擎違反robots協(xié)議給社會(huì)帶來的信息安全隱患卻發(fā)人深省。

　　事實(shí)上，作為以抓取收錄檢索信息為天職的搜索引擎，即便沒有robots這種協(xié)議規(guī)范存在，也應(yīng)該本著業(yè)界良心，去時(shí)刻嚴(yán)防隱私信息的泄露、處處尊重知識(shí)產(chǎn)權(quán)等相關(guān)法律。而robots協(xié)議作為國際互聯(lián)網(wǎng)界通行的道德規(guī)范，一直以來就被Google、Yahoo、百度、微軟等各大主流互聯(lián)網(wǎng)公司和搜索引擎平臺(tái)視為不可觸犯的天條。作為國際道德規(guī)范，robots協(xié)議基于兩大原則建立，其一，搜索技術(shù)應(yīng)服務(wù)于人類，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán);其二，網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。由此，全稱為“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)的Robots協(xié)議，主要就是告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　然而，盡管被奉為天條，仍有一些搜索引擎領(lǐng)域后來者不以違反Robots協(xié)議為恥。有資料顯示，自360搜索于2012年8月推出以來，其違反robots協(xié)議，窺探用戶隱私的問題便屢屢遭到各方的質(zhì)疑和反感。早有報(bào)道稱360的抓取不僅讓用戶賬戶信息存在風(fēng)險(xiǎn)，郵件等信息也難逃厄運(yùn)。細(xì)心的網(wǎng)友曾發(fā)現(xiàn)在使用360搜索時(shí)，360搜索居然會(huì)抓取IBM lotus domino 郵件系統(tǒng)后臺(tái)和個(gè)人郵件文件存儲(chǔ)地址。360違反robots(拒絕抓取)協(xié)議的抓取行為，將使用戶郵件信息的內(nèi)容，可以被搜索引擎抓取，更可以被網(wǎng)民搜索。

　　實(shí)際上，如果搜索引擎違反Robots協(xié)議，還可能產(chǎn)生更多后果。據(jù)中國經(jīng)濟(jì)法學(xué)研究會(huì)副會(huì)長兼競爭法專業(yè)委員會(huì)主任委員、中國社科院研究員王曉曄在《法制日?qǐng)?bào)》發(fā)表的署名評(píng)論《違反Robots協(xié)議可能涉及不正當(dāng)競爭》，我國的互聯(lián)網(wǎng)協(xié)會(huì)訂立了關(guān)于Robots協(xié)議的自律性公約,這個(gè)公約僅對(duì)參加了這個(gè)公約的企業(yè)具有約束力。根據(jù)Robots協(xié)議所涉及的內(nèi)容,不遵守這個(gè)協(xié)議的行為也可能構(gòu)成侵權(quán),這種情況下的Robots協(xié)議就具有法律效力。他認(rèn)為，有些涉及Robots協(xié)議的案件,例如奇虎360和百度之間的爭議,因?yàn)檫@兩個(gè)企業(yè)都從事搜索引擎業(yè)務(wù),雙方存在競爭關(guān)系,這樣的Robots協(xié)議案件就可能涉及不正當(dāng)競爭的問題。

　　由此來看，如果一個(gè)具有抓取收集內(nèi)容能力的搜索引擎，不遵守Robots協(xié)議，不僅給網(wǎng)民的信息安全帶來嚴(yán)重隱患，而且還會(huì)擾亂既有的市場秩序，不利于互聯(lián)網(wǎng)行業(yè)一直以來的公平競爭環(huán)境。