8月7日上午，中國中文信息學會信息檢索與內容安全專委會副主任、中國科學院計算技術研究所副總工程師、網絡科學與技術實驗室主任程學旗研究員表示，“Robots協(xié)議自1994年提出來之后，已經成為互聯(lián)網行業(yè)的一個事實性標準，robots協(xié)議在平衡信息網站服務性能、個人隱私聲明和商業(yè)利益保護方面作用明顯，對維護一個良性的互聯(lián)網信息服務產業(yè)生態(tài)有著重要意義，應該被搜索引擎提供商所遵守。”

　　正如程學旗介紹，Robots協(xié)議是一個網站針對站外網絡爬蟲所發(fā)布的關于其網站結構和網頁信息希望被采集或者不被采集的聲明。鑒于網絡安全與隱私的考慮，每個網站都會設置自己的Robots協(xié)議，來明示搜索引擎，哪些內容是愿意和允許被搜索引擎收錄的，哪些則不允許。搜索引擎則會按照Robots協(xié)議給予的權限進行抓取。

　　在眾多業(yè)內人士看來，Robots協(xié)議體現(xiàn)了業(yè)界同行之間的相互信任，是行業(yè)道德的具體體現(xiàn)。如果不遵循Robots協(xié)議，將會破業(yè)界之間的信任，違背行業(yè)道德，最終傷害用戶的利益。如果不遵守Robots協(xié)議，肆意抓取網站的內容，網站的信息被任意泄漏，將對互聯(lián)網的良性發(fā)展產生巨大的破壞作用。

　　程學旗表示，“無論國外還是國內，Robots協(xié)議已經成為網絡信息內容提供方與網絡信息搜集與檢索提供商之間遵守的行業(yè)慣例，其目的主要是為了維護網絡信息內容生產者、提供者與網絡搜索引擎之間的平衡。”360無視百度Robots設置，強行抓取信息的行為，不僅突破了道德的底線，也突破了法律的底線。我國《民法通則》第4條規(guī)定：“民事活動應當遵循自愿、平等、等價有償、誠信信用原則。”另外，依照著作權法的原理，當對數(shù)據庫內容的復制使用達到一定數(shù)量時，實際上就構成了對數(shù)據庫內容選擇和編排的復制使用，則可能構成侵權。

　　由于國內互聯(lián)網行業(yè)發(fā)展太快，相應的法律法規(guī)也不夠完善，因此行業(yè)條例在一定程度上起到了替代法律空缺、約束企業(yè)行為的作用。程學旗對此則表示：“作為一個業(yè)界普遍遵守的事實性標準，Robots協(xié)議在平衡信息網站服務性能、個人隱私聲明和商業(yè)利益保護方面作用明顯，對維護一個良性的互聯(lián)網信息服務產業(yè)生態(tài)有著重要意義，應該被搜索引擎提供商所遵守。”

　　確實，中國互聯(lián)網企業(yè)要想在國際舞臺受到更多關注、得到更大的發(fā)展，必須遵守這個游戲規(guī)則，如果執(zhí)意妄為，不僅損害了違規(guī)企業(yè)自身的形象，也損害了中國互聯(lián)網行業(yè)的整體聲譽。