Robots协议维护互联网秩序

开篇：润墨网以专业的文秘视角，为您筛选了一篇Robots协议维护互联网秩序范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

即使不是工程师，长期关注互联网的人也很难没听说过robots协议。百度和360从2012年起展开的一场屏蔽与反屏蔽战，把原本程序员才知道的Robots协议变成媒体热词，北京一中院在今年8月7日对3B搜索不正当竞争纠纷案（3B案）作出的一审判决，又让Robots协议在新闻里火了一把。

Robots协议和搜索引擎的爬虫程序（Spider）其实是一对同胞兄弟。1994年之前，以AltaVista、Infoseek等为代表的搜索引擎，在互联网可以通过Spider直入网站管理后台，把所有网页信息悉数收录。除了涉及隐私，爬虫程序的反复收录在20年前对网站带宽也是不小的负载。荷兰工程师Martin Koster深感互联网丛林之乱，于是提出通过设立名为Robots规范的网站访问限制政策（Access Policy）方式，在整个互联网统一解决Spider无所不在所带来的威胁。从早期的AltaVista、Infoseek，到后来居上的Google 、雅虎及美国以外的百度和奇虎360等各大搜索引擎群体，都接受了Robots协议，避免和内容网站为Spider陷入一场危机。

在百度与360的这场战役中，反对3B案一审判决的理由集中在对Robots协议法律效力的否定上。Robots协议并不是法律，也没有被IETF、ITU和W3C等国际标准组织接纳。所以，百度以不正当竞争为案由360，而《反不正当竞争法》本身就是通过列举加兜底的方式，在少数明确规定的违法行为外，以原则性规定了不正当竞争行为的判断标准。

在这种情况下，司法者的权限并不局限于寻找包含Robots协议内容的具体法条，而是可以根据实际案情裁量违反Robots协议，是否就违反了《反不正当竞争法》（第二条）中对经营者应当遵循自愿、平等、公平、诚实信用和公认商业道德的强制性规定。认定违法也并不需要将Robots协议上升为法律作为前提，违反规则就可能导致违反法律的结果。

况且，3B案发生背景之一是被告奇虎360签署了《互联网搜索引擎服务自律公约》，承诺“遵守机器人协议（Robots协议）”和“限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为”。360在明确承认Robots协议约束力后又规避了协议，既是违法，又构成违约。

百度在360推出网络搜索后迅速启用Robots协议，在百度旗下的知道、贴吧、文库、百科等产品屏蔽了360爬虫。需要指出的是，百度拒绝360爬虫抓取的产品，基本属于用户创造内容（UGC）类型的上传平台，而百度对这些内容并不直接享有著作权，360因此质疑百度无权拒绝收录。但UGC平台身份也无碍百度根据《著作权法》第十四条对相关内容享有作为汇编者的权利。在百度主张反不正当竞争保护情况下，举证责任更简化到证明原告合法投入因被告竞争行为受到实际损害及被告竞争行为违反诚实信用或商业道德，而360强行利用百度网站内容已构成搭便车的不正当竞争行为。

360在3B案中，以百度滥用Robots协议作为抗辩，但换个角度看，真正容易被滥用的倒是爬虫程序。互联与分享是网络的基本性格，而信息的多元化也决定了网络传播在很多情况下必须受到控制。不受Robots协议限制的Spider程序必然使互联网陷入严重混乱，网站后台隐私无法保护，网页更新的旧信息必须完全删除而不能仅仅屏蔽，音乐、视频等内容的收费盈利模式遭到毁灭性打击。互联网经过长期博弈逐步摆脱无序状态，难道只因搜索爬虫失控又将回到比拼技术暴力的暗黑丛林？这种情景，绝非法治下的互联网可以接受的。

Robots协议自产生以来在全球受到严格遵守，利用Robots协议屏蔽搜索的案例举不胜举。比如，Facebook和Twitter长期屏蔽Google，后者除了发发牢骚，却也不敢采取任何规避手段；默多克的新闻集团一度全面屏蔽Google，后者一直忍到默多克自己投降。在国内，搜索屏蔽360的除了百度，还有腾讯的QQ空间，更有意思的是，QQ空间却在2012年后对百度和Google开放，360甚至都没有为此指责腾讯歧视。腾讯尽管向百度开放QQ空间，却将腾讯微博的内容屏蔽至今，新浪微博也一度加入屏蔽百度的队列。电商领域可能是互相屏蔽的高地，淘宝从2008年起一直屏蔽百度搜索，京东、苏宁、当当网等也屏蔽了阿里旗下一淘搜索的爬虫。

各国法院承认Robots协议效力的判决同样不胜枚举。美国联邦法院早在2000年就在eBay诉BE（Bedder’s Edge）案中，通过禁令支持了eBay屏蔽BE爬虫的主张。美国内华达州立法院在2006年审理的Field v. Google 案中，明确认可Robots协议是有效保护网站权利的通行标准。北京一中院同样于2006年在审理著名的浙江泛亚诉百度著作权侵权案判决书中认定原告有权利用设置Robots.txt文件拒绝百度收录。

上述通过Robots协议屏蔽搜索爬虫的互联网实例和认可Robots协议法律效力的中外法院判决，证明Robots协议的效力并不是在3B案中才成为争点，也证明Robots协议在产业实践和司法实践中都一直得到认可和尊重。

博主简介：司法从业者