网曝百度不顾robots协议擅自抓取微信内容
2022-06-25 本站作者 【 字体:大 中 小 】
搜狗合作了知乎和微信,乐视贾老板倾家荡产维护版权,大家都在努力创造独家资源,看到微信独家数据,百度这是眼红得坐不住了。
据@郭昂9爆料:百度不顾robots协议擅自抓取微信内容和应用,原文是这样的:
昨天有点事情忙到晚上,突然碰到了一个搜狗的哥们跟我抱怨平安夜还要被迫加班,想到很久没见,想一起吃个宵夜但是没有实现,说是忙不过来,今天又详细的了解了一下,原来微信公众号的数据被百度不顾robots协议大量的抓取和应用,他不得不处理反抓到凌晨,搞得平安夜都只能陪着看”百度spider“度过。虽然自己的微博荒废了很久,但还是不吐为快。
背景是这样子的,微信做了公章账号后,积累了大量高质量的作者和文章,养成了很大一批用户的阅读习惯。腾讯投资搜狗,开放微信数据供搜狗搜索独家使用,这部分数据对用户浏览和阅读需求的满足,能起到很大的帮助,也算是在搜索体验趋向于同质化的今天,能有效的带来“差异化”的体验点。所以,搜索靠腾讯的资源,将微信的公众号文章嵌入了搜狗搜索中,还开发了基于公众号的推荐应用微信头条。
当然,这种优质的独家数据是要进行独家保护的,搜狗也就用了搜索引擎常用的robots协议,对相应目录进行了限制,不允许其他搜索引擎抓取。关于robots协议,这是搜索引擎行业约定俗成的行规,可以限制其他搜索引擎抓取和索引相应内容。
搜狗搜索的爬虫协议对网站抓取内容的范围是做了明确规定的,百度爬虫没有任何权利抓取搜狗独家微信内容资源,这是事实。
其他新闻阅读:
百度推出移动网站打赏功能
百度官方分享:让蜘蛛抓取网页的四种方式
五种技巧优化出百度最喜欢的网站图片
百度网站收录提交入口
百度网址安全开发平台推出

猜你喜欢

关于site域名后提示“危险网站”的公告


电信爆重大漏洞,上亿用户信息遭泄露


缺精准流量上知乎做推广


特朗普称将于近期决定是否参加美国大选


台湾将派代表出席安倍晋三葬礼 外交部表态


商贩卖5斤芹菜被罚6.6万,市场监管副局长这样说


黑龙江省大庆市DNF刷金工作室被抓,1万1千台巨型工作室场面让人震惊


教你写出爆文高点击量(20篇日阅读量7330000+)


新域名和老域名对网站SEO的影响


美宣布向乌克兰及其邻国提供28亿美元额外军事援助


中方回应日本内阁高官参拜靖国神社


悲痛!消防员万惠文牺牲


国际锐评丨中国人的事要由中国人来决定


三亚有什么特产 三亚特产都有什么


通辽特产 通辽特产都有什么特产


南京特产有哪些 南京的特产


石城特色小吃 石城的特色小吃有什么
