淘宝网开始屏蔽百度蜘蛛爬虫 - 站长俱乐部 - 中国站长论坛 - powered by bbsMax

中国站长论坛 ›› 站长俱乐部 ›› 淘宝网开始屏蔽百度蜘蛛爬虫

1

标题:淘宝网开始屏蔽百度蜘蛛爬虫

主题评级:

0
1 2 3 4 5

当前分数: 0, 查看评级用户, 阅读次数: 111, 回复次数: 4

打印复制本帖地址

发表于: 2008-09-07 12:10 - IP:120.*.*.*

只看楼主大中小楼主

淘宝网开始屏蔽百度蜘蛛爬虫

淘宝网开始屏蔽百度蜘蛛爬虫[/b]
淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

网友杨先生反映，他近日发现，淘宝网已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。

据悉，百度蜘蛛是百度用来抓取各网站内容的一套自动程序，屏蔽百度蜘蛛主要是不想被百度收录，或者担心抓取给服务器带来压力。

[/b]
[/b]

cshack的签名: 网络优化
土豆剧情
优酷影评

CHINAZ官方广告

发表于: 2008-09-07 12:11 - IP:116.*.*.*

只看该用户大中小沙发

Re:淘宝网开始屏蔽百度蜘蛛爬虫

我日,等你说的时候历史书上都有了

冰色玫瑰的签名: 1600MB+200MYsql+200邮局+3子目录绑定=158元
1000MB+100MYsql+200邮局=100元

发表于: 2008-09-07 12:13 - IP:222.*.*.*

只看该用户大中小板凳

Re:淘宝网开始屏蔽百度蜘蛛爬虫

哈哈，发现的晚啦

蓝冰宝宝的签名: 【蓝冰互联】1G特价全能空间仅需238元/年送数据库★ 不限CPU 不限IIS 支持子目录
服务器租用20M独享充足带宽保证★ E5200/2G/160G 7999/年★专业服务器租用托管
联系QQ：442395251 QQ:908391577 QQ：12584716515分钟内必响应承诺

发表于: 2008-09-07 12:25 - IP:222.*.*.*

只看该用户大中小地板

Re:淘宝网开始屏蔽百度蜘蛛爬虫

牛啊

365日夜的签名: 恶搞网恶搞非主流美女 QQ空间网名 QQ日志 QQ空间代码手机图片 qq签名美国电影笑话

发表于: 2008-09-07 13:06 - IP:58.*.*.*

只看该用户大中小 #4

Re:淘宝网开始屏蔽百度蜘蛛爬虫

真的很牛啊

gushiyue2008的签名: 狂人采集器,一口气采集别人论坛全部内容到你论坛!
支持DZ,PW,动网20多种论坛! 狂人站长论坛!

1