很多站做使用WordPress建站时,本WordPress是非常优秀的一款建站程序,而它会自带很多功能页面的。不过这些页面被蜘蛛抓取后不仅没什么用,还有可能给你的网站带来安全风险。那么如果有一些页面不想被蜘蛛抓取的,该怎么解决呢?
![蜘蛛爬虫](https://zillyun.com/wp-content/uploads/2023/05/abe39b8cd69c4162a2a214ed32318a5a.jpeg)
站长可以在宝塔或FTP上传添加以下配置到robots.txt文件,是可以有效阻止那些遵守规则的爬虫。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/*page/*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
以上是合适蜘蛛规则的代码,希望可以帮到你!
© 版权声明
THE END
------本页内容已结束,喜欢请分享------
评论 抢沙发
![头像](http://zillyun.com/wp-content/uploads/2023/04/th.jpg)
欢迎您留下宝贵的见解!
暂无评论内容