WordPress程序如何禁止蜘蛛抓取指定页面

很多站做使用WordPress建站时，本WordPress是非常优秀的一款建站程序，而它会自带很多功能页面的。不过这些页面被蜘蛛抓取后不仅没什么用，还有可能给你的网站带来安全风险。那么如果有一些页面不想被蜘蛛抓取的，该怎么解决呢？

站长可以在宝塔或FTP上传添加以下配置到robots.txt文件，是可以有效阻止那些遵守规则的爬虫。

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /*/comment-page-*
    Disallow: /*?replytocom=*
    Disallow: /*/*page/*
    Disallow: /category/*/page/
    Disallow: /tag/*/page/
    Disallow: /*/trackback
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments/feed
    Disallow: /?s=*
    Disallow: /*/?s=*\
    Disallow: /attachment/

以上是合适蜘蛛规则的代码，希望可以帮到你！