最近的一个新站,准备好内容,设置好定时发布后就没怎么管了,但是第一批收录放出来的时候,却是收录了很多的动态链接,然后看了蜘蛛日志,才发现百度蜘蛛抓取了很多无用的链接,浪费了很多的资源,如下图
看了文章页的代码,发现是因为这些链接都存在于页面的代理中,更加的利于蜘蛛的抓取和SEO,至于屏蔽代码,参考CSDN的一篇文章
https://blog.csdn.net/cnpinpai/article/details/128249682
然后根据你自己网站的情况选择屏蔽哪些代码,将屏蔽代码加入function中即可
暂无评论