23年底开始至写下这篇文章24年2月底,普遍站长都进入了一个比较难的时代。
先说最近的观察,被冯总带起来的一大批采集站长,没几个依然活的好的。观测了一些目前依然在做的采集站,每天发的内容依然很多,很多站也依然有收录,但是基本不出词,所有的站都一副要死不活的状态。
再说今天的主题,目前几乎所有的站每天手动和API推送的量都变成了10条,新站没有sitemap权限。
最近开始更新一个底子不错的老站,收录不错,由于每天推送量的限制,每天更新数量也只发10条。当天抓取率在80%左右。而且还有个现象就是:今天推送的10条URL,蜘蛛当天抓取了其中8条,那么剩下的两条,或许不会来蜘蛛抓取了。
目前统计了一周的蜘蛛,每天剩下的1-3条当天未抓取的URL,一周内没有发现有蜘蛛去抓(单指百度蜘蛛)。
在百度下次抓取sitemap之后,我会在跟进蜘蛛会不会去抓取这些未抓取的链接
暂无评论