月落秋水 发表于 2025-11-15 16:51:32

问个seo问题,为什么百度蜘蛛一直在抓去大量的TAG页和会员的资料页,没有抓取帖子页和板块页 New

网站地图里没有TAG页和会员的资料页,理解不了


我知道答案 回答被采纳将会获得1 贡献 已有3人回答

可可的可 发表于 2025-11-15 16:51:58

我的理解是:聚合,TAG聚合了帖子,个人资料里面包含个人的主题。

站帮网 发表于 2025-11-15 16:52:45

百度的蜘蛛,是最蠢和最不守规则的。
另外,当下AI时代,好多AI数据抓取是用的这类蜘蛛来抓,他们要抓大量索引,正如上面说的,tag和个人资料里,都有大量索引数据

霸王别姬 发表于 2025-11-15 16:53:32

蜘蛛就是乱爬。这和他收录不收录没关系
页: [1]
查看完整版本: 问个seo问题,为什么百度蜘蛛一直在抓去大量的TAG页和会员的资料页,没有抓取帖子页和板块页 New