加什么标识可以让它不爬取特定连接吗？话说为啥百度一个页面都不收录？
This topic created in 2559 days ago, the information mentioned may be changed or developed.
 |
1
silencefent May 29, 2019  1
nofollow?
|
 |
2
vinsony May 29, 2019
百度现在废物一个，蜘蛛都不怎么爬的
|
 |
3
airyland May 29, 2019 via iPhone 1
在 robots.txt 里 disallow，在 webmaster 里可以临时移除收录。
|
 |
4
hoyixi May 29, 2019
G 喜欢新站，给你机会，然后就看你内容水平怎么样了
B 是存量大佬的世界，增量如果不是土豪，基本歇菜 |
|
5
hoyixi May 29, 2019 1
某链接不爬：
你模板里该链接加个属性：<a ref="nofollow" 生成站点 sitemap （自己开发，or 找工具生成，最后 sitemap 里面的链接，通常都是你网站文章的 url ），向谷歌提交 |
 |
6
ningfeng May 29, 2019 via Android
百度爬虫太懒了
|
 |
7
d5n May 29, 2019 via iPhone 1
百毒不需要爬虫，百家号自己内部数据库搜索
|
Select Language