Python 如何实现对单页面增量爬取呢？

This topic created in 3074 days ago, the information mentioned may be changed or developed.

比如一个页面上面就是一个表格不定时的会增加一行信息如何对这样的类型进行增量爬取呢，只爬取增加的内容？

6 replies • 2018-03-28 09:22:45 +08:00

hardman

Mar 27, 2018 via Android

判断行数固定时间就 OK 不停检测行数

kkzxak47

Mar 27, 2018 via Android

不可能只爬取增加的内容，你不把网页拿下来，怎么知道有没有变化？
自己做去重

jakeyfly

Mar 27, 2018

@kkzxak47 是下读取数据后对比，那是否只能一条条的跟数据库的对比没有的才写入这样？

locoz

Mar 27, 2018 via Android

每一行有没有 id 之类的标识有的话可以把 id 存到 redis 增量的时候查 redis 就行了速度比较快

jakeyfly

Mar 28, 2018

@locoz 有个时间但是存在 redis 里除了 list 别的不能选择最后一个入队列的来对比时间啊

ebingtel

Mar 28, 2018

根据链接，保存的时候 INSERT IGNORE?