lollipop43
V2EX  ›  问与答

既然可以禁用 js,爬取动态网页是不是简单了许多?

  •  
  •   lollipop43 · May 9, 2021 · 2571 views
    This topic created in 1840 days ago, the information mentioned may be changed or developed.

    最近在做动态页面的爬虫,突然想到如果使用了 selenium 后再禁用 js,那么页面元素都固定了,此时就完全像是爬取一个静态网页。 还是说这只是一个巧合,并不是所有的网站都会在 no script 模式下给出完整的响应

    6 replies    2021-05-10 09:15:47 +08:00
    love
        1
    love  
       May 9, 2021
    我没用过 SSR 服务端渲染技术,听说那个就是有这效果。然而用这技术的网站肯定是少数啊,象我自己做站就只有客户端 react 渲染,禁 js 后当然一片白
    ch2
        2
    ch2  
       May 9, 2021
    现在都是 selenium 加载完毕后,在前端 fetch 数据渲染
    jotpot
        3
    jotpot  
       May 9, 2021
    如果新闻、资讯类站点还好,遇到页面用 js 渲染的就废了。页面内容都是 js 渲染的,就如 1 楼说的 禁用 js 就全白了
    adjusted
        4
    adjusted  
       May 9, 2021
    现在大多数前端渲染的页面<noscript>里面只有一句话就是"请启用 javascript"
    Tink
        5
    Tink  
    PRO
       May 9, 2021 via Android
    不启用 js 不给看网页
    supermoonie
        6
    supermoonie  
       May 10, 2021 via iPhone   ❤️ 1
    那你直接 http 请求页面不就好了?干嘛还用 selenium,用这个的意图不就是因为要运行 js 吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2967 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 466ea39e · 43ms · UTC 08:57 · PVG 16:57 · LAX 01:57 · JFK 04:57
    ♥ Do have faith in what you're doing.