網頁爬蟲 - python爬蟲，需要爬取的數據沒在網頁源代碼中，怎么處理？

問題描述

我想抓取直播吧賽事的比分：直播吧鏈接，可是我用Scrapy只能抓取到日期，主客隊等。我的問題是：比分是不是通過Script加載出來的？是不是在這個腳本中bf4.js中？這種Request Method:GET的情況如何準確獲取出比分如下圖？通過開發者工具查看出的網頁源代碼如下：<li label='足球,中甲,武漢卓爾' data-time='2017-06-24 15:00'>15:00 <b>中甲第15輪</b> 云南麗江 <img src='https://duihui.qiumibao.com/zuqiu/yunnanlijiang.png' > <span> - </span> <img src='https://duihui.qiumibao.com/zuqiu/wuhanzhuoer.png' > 武漢卓爾 <a href='http://www.wxshucaidpc.com/zhibo/zuqiu/2017/0624yunnanlijiangvswuhanzhuoer.htm' target='_blank'>武漢文體 廣州競賽 PPTV</a> <a target='_blank'>文字</a> <a target='_blank'>手機看直播</a> <a target='_blank'>比分</a> <a target='_blank'>歐冠足球新服</a> </li>

即<span> - </span>中比分沒顯示，如何才能抓取渲染完成出來的比分網頁呢？

問題解答

數據在https://bifen4pc.qiumibao.com/json/list.htm?74520

那就使用Selenium 來獲取吧，

鏈接描述