關于python爬蟲的問題

問題描述

我使用post爬取網頁表格數據，網站如下http://www.ipe.org.cn/Industr...，現在遇到了2個問題，其中一個問題是違規類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>，該網頁已經設定了checked，已經有默認值，而我只想要violation=1的數據，不知道該怎么辦第二個問題是在選擇國家，省份，城市過程<select name='select' onchange='setProvince_0();'>我無法直接用name 以及value選擇我想要的表單數據

跪求各位大神的解答

問題解答

他是有API用來返回數據的，你可以抓取一下，點擊篩選之后的數據流。大概是這個api，http://www.ipe.org.cn/data_as...，post方式，里面有一個參數叫itemType就是你想要的違規類型。然后對應的國家，省份，城市等信息都在api中有體現，自己跟一下就知道了。然后根據需求，構造請求你需要的數據，剩下的就是解析了。。。。