夜夜一区二区三区蜜臀,av青娱乐在线播放,免费蜜桃大片视频在线播放

文章插圖
如今，需要使用代理IP的地方有很多，例如網(wǎng)絡(luò)投票、大數(shù)據(jù)分析、人工智能等領(lǐng)域。那么如何獲取代理IP呢？很多人想到了免費(fèi)代理IP，免費(fèi)不用錢(qián)，豈不美哉。雖然個(gè)人不太建議使用免費(fèi)代理IP，但還是給大家分享下思路方法。
一、收集網(wǎng)站
想要獲取免費(fèi)代理IP，首先得收集一些有免費(fèi)代理IP的網(wǎng)站，然后編寫(xiě)代碼去批量獲取網(wǎng)站上的免費(fèi)代理IP 。這里就不說(shuō)有哪些網(wǎng)站呢，自己去百度一搜，大把的有。
二、分析網(wǎng)站
收集到網(wǎng)站后，對(duì)含有免費(fèi)代理IP的網(wǎng)頁(yè)進(jìn)行分析，比如總共有多少頁(yè)，想要的數(shù)據(jù)是在哪里，要怎么來(lái)獲取。
三、編寫(xiě)代碼
分析完網(wǎng)站后，就可以開(kāi)始編寫(xiě)代碼了，這里貼出代碼，僅供參考。
import requestsimport csvimport pandas as pdfrom fake_useragent import UserAgentimport time#獲取含有免費(fèi)代理IP的所有頁(yè)面urldef get_pageUrls(startUrl,endUrl,pageCount):page_url_list = []# range 從1開(kāi)始，所以pageCount+1，左閉右開(kāi)for i in range(1,pageCount+1):#頁(yè)面URL一般由三部分組成，前半部分url+第幾頁(yè)+后半部分url，#有的頁(yè)面URL最后以頁(yè)數(shù)結(jié)尾，沒(méi)有后半部分，那么endUrl設(shè)置為空字符串即可page_url = startUrl + str(i) + endUrlpage_url_list.append(page_url)return page_url_list#請(qǐng)求所有免費(fèi)代理IP的頁(yè)面url，獲取免費(fèi)代理IPdef get_content(page_url_list):ua =UserAgent()data_list = []for page_url in page_url_list:try:resp = requests.get(page_url, headers={'User-Agent': ua.random})#如果免費(fèi)代理IP是放在表格里，可以直接使用 pandas來(lái)獲取，比較簡(jiǎn)單，#若不是，則需要用BeautifulSoup，或者xpath，或正則表達(dá)式來(lái)提取datas = pd.read_html(resp.text)# print(datas)data_list.append(datas)time.sleep(2)except:print('錯(cuò)誤的請(qǐng)求URL：'+page_url)# print(data_list)return data_list# 將獲取到的免費(fèi)代理IP保存到本地的Excel表格里，留待后用，也可以保存到TXT文本，或數(shù)據(jù)庫(kù)里def save_csv(data_list,save_path):for datas in data_list:for data in datas:# print(data)data.to_csv(sava_path,mode='a',encoding='utf-8',header=1,index=0)if __name__ == '__main__':#前半部分urlstartUrl = 'https://*******/free/inha/'#頁(yè)數(shù)pageCount = 4#若頁(yè)面URL最后是以頁(yè)數(shù)結(jié)尾，后半部分url設(shè)置為空字符串endUrl = ''#文件保存路徑save_path = r'D:3.xlsx'page_url_list = get_pageUrls(startUrl,endUrl,pageCount)data_list = get_content(page_url_list)save_csv(data_list,save_path)也許代碼不夠完善，不當(dāng)之處歡迎指正，希望和大家一起交流。

以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問(wèn)題，請(qǐng)您及時(shí)就醫(yī)或請(qǐng)專業(yè)人士給予相關(guān)指導(dǎo)!

「愛(ài)刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對(duì)您有所幫助：

十大免費(fèi)代理ip軟件 免費(fèi)http代理ip提取

十大免費(fèi)代理ip軟件免費(fèi)http代理ip提取