2021年Python网络爬虫实习汇报.docx

Python网络爬虫实习汇报

　　Pythｏn 网络爬虫实习汇报
　　目录 一、选题背景 ........................................................... 错误!未定义书签。
　　理 二、爬虫原理。签书义定未!误错ﻩ
　　三、爬虫历史和分类 ................................................ 错误!未定义书签。
　　较 四、常见爬虫框架比较。签书义定未!误错ﻩ
　　五、数据爬取实战
　　１分析网页
　　# 获取 ht ｍl l 源代码
　　def _ ＿g g ｅ tHtml( ）：
　　ｄ ata =
　　]
　　ﻫ
　　ｐ ageN ｕ m = １
　　pageSize = 0
　　 try:
　　ﻫ
　　wh ｉ le ( ｐ ageSiz ｅ
　　〈 = 1 ２５）：
　　# ｈ ead ｅ rs ＝
　　{ { ’Ｕ ser —A A ｇe e ｎ t" ：’ Moziｌl l ａ /5 、 0 (Windows Ｎ T 6 、 1) A ｐp p ｌ eWe ｂK K ｉ t/5 ３７、１ 1 、ｒ ead 、 decode("ut ｆ — ８ ") ﻫ
　　da ｔa a 、 append(url ｌi i ｂ、ｒ equ ｅ st 、 urlope ｎ) )
　　page Ｓi i ｚ e + ＝
　　２5 5
　　ﻫ
　　p p ａｇｅN Nｕ1 m += 1
　　ﻫ
　　pr ｉ nt( ｐａ geSize, page Ｎ um)
　　excep ｔ
　　E E ｘ cepti ｏ n a ｓ
　　e:
　　r r ａｉ se e
　　retur ｎ
　　data
　　2 爬取数据 def
　　_ _ ＿ getData(html):
　　title =
　　［］
　　# #
　　电影标题 ﻫ
　　#rati ｎｇ_ _ ｎ um ＝
　　# 导演 ﻫ
　　da ｔ a = {}
　　# ｂ s4 解析 h h ｔ ml ﻫ
　　ｓ oup ＝
　　Beauti ｆu u ｌS S ｏｕ p(htmｌ。
　　” html 、 parser）
　　”）
　　ﻫ
　　for li
　　ｉ n s ｏｕp p 、 find( ”ｏl l ” , ａt t ｔr r ｓ= = ｛ "clas ｓ’：
　　" " ｇ rid_view"} ）、 fin ｄ＿ al ｌ、ｔ ext ）
　　ra ｎ ge ＿ num、 、a a ｐ pen ｄ (li、 、 fi ｎ d("di ｖ”。
　　class ＿＝’pi ｃ" " ）、 fin ｄ
　　）
　　ﻫ
　　#span ｓ
　　= l ｉ、 find("ｄ iv ”。
　　c c ｌ as ｓ＿= =’ ’ star’ ’) )、 、 find_ ａl l ｌ）：
　　＃
　　ｉ f ｘ
　　 > 〈 title 〉Insert title here ＜/ / ｈｅ ad 〉) ")
　　ﻫ
　　f f 、 wr ｉ te( ”〈b