Python大数据开发讲义.pptx

该【Python大数据开发讲义 】是由【读书之乐】上传分享，文档一共【100】页，该文档可以免费在线阅读，需要了解更多关于【Python大数据开发讲义 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。Python大数据编程
第1页
4
数据
分析
3
数据
描述
1
数据
搜集
2
数据
整理
大数据处理过程
2
第2页
便捷数据获取
Python大数据编程
第3页
用Python获取数据
当地数据怎样获取?
文件打开,读写和关闭
• 文件打开
• 读文件
写文件
• 文件关闭
4
第4页
用Python获取数据
网络数据怎样获取?
抓取网页,解析网页内容
urllib
urllib2
httplib
•
httplib2
5
Python3中被

Python3中被

第5页
yahoo财经数据
?s=%5EDJI+Component
第6页
利用urllib库获取yahoo财经数据
#Filename:
importurllibimportre
dBytes=('?s=%5EDJI+Components').read()
dStr=('GBK')
#()返回bytes对象而非str,语句功效是将dBytes转换成Str
m=('<tr><tdclass="yfnc_tabledata1"><b><ahref=".*?">(.*?)</a></b></td><tdclass="yfnc_tabledata1">(.*?)</td>.*?<b>(.*?)</b>.*?</tr>',dStr)
ifm:
print(m)
print('\n‘)
print(len(m))
else:
print('notmatch‘)
第7页
数据形式
• 包含多个字符串(dji)
'AXP','AmericanExpressCompany',''
'BA','TheBoeingCompany',''
'CAT','CaterpillarInc.',''
'CSCO','CiscoSystems,Inc.',''
'CVX','ChevronCorporation',''
– …
第8页
便捷网络数据
是否能够简单方便而且快速方式取得雅虎财经上各上市公司股票历史数据?
File
#Filename:

fromdatetimeimportdate
importpandasaspd
today=()
start=(-1,,)
quotes=quotes_historical_yahoo_ochl('AXP',start,today)df=(quotes)
printdf
第9页
便捷网络数据
quotes内容
日期
收盘价
开盘价
最高价
最低价
成交量
第10页