書(shū)單推薦 新書(shū)推薦 |
Python爬蟲(chóng)與數(shù)據(jù)分析 ![]()
這是一本讓你學(xué)完立馬就能上手的實(shí)用指南。本書(shū)從零開(kāi)始帶你玩轉(zhuǎn)Python網(wǎng)絡(luò)爬蟲(chóng)與數(shù)據(jù)分析,全書(shū)分為基礎(chǔ)篇、進(jìn)階篇和實(shí)戰(zhàn)篇三部分;A(chǔ)篇手把手教你搭建Python 環(huán)境掌握核心語(yǔ)法、數(shù)據(jù)處理和文件操作,為數(shù)據(jù)分析打下堅(jiān)實(shí)基礎(chǔ)。進(jìn)階篇介紹實(shí)用技能,涵蓋網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)、數(shù)據(jù)解析、高效存儲(chǔ),以及數(shù)據(jù)分析利器NumPy和pandas,更有炫酷的數(shù)據(jù)可視化方法。實(shí)戰(zhàn)篇通過(guò)兩大真實(shí)項(xiàng)目,完整演示從數(shù)據(jù)采集、清洗存儲(chǔ)到分析可視化的全流程。本書(shū)內(nèi)容清晰實(shí)用,特別適合想快速掌握Python爬蟲(chóng)技術(shù)與數(shù)據(jù)分析的讀者,讓你學(xué)完就能用!
·核心亮點(diǎn):B 站超受歡迎課程紙質(zhì)化!全網(wǎng)播放超過(guò)500 萬(wàn)!
·學(xué)習(xí)優(yōu)勢(shì):轉(zhuǎn)為初學(xué)者設(shè)計(jì)的絲滑學(xué)習(xí)曲線,理論 + 案例 + 練習(xí),輕松從聽(tīng)得懂到用得上
·知識(shí)覆蓋:無(wú)死角知識(shí)網(wǎng)絡(luò)覆蓋,基礎(chǔ)語(yǔ)法、反爬應(yīng)對(duì)、數(shù)據(jù)清洗、可視化、實(shí)戰(zhàn)分析全流程
·額外福利:附贈(zèng)電子版完整案例!
李巍,中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員,嗶哩嗶哩科技UP主(IT私塾),B站課堂簽約教師,華為開(kāi)發(fā)者學(xué)堂認(rèn)證講師。
基礎(chǔ)篇
第1章 Python數(shù)據(jù)分析準(zhǔn)備工作 ............1
1.1 搭建Python數(shù)據(jù)分析環(huán)境 .................1
1.1.1 下載Python ............................1
1.1.2 正確安裝Python .....................3
1.1.3 配置環(huán)境變量 ..........................5
1.1.4 配置開(kāi)發(fā)環(huán)境PyCharm ...........7
1.1.5 測(cè)試Python和開(kāi)發(fā)環(huán)境是否能正常工作 .......................9
1.2 編寫(xiě)第一個(gè)Python程序 ..................12
第2章 Python基本語(yǔ)法 ..........................15
2.1 注釋 ..................................................15
2.1.1 單行注釋 ...............................15
2.1.2 多行注釋 ...............................16
2.2 標(biāo)識(shí)符和關(guān)鍵字 ................................16
2.2.1 每個(gè)數(shù)據(jù)或者信息都有名字——標(biāo)識(shí)符 .....................17
2.2.2 關(guān)鍵字 ...................................17
2.3 變量及變量的數(shù)據(jù)類(lèi)型 .....................18
2.3.1 變量到底是什么 .....................18
2.3.2 變量的數(shù)據(jù)類(lèi)型 .....................19
2.4 輸入和輸出 .......................................22
2.4.1 處理來(lái)自鍵盤(pán)的輸入 .............22
2.4.2 輸出的幾種情況 .....................23
2.5 運(yùn)算符 ..............................................24
2.5.1 算術(shù)運(yùn)算符 ............................24
2.5.2 比較運(yùn)算符 ............................25
2.5.3 賦值運(yùn)算符 ............................25
2.5.4 位運(yùn)算符 ...............................26
2.5.5 邏輯運(yùn)算符 ............................26
2.5.6 成員運(yùn)算符 ............................28
2.5.7 身份運(yùn)算符 ............................28
2.5.8 運(yùn)算符優(yōu)先級(jí) ........................28
2.6 實(shí)戰(zhàn)演練 ...........................................31
第3章 流程控制語(yǔ)句 .................................32
3.1 條件判斷語(yǔ)句....................................32
3.1.1 單分支結(jié)構(gòu) ............................32
3.1.2 雙分支結(jié)構(gòu) ............................33
3.1.3 多分支結(jié)構(gòu) ............................34
3.1.4 嵌套條件語(yǔ)句 ........................35
3.1.5 條件判斷語(yǔ)句實(shí)例 .................36
3.2 循環(huán)控制語(yǔ)句....................................38
3.2.1 for循環(huán) .................................38
3.2.2 while循環(huán) .............................39
3.2.3 break和continue語(yǔ)句 .........41
3.2.4 循環(huán)控制語(yǔ)句實(shí)例 .................42
3.3 實(shí)戰(zhàn)演練 ...........................................44
第4章 常用的容器數(shù)據(jù)類(lèi)型 .....................47
4.1 字符串——文字也可以進(jìn)行運(yùn)算 .......47
4.1.1 定界符 ...................................47
4.1.2 轉(zhuǎn)義字符 ...............................48
4.1.3 字符串的截取和連接 .............50
4.1.4 字符串的常見(jiàn)操作 .................52
4.1.5 字符串的格式化操作 .............53
4.1.6 字符串實(shí)例 ............................55
4.2 列表 ..................................................56
4.2.1 列表的創(chuàng)建與訪問(wèn) .................57
4.2.2 列表的常見(jiàn)操作 .....................58
4.2.3 列表的嵌套 ............................62
4.2.4 列表實(shí)例 ...............................63
4.3 元組 ..................................................64
4.3.1 元組的創(chuàng)建與訪問(wèn) .................64
4.3.2 元組的常見(jiàn)操作 .....................65
4.4 字典 ..................................................66
4.4.1 字典的創(chuàng)建與訪問(wèn) .................66
4.4.2 字典的常見(jiàn)操作 .....................68
4.4.3 字典實(shí)例 ...............................72
4.5 集合 ..................................................72
4.5.1 創(chuàng)建集合 ...............................73
4.5.2 集合的常見(jiàn)操作 .....................73
4.6 實(shí)戰(zhàn)演練 ...........................................74
第5章 函數(shù) .................................................77
5.1 定義和調(diào)用函數(shù) ................................77
5.1.1 定義函數(shù) ...............................77
5.1.2 調(diào)用函數(shù) ...............................78
5.1.3 函數(shù)參數(shù) ...............................79
5.1.4 函數(shù)返回值 ............................81
5.1.5 實(shí)例 ......................................81
5.2 局部變量和全局變量 .........................82
5.2.1 局部變量 ...............................82
5.2.2 全局變量 ...............................83
5.2.3 全局變量和局部變量重名怎么辦 ...................................84
5.2.4 匿名函數(shù) ...............................85
5.2.5 實(shí)例 ......................................85
5.3 實(shí)戰(zhàn)演練 ...........................................86
第6章 文件操作和異常處理 .....................89
6.1 文件操作 ...........................................89
6.1.1 文件的打開(kāi)與關(guān)閉 .................89
6.1.2 文件讀寫(xiě)操作 ........................91
6.1.3 訪問(wèn)模式 ...............................94
6.1.4 上下文管理器 ........................96
6.1.5 文件操作實(shí)例 ........................96
6.2 錯(cuò)誤與異常 .......................................97
6.2.1 幾種常見(jiàn)錯(cuò)誤與異常 .............97
6.2.2 找出并處理異常 ..................100
6.3 實(shí)戰(zhàn)演練 .........................................104
第7章 模塊和庫(kù) .......................................105
7.1 模塊和庫(kù)的介紹 ..............................105
7.2 庫(kù)的安裝和導(dǎo)入 ..............................105
7.2.1 安裝庫(kù) .................................106
7.2.2 導(dǎo)入庫(kù) .................................106
7.3 常用標(biāo)準(zhǔn)庫(kù) .....................................107
7.3.1 隨機(jī)模塊 —— random ........108
7.3.2 日期時(shí)間模塊——datetime ...109
7.3.3 操作系統(tǒng)模塊——os ...........110
7.3.4 json模塊 .............................112
進(jìn)階篇
第8章 網(wǎng)絡(luò)與前端技術(shù)基礎(chǔ) ...................115
8.1 網(wǎng)絡(luò)基本概念..................................115
8.2 網(wǎng)頁(yè)的構(gòu)成 .....................................116
8.2.1 網(wǎng)頁(yè)結(jié)構(gòu)與內(nèi)容 ...................117
8.2.2 HTML網(wǎng)頁(yè)常用標(biāo)簽 ............118
8.2.3 網(wǎng)頁(yè)樣式 .............................120
8.2.4 網(wǎng)頁(yè)交互 .............................128
8.3 實(shí)戰(zhàn)演練 .........................................132
第9章 網(wǎng)絡(luò)數(shù)據(jù)爬取技術(shù) .......................134
9.1 網(wǎng)絡(luò)爬蟲(chóng)概述..................................134
9.1.1 網(wǎng)絡(luò)爬蟲(chóng)的基本概念 ...........134
9.1.2 合法合規(guī)使用網(wǎng)絡(luò)爬蟲(chóng)技術(shù) ....................................135
9.1.3 數(shù)據(jù)爬取流程 ......................135
9.2 Requests庫(kù) ...................................135
9.2.1 發(fā)送HTTP請(qǐng)求 ...................136
9.2.2 獲取HTTP響應(yīng)的內(nèi)容 ........137
9.2.3 爬取圖片文件 ......................139
9.3 Selenium庫(kù) ..................................139
9.3.1 安裝瀏覽器驅(qū)動(dòng) ...................139
9.3.2 查找單個(gè)元素 ......................142
9.3.3 獲取元素屬性信息 ...............143
9.3.4 等待 ....................................144
9.3.5 網(wǎng)頁(yè)的前進(jìn)和后退 ...............145
9.4 實(shí)戰(zhàn)演練 .........................................145
第10章 網(wǎng)站數(shù)據(jù)解析 .............................147
10.1 lxml庫(kù) .........................................147
10.2 Beautiful Soup庫(kù) ........................150
10.2.1 BeautifulSoup對(duì)象的屬性 ................................151
10.2.2 beautifulsoup4庫(kù)標(biāo)簽對(duì)象的屬性 ......................152
10.2.3 find()方法和find_all()方法 ................................153
10.2.4 select()方法 ....................154
10.3 re庫(kù) ............................................154
10.3.1 re庫(kù)常用方法 ..................156
10.3.2 re庫(kù)基本操作示例 ...........156
10.4 實(shí)戰(zhàn)演練 .......................................158
第11章 存儲(chǔ)數(shù)據(jù) .....................................165
11.1 把數(shù)據(jù)保存到Excel ......................165
11.1.1 基礎(chǔ)的xlwt庫(kù) .................165
11.1.2 強(qiáng)大的xlwings庫(kù) ............166
11.1.3 跨平臺(tái)的openpyxl庫(kù) ......170
11.2 把數(shù)據(jù)保存到MySQL ...................173
11.3 實(shí)戰(zhàn)演練 .......................................179
第12章 科學(xué)計(jì)算庫(kù)NumPy .................181
12.1 NumPy庫(kù)的基本使用方法 ...........181
12.1.1 創(chuàng)建數(shù)組的基本流程 ........181
12.1.2 NumPy數(shù)組的運(yùn)算..........182
12.1.3 NumPy數(shù)組的屬性..........183
12.2 創(chuàng)建數(shù)組 .......................................184
12.2.1 根據(jù)現(xiàn)有數(shù)據(jù)創(chuàng)建數(shù)組 ....184
12.2.2 根據(jù)形狀或數(shù)值創(chuàng)建數(shù)組 ................................185
12.3 獲取數(shù)組元素 ................................186
12.3.1 通過(guò)索引獲取元素 ...........186
12.3.2 通過(guò)切片獲取元素 ...........187
12.4 數(shù)組的操作 ...................................188
12.4.1 修改數(shù)組形狀 ...................188
12.4.2 數(shù)組扁平化 ......................189
12.4.3 數(shù)組轉(zhuǎn)置 ..........................190
12.4.4 數(shù)組去重 ..........................191
12.4.5 數(shù)組合并 ..........................191
12.4.6 數(shù)組分割 ..........................192
12.4.7 數(shù)組復(fù)制 ..........................193
12.4.8 數(shù)組元素的修改 ...............193
12.5 數(shù)組的運(yùn)算 ...................................196
12.5.1 廣播機(jī)制 ..........................196
12.5.2 基本運(yùn)算 ..........................197
12.6 常用API .......................................199
12.6.1 數(shù)組統(tǒng)計(jì) ...........................199
12.6.2 文件讀寫(xiě) ...........................202
12.7 實(shí)戰(zhàn)演練 .......................................202
第13章 數(shù)據(jù)處理庫(kù)pandas .................208
13.1 pandas入門(mén) .................................208
13.1.1 pandas數(shù)據(jù)結(jié)構(gòu)及相關(guān)方法 ................................208
13.1.2 pandas訪問(wèn)數(shù)據(jù) .............213
13.2 數(shù)據(jù)處理常用操作 ........................217
13.2.1 缺失值處理 ......................217
13.2.2 運(yùn)算 .................................218
13.2.3 合并與分組 ......................222
13.2.4 堆疊和透視 ......................224
13.2.5 時(shí)間序列和分類(lèi)數(shù)據(jù) ........226
13.3 數(shù)據(jù)的讀入與寫(xiě)出 ........................228
13.4 實(shí)戰(zhàn)演練 .......................................230
第14章 靜態(tài)圖表可視化 .........................235
14.1 Matplotlib實(shí)現(xiàn)靜態(tài)圖表 ..............235
14.2 基礎(chǔ)繪圖功能 ...............................237
14.2.1 Matplotlib圖像結(jié)構(gòu) ........237
14.2.2 添加輔助元素 ...................238
14.2.3 繪制多條折線 ...................241
14.2.4 繪制子圖 ..........................242
14.3 常見(jiàn)圖形繪制 ...............................246
14.3.1 折線圖 .............................246
14.3.2 散點(diǎn)圖 .............................247
14.3.3 柱形圖 .............................248
14.3.4 三維圖形 ..........................250
14.4 實(shí)戰(zhàn)演練 .......................................252
第15章 動(dòng)態(tài)圖表可視化 .........................254
15.1 Pyecharts.....................................254
15.1.1 Pyecharts的安裝和基本使用 ................................254
15.1.2 Pyecharts繪制其他基本圖形 ................................257
15.1.3 組合圖表 ..........................260
15.1.4 設(shè)置主題 ..........................261
15.1.5 輪播圖 .............................265
15.2 實(shí)戰(zhàn)演練 .......................................266
第16章 Flask框架實(shí)現(xiàn)數(shù)據(jù)可視化系統(tǒng) .............................................269
16.1 完成第一個(gè)網(wǎng)站 ............................269
16.2 路由與網(wǎng)頁(yè) ...................................270
16.3 頁(yè)面動(dòng)態(tài)加載后臺(tái)數(shù)據(jù) .................273
16.3.1 Flask在頁(yè)面上顯示表格 ................................273
16.3.2 數(shù)據(jù)來(lái)自Excel文件 .........274
16.3.3 數(shù)據(jù)來(lái)自數(shù)據(jù)庫(kù) ...............276
16.4 Flask接收參數(shù),分頁(yè)顯示數(shù)據(jù) ....276
實(shí)戰(zhàn)篇
第17章 豆瓣電影Top250信息爬取實(shí)戰(zhàn)..............................289
17.1 項(xiàng)目概述.................................289
17.2 準(zhǔn)備工作.................................290
17.2.1 分析頁(yè)面....................292
17.2.2 新建項(xiàng)目....................293
17.2.3 引入模塊....................295
17.3 數(shù)據(jù)爬取.................................296
17.4 數(shù)據(jù)解析.................................296
17.5 數(shù)據(jù)存儲(chǔ).................................297
17.5.1 保存到Excel文件......298
17.5.2 保存到SQLite數(shù)據(jù)庫(kù).......................299
17.6 數(shù)據(jù)分析與展現(xiàn)......................301
17.7 實(shí)戰(zhàn)小結(jié).................................302
第18章 招聘網(wǎng)站信息爬取實(shí)戰(zhàn).......303
18.1 項(xiàng)目概述.................................303
18.2 準(zhǔn)備工作.................................30418.2.1 分析頁(yè)面....................306
18.2.2 新建項(xiàng)目....................307
18.2.3 引入模塊....................308
18.2.4 定義全局變量.............308
18.3 獲取數(shù)據(jù).................................309
18.3.1 首頁(yè)輸入搜索關(guān)鍵詞.......................309
18.3.2 爬取列表頁(yè)信息.........312
18.3.3 爬取詳情頁(yè)信息.........313
18.4 解析內(nèi)容.................................314
18.4.1 解析列表頁(yè)數(shù)據(jù).........314
18.4.2 解析詳情頁(yè)數(shù)據(jù).........316
18.5 保存數(shù)據(jù).................................318
18.6 項(xiàng)目小結(jié).................................320
你還可能感興趣
我要評(píng)論
|







