總金額: 會員:NT$ 0 非會員:NT$ 0 
(此金額尚未加上運費)
電子電信技術 電腦技術 計算技術、計算機技術
 
 
 
 
Python數據預處理技術與實踐(配件另行下載)
 作  者: 白寧超/唐聃/文俊
 出版單位: 清華大學
 出版日期: 2019.12
 進貨日期: 2019/12/27
 ISBN: 9787302539711
 開  本: 16 開    
 定  價: 518
 售  價: 414
  會 員 價: 380
推到Facebook 推到Plurk 推到Twitter
前往新書區 書籍介紹 購物流程  
 
編輯推薦:

本書結合作者的項目經驗,從實際工程需求出發,循序漸進地介紹了大數據預處理相關技術、流行工具與應用案例,全書分為三部分,核心內容概要如下:
第一部分 數據預處理的基礎知識。包括數據預處理的基本概念、工作流程、應用場景、開發環境、入門演練和Python科學計算工具包Numpy、SciPy、Pandas的實際應用等。

第二部分 數據預處理的實戰進階。內容包括:
數據採集與存儲,主要涉及數據結構類型和採集方式,著重介紹了爬蟲技術以及不同格式的文本信息抽取和文件讀取。

高效讀取文件、正則清洗文本信息、網頁數據清洗和文本批量清洗。
中文分詞精講、封裝分詞工具包、NLTK詞頻處理、命名實體抽取和批量分詞處理。
特徵向量化處理,涉及數據解析、缺失值處理、歸一化處理、特徵詞文本向量化、詞頻-逆詞頻、詞集模型、詞袋模型和批量文本特徵向量化。
基於Gensim的文本特徵向量化,涉及構建語料詞典、詞頻統計、詞頻-逆詞頻計算、主題模型和特徵降維等。
主成分分析PCA降維技術的原理和實際案例。
Matplotlib數據可視化分析案例。

第三部分 數據預處理的實際應用。主要介紹競賽神器XGBoost的算法原理、應用、優化調參以及數據預處理在文本分類中的實際應用。


內容簡介:

本書基礎理論和工程應用相結合,循序漸進地介紹了數據預處理的基本概念、基礎知識、工具應用和相關案例,包括網絡爬蟲、數據抽取、數據清洗、數據集成、數據變換、數據向量化、數據規約等知識,書中針對每個知識點,都給出了豐富的教學實例和實現代碼,最後,通過一個新聞文本分類的實際項目講解了數據預處理技術在實際中的應用。 本書的特點是幾乎涵蓋了數據預處理的各種常用技術及主流工具應用,示例代碼很豐富,適合於大數據從業者、AI技術開發人員以及高校大數據專業的學生使用。


作者簡介:

白寧超,大數據工程師,現任職於四川省計算機研究院,研究方向包括數據分析、自然語言處理和深度學習。主持和參與國家自然基金項目和四川省科技支撐計劃項目多項,出版專著1部。

唐聃,教授,碩士生導師,成都信息工程大學軟件工程學院院長,四川省學術和技術帶頭人後備人選。研究方向包括編碼理論與人工智能,《自然語言處理理論與實戰》一書作者。

文俊,碩士,大數據算法工程師,現任職於成都廣播電視台橙視傳媒大數據中心。曾以技術總監身份主持研發多個商業項目,負責公司核心算法模型構建。主要研究方向包括數據挖掘、自然語言處理、深度學習及雲計算。


圖書目錄:

第1章 概述 1
1.1 Python數據預處理 1
1.1.1 什麼是數據預處理 1
1.1.2 為什麼要做數據預處理 2
1.1.3 數據預處理的工作流程 2
1.1.4 數據預處理的應用場景 3
1.2 開發工具與環境 3
1.2.1 Anaconda介紹與安裝 3
1.2.2 Sublime Text 7
1.3 實戰案例:第一個中文分詞程序 12
1.3.1 中文分詞 12
1.3.2 實例介紹 14
1.3.3 結巴實現中文分詞 14
1.4 本章小結 15
第2章 Python科學計算工具 16
2.1 NumPy 16
2.1.1 NumPy的安裝和特點 16
2.1.2 NumPy數組 18
2.1.3 Numpy的數學函數 20
2.1.4 NumPy線性代數運算 22
2.1.5 NumPy IO操作 22
2.2 SciPy 23
2.2.1 SciPy的安裝和特點 23
2.2.2 SciPy Linalg 25
2.2.3 SciPy文件操作 27
2.2.4 SciPy 插值 28
2.2.5 SciPy Ndimage 30
2.2.6 SciPy優化算法 33
2.3 Pandas 35
2.3.1 Pandas的安裝和特點 36
2.3.2 Pandas的數據結構 36
2.3.3 Pandas的數據統計 39
2.3.4 Pandas處理丟失值 41
2.3.5 Pandas處理稀疏數據 45
2.3.6 Pandas的文件操作 46
2.3.7 Pandas 可視化 48
2.4 本章小結 54
第3章 數據採集與存儲 55
3.1 數據與數據採集 55
3.2 數據類型與採集方法 56
3.2.1 結構化數據 56
3.2.2 半結構化數據 56
3.2.3 非結構化數據 57
3.3 網絡爬蟲技術 57
3.3.1 前置條件 58
3.3.2 Scrapy 技術原理 58
3.3.3 Scrapy新建爬蟲項目 59
3.3.4 爬取網站內容 61
3.4 爬取數據以JSON格式進行存儲 69
3.5 爬取數據的MySQL存儲 71
3.5.1 MySQL與Navicat部署 71
3.5.2 MySQL存儲爬蟲數據 72
3.6 網絡爬蟲技術擴展 75
3.7 本章小結 76
第4章 文本信息抽取 77
4.1 文本抽取概述 77
4.2 文本抽取問題 78
4.3 Pywin32抽取文本信息 79
4.3.1 Pywin32介紹 79
4.3.2 抽取Word文檔文本信息 80
4.3.3 抽取PDF文檔文本信息 83
4.3.4 打造靈活的文本抽取工具 84
4.4 文本批量編碼 86
4.5 實戰案例:遍歷文件批量抽取新聞文本內容 86
4.5.1 遞歸讀取文件 87
4.5.2 遍歷抽取新聞文本 88
4.6 本章小結 91
第5章 文本數據清洗 92
5.1 新聞語料的準備 92
5.2 高效讀取文件 93
5.2.1 遞歸遍歷讀取新聞 94
5.2.2 yield生成器 95
5.2.3 高效遍歷讀取新聞 97
5.3 通過正則表達式來清洗文本數據 98
5.3.1 正則表達式 98
5.3.2 清洗文本數據 100
5.4 清洗HTML網頁數據 102
5.5 簡繁字體轉換 104
5.6 實戰案例:批量新聞文本數據清洗 106
5.6.1 高效讀取文件內容 106
5.6.2 抽樣處理文件 107
5.6.3 通過正則表達式批量清洗文件 108
5.7 本章小結 109
第6章 中文分詞技術 110
6.1 中文分詞簡介 110
6.1.1 中文分詞概述 110
6.1.2 常見中文分詞方法 111
6.2 結巴分詞精講 112
6.2.1 結巴分詞的特點 112
6.2.2 結巴分詞的安裝 112
6.2.3 結巴分詞核心方法 112
6.2.4 結巴中文分詞的基本操作 113
6.2.5 自定義分詞詞典 114
6.2.6 關鍵詞提取 115
6.2.7 詞性標注 116
6.3 HanLP分詞精講 117
6.3.1 JPype1的安裝 117
6.3.2 調用HanLP的Java包 117
6.3.3 HanLP分詞 118
6.3.4 HanLP實現自定義分詞 120
6.3.5 命名實體識別與詞性標注 120
6.3.6 HanLP實現關鍵詞抽取 121
6.3.7 HanLP實現自動摘要 121
6.4 自定義去除停用詞 122
6.4.1 以正則表達式對文本信息進行清洗 122
6.4.2 結巴中文分詞詞性解讀 124
6.4.3 根據詞性規則構建自定義停用詞 126
6.5 詞頻統計 126
6.5.1 NLTK介紹與安裝 126
6.5.2 統計新聞文本詞頻 128
6.5.3 統計特定詞頻和次數 129
6.5.4 特徵詞的頻率分布表 129
6.5.5 頻率分布圖與頻率累計分布圖 130
6.5.6 基於Counter的詞頻統計 131
6.6 自定義去高低詞頻 132
6.7 自定義規則提取特徵詞 133
6.8 實戰案例:新聞文本分詞處理 134
6.9 本章小結 135
第7章 文本特徵向量化 136
7.1 解析數據文件 136
7.2 處理缺失值 138
7.2.1 什麼是數據缺失值 138
7.2.2 均值法處理數據缺失值 139
7.2.3 Pandas 處理缺失值 141
7.3 數據的歸一化處理 143
7.3.1 不均衡數據分析 143
7.3.2 歸一化的原理 144
7.3.3 歸一化的優點 145
7.4 特徵詞轉文本向量 146
7.5 詞頻-逆詞頻(TF-IDF) 147
7.6 詞集模型與詞袋模型 148
7.7 實戰案例:新聞文本特徵向量化 153
7.8 本章小結 154
第8章 Gensim文本向量化 155
8.1 Gensim的特性和核心概念 155
8.2 Gensim構建語料詞典 156
8.3 Gensim統計詞頻特徵 158
8.4 Gensim計算TF-IDF 158
8.5 Gensim實現主題模型 160
8.5.1 主題模型 160
8.5.2 潛在語義分析(LSA) 161
8.5.3 隱含狄利克雷分布(LDA) 164
8.5.4 LDA的模型實現 166
8.5.5 隨機映射(RP) 167
8.6 實戰案例:Gensim實現新聞文本特徵向量化 169
8.6.1 參數設置 169
8.6.2 生成詞典模型 170
8.6.3 生成TF-IDF模型 172
8.7 本章小結 173
第9章 PCA降維技術 174
9.1 什麼是降維 174
9.2 PCA概述 175
9.3 PCA應用場景 177
9.4 PCA的算法實現 178
9.4.1 準備數據 178
9.4.2 PCA數據降維 179
9.4.3 高維向低維數據映射 181
9.5 實戰案例:PCA技術實現新聞文本特徵降維 182
9.5.1 加載新聞數據 182
9.5.2 前N個主成分特徵 184
9.5.3 PCA新聞特徵降維可視化 186
9.6 本章小結 187
第10章 數據可視化 188
10.1 Matplotlib概述 188
10.1.1 認識 Matplotlib 188
10.1.2 Matplotlib的架構 190
10.2 Matplotlib繪製折線圖 193
10.2.1 折線圖的應用場景 193
10.2.2 折線圖的繪製示例 193
10.3 Matplotlib繪製散點圖 195
10.3.1 散點圖的應用場景 195
10.3.2 散點圖的繪製示例 195
10.4 Matplotlib繪製直方圖 197
10.4.1 直方圖的應用場景 197
10.4.2 直方圖的繪製示例 197
10.5 練習:Matplotlib繪製氣溫圖 198
10.6 練習:Matplotlib繪製三維圖 200
10.6.1 練習1:繪製三維梯度下降圖 200
10.6.2 練習2:繪製三維散點圖 201
10.7 本章小結 203
第11章 競賽神器XGBoost 204
11.1 XGBoost概述 204
11.1.1 認識XGBoost 204
11.1.2 XGBoost的應用場景 205
11.2 XGBoost的優點 206
11.3 使用XGBoost預測毒蘑菇 206
11.3.1 XGBoost的開發環境及安裝 206
11.3.2 數據準備 207
11.3.3 參數設置 207
11.3.4 模型訓練 208
11.3.5 可視化特徵排名 210
11.4 XGBoost優化調參 210
11.4.1 參數解讀 211
11.4.2 調參原則 214
11.4.3 調參技巧 215
11.5 預測糖尿病患者 215
11.5.1 數據準備 215
11.5.2 預測器模型構建 216
11.5.3 調參提高預測器的性能 220
11.6 本章小結 228
第12章 XGBoost實現新聞文本分類 229
12.1 文本分類概述 229
12.2 文本分類的原理 230
12.2.1 文本分類的數學描述 230
12.2.2 文本分類的形式化描述 231
12.3 分類模型評估 231
12.4 數據預處理 233
12.4.1 通用的類庫 234
12.4.2 階段1:生成詞典 236
12.4.3 階段2:詞典向量化TF-IDF 238
12.4.4 階段3:生成主題模型 240
12.5 XGBoost分類器 243
12.6 新聞文本分類應用 248
12.7 本章小結 251
參考文獻 252


章節試讀:

前 言
當前,大數據與人工智能技術炙手可熱,其對應的工作崗位也逐年增加,薪資也較為誘人。我們在做大數據與人工智能處理時,不可避免地會遇到數據的問題。現實中的數據是不完整的,比如存在缺失值、干擾值等髒數據,這樣就沒有辦法直接挖掘數據的價值,也不能將其直接應用於人工智能設備。為了提高數據的質量產生了數據預處理技術。數據預處理主要是指對原始數據進行文本抽取、數據清理、數據集成、數據變換、數據降維等處理,其目的是提高數據質量,以更好地提升算法模型的性能,其在數據挖掘、自然語言處理、機器學習、深度學習算法中應用廣泛。數據預處理是一項很龐雜的工程,當你面對一堆數據手足無措的時候,當你面對數據預處理背後的坑一籌莫展的時候,當你的算法性能遲遲不能提升的時候,本書可以幫助你解決以上問題。本書從什麼是數據預處理及其相關基礎知識入手,分別介紹了網絡爬蟲、數據抽取、數據清洗、數據集成、數據變換、數據向量化、數據規約等技術,並結合實際項目和案例幫助讀者將所學知識快速應用於工程實踐,相信會對數據預處理感興趣的讀者和大數據從業者有所幫助。
本書的主要內容
本書從邏輯上可分為三部分,共12章內容,各部分說明如下:
第一部分(第1~3章),主要介紹數據預處理的基礎知識,包括數據預處理的基本概念、工作流程、應用場景、開發環境、入門演練和Python科學計算工具包Numpy、SciPy、Pandas及其實際應用。如果讀者已具備一定的數據預處理基礎,可以跳過此部分,從第三章開始學習。
第二部分(第3~10章),是數據預處理的實戰進階部分,共計8章。第3章介紹數據採集與存儲,主要涉及數據類型和採集方式,其中著重介紹了爬蟲技術;第4章介紹不同格式的文本信息抽取和文件讀取;第5章介紹了高效讀取文件、正則清洗文本信息、網頁數據清洗和文本批量清洗工作;第6章介紹了中文分詞、封裝分詞工具包、NLTK詞頻處理、命名實體抽取和批量分詞處理工作;第7章介紹了特徵向量化處理,其中涉及數據解析、缺失值處理、歸一化處理、特徵詞文本向量化、詞頻-逆詞頻、詞集模型、詞袋模型和批量文本特徵向量化工作;第8章介紹基於Gensim文本特徵向量化,涉及構建語料詞典、詞頻統計、詞頻-逆詞頻計算、主題模型和特

徵降維等。第9章介紹了主成分分析PCA降維技術的原理和實際案例;第10章介紹了Matplotlib數據可視化及案例。
第三部分(包括第11章和第12章),是數據預處理的實際應用部分,主要介紹競賽神器XGBoost的算法原理、應用、優化調參以及數據預處理在文本分類中的實際應用。
本書的主要特色
本書主要包括以下特色:
? 本書理論與應用相結合,循序漸進地介紹了數據預處理的相關概念、基礎知識、常用工具及應用案例,書中實戰案例均來自於筆者的實際項目,具有較強的實用性。
? 本書涵蓋了數據預處理實際開發中絕大部分重要的知識點,介紹了當今數據預處理涉及的各種技術和熱門工具,技術先進,內容詳盡,代碼可讀性及可操作性強。
? 本書針對每一個知識點,盡可能地通過示例來講解,每一個示例都給出了源碼和說明,這些源碼本身具備復用的價值,可以直接用於工程項目。另外,筆者還在GitHub上開闢了專門的討論區,便於讀者進行技術交流。
本書面向的讀者
本書主要面向以下讀者:
? 大數據技術從業者
? AI技術開發人員
? 準備上手數據採集、數據挖掘與數據分析的初學者
? 大數據及相關專業的學生
? 培訓機構的學員
源碼下載和說明
本書的源碼支持GitHub下載,下載地址:
https://github.com/bainingchao/PyDataPreprocessing
關於源碼的說明:
? PyDataPreprocessing:本書源代碼的根目標。
? Chapter 數字:分別代表對應章節的源碼。
? Corpus:本書所有的訓練語料。
? Files:所有文件文檔。
? Packages:本書所需要下載的工具包。
本書作者介紹
本書主要由白寧超、唐聃、文俊編寫,參與編寫的還有田霖、黃河、於小明。
? 白寧超 大數據工程師,現任職於四川省計算機研究院,研究方向包括數據分析、自然語言處理和深度學習。近3年,主持和參與國家自然基金項目和四川省科技支撐計劃項目多項,出版專著一部。
? 唐 聃 教授,碩士生導師,成都信息工程大學軟件工程學院院長,四川省學術和技術帶頭人後備人選。研究方向包括編碼理論與人工智能,《自然語言處理理論與實戰》作者。
? 文 俊 碩士,大數據算法工程師,現任職於成都廣播電視台橙視傳媒大數據中心。曾以技術總監身份主持研發多個商業項目,負責公司核心算法模型構建。主要研究方向包括數據挖掘、自然語言處理、深度學習以及雲計算。
? 田 霖 成都東軟學院計算機科學與工程系教師,研究方向包括數據挖掘和強化學習,曾參與四川省智慧環保、四川省涉稅信息等多個省級項目。
? 黃 河 博士,重慶大學語言認知及語言應用研究基地研究員,研究方向為計算語言學、語料庫處理技術、深度學習和數據挖掘。
? 於小明 講師,主治醫生,現任職於河南省中醫院(河南中醫藥大學第二附屬醫院),主要從事醫療領域大數據分析,臨床泌尿外科小領域本體構建等方面的研究工作。
在本書編寫過程中,參考了很多相關資料,在此對他們的貢獻表示感謝,雖筆者已盡心竭力,但限於水平和時間倉促,書中難免存在錯漏,歡迎讀者批評指正。
聯繫郵箱:booksaga@163.com






作者
2019年5月

 
  步驟一.
依據網路上的圖書,挑選你所需要的書籍,根據以下步驟進行訂購
選擇產品及數量 結 帳 輸入基本資料 取貨與付款方式
┌───────────────────────────────────────────────────┘
資料確定 確認結帳 訂單編號    

步驟二.
完成付款的程序後,若採用貨到付款等宅配方式,3~7天內 ( 例假日將延期一至兩天 ) 您即可收到圖書。若至分店門市取貨,一週內聯絡取書。

步驟三.
完成購書程序者,可利用 訂單查詢 得知訂單進度。

注意事項.
● 付款方式若為網路刷卡必須等" 2 ~ 3 個工作天"確認款項已收到,才會出貨.如有更改書籍數量請記得按更新購物車,謝謝。

● 大陸出版品封面老舊、磨痕、凹痕等均屬常態,除封面破損、內頁脫落...等較嚴重的狀態外,其餘所有商品將正常出貨。

● 至2018年起,因中國大陸環保政策,部分書籍配件以QR CODE取代光盤音頻mp3或dvd,已無提供實體光盤。如需使用學習配件,請掃描QR CODE 連結至當地網站註冊並通過驗證程序,方可下載使用。造成不便,敬請見諒。

● 我們將保留所有商品出貨權利,如遇缺書情形,訂單未達免運門檻運費需自行負擔。

預訂海外庫存.
商品到貨時間須4週,訂單書籍備齊後方能出貨,如果您有急用書籍,建議與【預訂海外庫存】商品分開訂購。