總金額: 會員:NT$ 0 非會員:NT$ 0 
(此金額尚未加上運費)
電子電信技術 電腦技術 自動化技術及設備
 
 
 
 
Alluxio:大數據統一存儲原理與實踐^tn
 作  者: 范斌/顧榮
 出版單位: 電子工業
 出版日期: 2019.08
 進貨日期: 2019/9/11
 ISBN: 9787121367823
 開  本: 16 開    
 定  價: 593
 售  價: 474
  會 員 價: 435
推到Facebook 推到Plurk 推到Twitter
前往新書區 書籍介紹 購物流程  
 
編輯推薦:

√ Alluxio創始人及實踐先驅聯合力薦
√ 深度解密Alluxio核心概念與技術應用
√ 基於國內一線互聯網企業真實案例技術剖析
√ 專案PMC&Maintainer凝聚鑽研實力與超前視野


內容簡介:

Alluxio 這一以記憶體為中心的分散式虛擬檔案系統,*初誕生于加州大學伯克利分校的 AMPLab,其開源社區在目前大資料生態系統中發展很快。本書以廣泛使用的 Alluxio 1.8.1 版本為基礎進行編寫,是一本全面介紹 Alluxio 相關技術原理與實踐案例的書籍。本書主要內容包括 Alluxio 系統快速入門、Alluxio 系統架構及讀寫工作機制、Alluxio 與底層存儲系統的集成、Alluxio 與上層計算框架的集成、Alluxio 基本功能和高級功能的介紹與使用。此外,本書還詳細介紹了 Alluxio 的應用案例與生產實踐,並詳細解讀了 Alluxio 的核心框架和技術應用,旨在為大資料從業人員和大資料存儲技術愛好者提供一個深入學習的平臺,也可用作開源社區開發者指南。


作者簡介:

範斌,Alluxio開源專案的管理委員會成員和源碼維護者,也是Alluxio公司的創始成員並現任開源副總裁。加入Alluxio項目之前, 范斌就職于谷歌山景城, 從事下一代大規模分散式存儲系統的研究與開發, 並獲得穀歌基礎設施技術獎(Technical Infrastructure Award)。範斌2013年獲得卡內基梅隆大學(Carnegie Mellon University)電腦系博士學位,博士期間從事分散式系統演算法和實現,是CuckooFilter,MemC3以及高性能的多執行緒KV庫libcuckoo的第一作者或聯合作者,並在SIGCOMM,SOSP,NSDI,CoNEXT等頂級學術會議以及IEEE Transactions on Networking等頂級學術期刊上發表論文。范斌著有多項專利,其學術研究成果在Alluxio、穀歌、Facebook、英特爾、微軟等高科技公司得到落地使用。顧榮,南京大學電腦科學與技術系助理研究員,並且是Alluxio專案的管理委員會成員和源碼維護者,於2016年獲得南京大學電腦專業博士學位,主要研究領域為大資料處理技術與系統,發表國際期刊會議論文20餘篇,包括IEEE TPDS、JPDC、IEEE ICDE、IEEE IPDPS、IEEE BigData、IEEE ICPADS等。部分研究成果已經在英特爾、百度、華泰證券、蘇甯易購、華為、位元組跳動等公司得到了落地使用,還有部分成果被主流開源大資料系統Apache Spark和Alluxio官方版本集成發佈。顧榮還擔任多個學術期刊的審稿人、江蘇省電腦學會大資料專委會秘書長、中國電腦學會系統軟體專委會委員。


圖書目錄:

第 1 章 Alluxio 系統快速入門 ............................................................................................. 1
1.1 Alluxio 背景概述 ..................................................................................................... 1
1.1.1 Alluxio 系統功能簡介 ................................................................................. 4
1.1.2 Alluxio 項目發展歷史 ................................................................................. 5
1.2 獲取/編譯 Alluxio 軟體 ........................................................................................... 6
1.2.1 下載預編譯的 Alluxio 可執行包 ................................................................ 6
1.2.2 編譯 Alluxio 原始程式碼 .................................................................................... 6
1.3 Alluxio 的搭建部署及程式運行 ........................................................................... 10
1.3.1 單機模式 .................................................................................................... 10
1.3.2 集群模式 .................................................................................................... 13
1.3.3 高可用集群模式 ........................................................................................ 16
第 2 章 Alluxio 系統架構及讀寫工作機制 ....................................................................... 22
2.1 Alluxio 的構架簡介與基本特徵 ........................................................................... 22
2.1.1 提升遠端存放讀寫性能 ............................................................................ 23
2.1.2 統一持久化資料訪問介面 ........................................................................ 24
2.1.3 資料的快速複用和共用 ............................................................................ 26
2.2 Alluxio 的系統功能元件 ....................................................................................... 27
2.2.1 Alluxio Master 組件 ................................................................................... 27
2.2.2 Alluxio Worker 組件 .................................................................................. 29
2.2.3 Alluxio Client 組件 .................................................................................... 30
2.3 Alluxio 讀寫場景的行為分析 ............................................................................... 31
2.3.1 Alluxio 的讀場景資料流程 ........................................................................... 31
2.3.2 Alluxio 的寫場景資料流程 ........................................................................... 37
第 3 章 Alluxio 與底層存儲系統的集成 ........................................................................... 40
3.1 配置 HDFS 作為 Alluxio 底層存儲 ...................................................................... 40
3.1.1 準備步驟與基本配置流程 ........................................................................ 41
3.1.2 高級參數配置 ............................................................................................ 43
3.1.3 使用 HDFS 在本地運行 Alluxio ............................................................... 44
3.2 配置 Secure HDFS 作為 Alluxio 底層存儲 .......................................................... 44
3.2.1 準備步驟與基本配置流程 ........................................................................ 45
3.2.2 使用安全認證模式 HDFS 在本地運行 Alluxio ....................................... 46
3.3 配置 AWS S3 作為 Alluxio 底層存儲 .................................................................. 47
3.3.1 準備步驟與基本配置流程 ........................................................................ 47
3.3.2 高級參數配置 ............................................................................................ 49
3.3.3 使用 S3 在本地運行 Alluxio ..................................................................... 51
3.4 配置 Google GCS 作為 Alluxio 底層存儲 ........................................................... 52
3.4.1 準備步驟與基本配置流程 ........................................................................ 52
3.4.2 高級參數配置 ............................................................................................ 53
3.4.3 使用 GCS 本地運行 Alluxio ..................................................................... 54
3.5 配置 Azure BLOB Store 作為 Alluxio 底層存儲系統 ........................................ 55
3.5.1 準備步驟與基本配置流程 ........................................................................ 55
3.5.2 使用 Azure BLOB Store 本地運行 Alluxio .............................................. 57
第 4 章 Alluxio 與上層計算框架的集成 ........................................................................... 58
4.1 Alluxio 的管理員操作命令 ................................................................................... 58
4.1.1 操作命令列表 ............................................................................................ 59
4.1.2 操作命令示例 ............................................................................................ 59
4.2 Alluxio 的用戶操作命令 ....................................................................................... 61
4.2.1 操作命令列表 ............................................................................................ 62
4.2.2 操作命令示例 ............................................................................................ 65
4.3 Alluxio 與 Hadoop 操作命令列的集成 ................................................................ 78
4.3.1 前期準備與配置 ........................................................................................ 78
4.3.2 具體使用示例 ............................................................................................ 79
4.4 Alluxio 與 Hadoop MapReduce 的集成 ................................................................ 79
4.4.1 前期準備與配置 ........................................................................................ 80
4.4.2 具體使用示例 ............................................................................................ 82
4.5 Alluxio 與 Spark 的集成 ....................................................................................... 83
4.5.1 前期準備與配置 ........................................................................................ 83
4.5.2 使用 Alluxio 作為輸入/輸出源 ................................................................. 85
4.5.3 Alluxio 與 Spark 集成常見問題分析與解決 ............................................ 86
4.6 Alluxio 與 Hive 的集成 ......................................................................................... 89
4.6.1 安裝並配置 Hive 環境 .............................................................................. 89
4.6.2 使用 Alluxio 存儲部分 Hive 表 ................................................................ 90
4.6.3 使用 Alluxio 作為預設檔案系統(存儲全部資料) .............................. 93
4.6.4 檢查 Hive 和 Alluxio 的集成情況(支援 Hive 2.x) ............................. 95
4.7 Alluxio 與 Presto 的集成 ....................................................................................... 96
4.7.1 前期準備 .................................................................................................... 96
4.7.2 部署分發 Alluxio 用戶端 jar 包 ................................................................ 98
4.7.3 Presto 操作命令示例 ................................................................................. 98
4.8 Alluxio 與 TensorFlow 的集成 ........................................................................... 100
4.8.1 深度學習面臨的數據挑戰 ...................................................................... 100
4.8.2 基於 Alluxio


章節試讀:

推薦序一
如今的世界步入了一個資料革命的時代。隨著互聯網、人工智慧、移動計算、自動駕駛、物聯網等新技術的不斷進步,人們生成、採集、管理和分析的資料規模正在呈指數級增長,存儲和處理這些大規模資料促使人們不斷地實現技術的進步,並為人們帶來了難以想像的技術革命的重大機遇。在過去的十年中,我們看到了資料處理的技術棧領域產生了很多重要的技術革新。例如,在資料應用層,從最初的MapReduce 框架,衍生出了很多不同的通用化和專用化的系統,如通用資料處理平臺 Apache Spark,流式計算系統 Apache Flink、Apache Samza,機器學習,以及深度學習系統 TensorFlow、Apache Mahout,圖計算系統 GraphLab、GraphX,查詢系統Presto、Apache Hive、Apache Drill,等等。類似地,整個生態系統的存儲層也從 Hadoop分散式檔案系統 HDFS 發展並增加了更多的可選項。例如,檔案系統、物件存儲(Object Store)系統、二進位大物件存儲(BLOB Store)系統、鍵-值對存儲(Key-Value Store)系統、NoSQL 資料庫等。這些不同類型的系統實現了對性能、速度、成本、易用性、架構等設計上不同的權衡。
隨著技術棧複雜程度的不斷增加,資料產業的發展也面臨更多的機遇和更大的挑戰。資料被存儲在不同的存儲系統中,這使使用者和上層資料應用很難高效地發現、訪問和使用這些資料。例如,對於系統開發人員而言,需要開展更多的工作以將一個新的計算或存儲部件集成到現有的生態系統中;對於應用開發人員而言,高效地訪問不同資料存儲系統的方式變得更加複雜;對於終端使用者而言,從遠端的資料存儲系統中訪問資料,容易導致性能的損失和語義的不一致;對於系統管理員而言,當底層物理存儲和上層所有應用都深度耦合時,添加、刪除、升級一個現有計算系統或資料系統,抑或將資料從一個存儲系統遷移到另一個存儲系統,是非常具有挑戰性的。
Alluxio 作為全球首創的分散式虛擬檔案系統(Virtual Distributed File System),就在上述背景下應運而生。它統一了資料訪問的方式,為上層計算框架和底層存儲系統構建了橋樑,使應用可以通過 Alluxio 提供的統一資料訪問方式訪問底層任意存儲系統中的資料。在大資料生態系統中,Alluxio 位於上層大資料計算框架和底層分散式存儲系統之間,運行在上層的大資料計算框架可以忽略底層分散式存儲系統的細節,直接和 Alluxio 進行交互,Alluxio 透明地將上層大資料框架的資料訪問請求轉發到底層分散式存儲系統中,並將底層多個分散式存儲系統中的資料自動緩存到Alluxio 中,從而提升某些上層大資料計算框架的資料存取速度的數量級。Alluxio(前身 Tachyon)系統曾是我在加州大學伯克利分校 AMPLab 的博士研究課題,並在 2012年年末完成了該系統的第一個版本,於 2013 年 4 月正式開源,2015 年項目更名為Alluxio。
自 2013 年 4 月 Alluxio 開源以來,已有超過 200 個機構、1000 多位貢獻者參與到Alluxio 系統的開發中,其中包括阿裡巴巴、百度、卡內基梅隆大學、穀歌、IBM、英特爾、加州大學伯克利分校、騰訊、京東、雅虎等大學、科研院所和企業。到今天為止,上百家公司的生產線中已經部署了 Alluxio,其中有的集群已經超過了 1000 個節點。隨
著 Alluxio 開源項目的快速發展和應用需求的日益旺盛,我們於 2015 年創立了 Alluxio公司,並且獲得 Andreessen Horowitz、Mark Leslie(Veritas Founding CEO)、Jack Xu(網易、新浪前 CTO)、Sujal Patel(Isilon 創始人)等人的投資。未來,我們將立志于讓Alluxio 成為大資料及其他水準擴展應用的事實上的統一資料層。
我很高興看到,這本系統、深入介紹 Alluxio 專案技術原理和應用實踐的書籍即將付梓。本書的兩位作者范斌博士和顧榮博士是分散式系統領域的專家,也是Alluxio 專案管理委員會的成員和源碼的維護者。其中,范斌博士于 2015 年從穀歌離職之後全身心致力於 Alluxio 開源專案的技術架構、開發與推廣,目前在 Alluxio社區代碼貢獻排名中排第二位。顧榮博士從 2013 年就開始向 Alluxio 社區貢獻原始程式碼,此後他在南京大學 PASA 大資料實驗室擔任助理教授,繼續從事大資料系統方面的研究,在 Alluxio 上開展了很多有意義的研究工作,並且一直努力推動 Alluxio社區在國內的發展。范斌和顧榮在 Alluxio 社區方面都是非常著名的技術專家,為Alluxio 開源社區的發展做出了重要貢獻。相信他們完成的這本著作能夠很好地?明需要學習 Alluxio 技術的廣大讀者。最後,我也要特別感謝一直對 Alluxio 開源項目給予關心與支持的朋友們,我們將一如既往地努力投入,在不斷完善 Alluxio 軟體的同時,讓我們開源社區的運轉更加高效,期待後續創作出更多高品質的文章和書籍,以饗讀者。
——李浩源 Alluxio 開源專案主席、Alluxio 公司創始人、董事長兼 CTO
2019 年 4 月,於美國矽谷
推薦序二
The big data revolution is changing how every industry operates. Organizations and companies are leveraging tremendous amounts of data to create value. For example,Internet companies use data to provide better targeted advertisements and user experiences. Financial institutions process data to detect potential fraud in real time.
Manufacturing powerhouses study data to track, understand, and design locomotive and airplane engines better. Autonomous cars depend on data to function and to ensure the safety of passengers. People use data to make decisions or facilitate the decision-making process in some way.
The big data revolution has brought a lot of challenges and opportunities in distributed computer systems. There are significant innovations in distributed computation frameworks, such as Hadoop and Spark, and distributed storage systems, such as HDFS and Alluxio. The large-scale data processing stack has been reshaped by the big data ecosystem. In the big data ecosystem, organizations usually rely on multiple storage systems and computation frameworks in their data processing pipelines. This brings the significant challenges in data sharing and management, performance and flexibility.
To address these challenges, the Alluxio project proposes an architecture with Virtual Distributed File System (VDFS) as a data unification layer between the computing layer and the storage layer. A data unification layer brings significant value into the ecosystem.
It can improve data accessibility, performance, and data management, but also the convenience to plug future systems into the ecosystem, therefore making it easier and quicke

 
  步驟一.
依據網路上的圖書,挑選你所需要的書籍,根據以下步驟進行訂購
選擇產品及數量 結 帳 輸入基本資料 取貨與付款方式
┌───────────────────────────────────────────────────┘
資料確定 確認結帳 訂單編號    

步驟二.
完成付款的程序後,若採用貨到付款等宅配方式,3~7天內 ( 例假日將延期一至兩天 ) 您即可收到圖書。若至分店門市取貨,一週內聯絡取書。

步驟三.
完成購書程序者,可利用 訂單查詢 得知訂單進度。

注意事項.
● 付款方式若為網路刷卡必須等" 2 ~ 3 個工作天"確認款項已收到,才會出貨.如有更改書籍數量請記得按更新購物車,謝謝。

● 大陸出版品封面老舊、磨痕、凹痕等均屬常態,除封面破損、內頁脫落...等較嚴重的狀態外,其餘所有商品將正常出貨。

● 至2018年起,因中國大陸環保政策,部分書籍配件以QR CODE取代光盤音頻mp3或dvd,已無提供實體光盤。如需使用學習配件,請掃描QR CODE 連結至當地網站註冊並通過驗證程序,方可下載使用。造成不便,敬請見諒。

● 我們將保留所有商品出貨權利,如遇缺書情形,訂單未達免運門檻運費需自行負擔。

預訂海外庫存.
商品到貨時間須4週,訂單書籍備齊後方能出貨,如果您有急用書籍,建議與【預訂海外庫存】商品分開訂購。