大數(shù)據(jù)管理:數(shù)據(jù)集成的技術(shù)、方法與最佳實(shí)踐 高清掃描版

大數(shù)據(jù)管理:數(shù)據(jù)集成的技術(shù)、方法與最佳實(shí)踐是一本數(shù)據(jù)集成領(lǐng)域著作，由美國(guó)資深數(shù)據(jù)集成專(zhuān)家April Reeve編著，余水清，潘黎萍共同翻譯。本書(shū)高屋建瓴地闡述了在大型組織的環(huán)境中，不同計(jì)算機(jī)系統(tǒng)之間傳輸數(shù)據(jù)，以及將異構(gòu)數(shù)據(jù)進(jìn)行集成所用到的技巧、技術(shù)以及最佳實(shí)踐。每一部分都將對(duì)該部分所涉及的數(shù)據(jù)集成類(lèi)型的架構(gòu)、工具集以及技術(shù)進(jìn)行闡述，如：批處理集成、實(shí)時(shí)集成以及大數(shù)據(jù)集成。同時(shí)，在每一部分中還給出了與相關(guān)專(zhuān)家就數(shù)據(jù)集成問(wèn)題所進(jìn)行的交流對(duì)話，以及基于筆者經(jīng)驗(yàn)的一些實(shí)際案例，能夠適用于資深業(yè)務(wù)和信息技術(shù)經(jīng)理，企業(yè)數(shù)據(jù)、應(yīng)用和技術(shù)架構(gòu)師等人群閱讀。

內(nèi)容介紹

《大數(shù)據(jù)管理:數(shù)據(jù)集成的技術(shù)、方法與最佳實(shí)踐》是數(shù)據(jù)集成領(lǐng)域的經(jīng)典著作，由具有數(shù)十年從業(yè)經(jīng)驗(yàn)的資深數(shù)據(jù)集成專(zhuān)家撰寫(xiě)，數(shù)據(jù)管理專(zhuān)家作序推薦！它為大數(shù)據(jù)時(shí)代的大中型企業(yè)管理企業(yè)內(nèi)部大量的、復(fù)雜的應(yīng)用系統(tǒng)之間的數(shù)據(jù)提供了解決方案，全面而深入地講解數(shù)據(jù)集成的工具、方法、技巧、解決方案以及最佳實(shí)踐。本書(shū)分為四部分，共22章，高屋建瓴地闡述了在大型組織環(huán)境中，不同計(jì)算機(jī)系統(tǒng)之間傳輸數(shù)據(jù)，以及將異構(gòu)數(shù)據(jù)進(jìn)行集成所用到的技巧、技術(shù)和最佳實(shí)踐，內(nèi)容涵蓋數(shù)據(jù)集成導(dǎo)論、批處理數(shù)據(jù)集成、實(shí)時(shí)數(shù)據(jù)集成和大數(shù)據(jù)集成等。

《大數(shù)據(jù)管理:數(shù)據(jù)集成的技術(shù)、方法與最佳實(shí)踐》雖然介紹了各種數(shù)據(jù)集成問(wèn)題的多種不同類(lèi)型的技術(shù)解決方案，但讀者無(wú)需具備廣闊的技術(shù)背景就能理解，適合數(shù)據(jù)處理相關(guān)的項(xiàng)目經(jīng)理、數(shù)據(jù)分析師、數(shù)據(jù)模型設(shè)計(jì)師、數(shù)據(jù)庫(kù)工作者以及數(shù)據(jù)集成程序員等相關(guān)技術(shù)人員及數(shù)據(jù)管理專(zhuān)業(yè)學(xué)生閱讀。

章節(jié)目錄

譯者序

序言

前言

第一部分　數(shù)據(jù)集成導(dǎo)論

第1章　數(shù)據(jù)集成的重要性

1.1　數(shù)據(jù)接口的天然復(fù)雜性

1.2　購(gòu)買(mǎi)供應(yīng)商應(yīng)用包的數(shù)量日益增加

1.3　大數(shù)據(jù)和虛擬化的催化劑

第2章　什么是數(shù)據(jù)集成

2.1　運(yùn)動(dòng)中的數(shù)據(jù)

2.2　集成為通用格式—數(shù)據(jù)轉(zhuǎn)換

2.3　數(shù)據(jù)從一個(gè)系統(tǒng)遷移到另一個(gè)系統(tǒng)

2.4　在組織內(nèi)部移動(dòng)數(shù)據(jù)

2.5　從非結(jié)構(gòu)化數(shù)據(jù)中抽取信息

2.6　將處理移動(dòng)到數(shù)據(jù)端

第3章　數(shù)據(jù)集成的類(lèi)型和復(fù)雜性

3.1　管理運(yùn)動(dòng)中的數(shù)據(jù)和持久化數(shù)據(jù)的異同點(diǎn)

3.2　批處理數(shù)據(jù)集成

3.3　實(shí)時(shí)數(shù)據(jù)集成

3.4　大數(shù)據(jù)集成

3.5　數(shù)據(jù)虛擬化

第4章　數(shù)據(jù)集成開(kāi)發(fā)過(guò)程

4.1　數(shù)據(jù)集成開(kāi)發(fā)生命周期

4.2　包含業(yè)務(wù)知識(shí)和專(zhuān)家經(jīng)驗(yàn)

第二部分　批處理數(shù)據(jù)集成

第5章　批處理數(shù)據(jù)集成簡(jiǎn)介

5.1　什么是批處理數(shù)據(jù)集成

5.2　批處理數(shù)據(jù)集成生命周期

第6章　抽取、轉(zhuǎn)換和加載

6.1　什么是ETL

6.2　概要分析

6.3　抽取

6.4　暫存

6.5　訪問(wèn)層次

6.6　轉(zhuǎn)換

6.6.1　簡(jiǎn)單映射

6.6.2　查找表

6.6.3　聚合和規(guī)范化

6.6.4　計(jì)算

6.7　加載

第7章　數(shù)據(jù)倉(cāng)庫(kù)

7.1　什么是數(shù)據(jù)倉(cāng)庫(kù)

7.2　企業(yè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的層次

7.2.1　操作型應(yīng)用層

7.2.2　外部數(shù)據(jù)

7.2.3　數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)暫存區(qū)

7.2.4　數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)結(jié)構(gòu)

7.2.5　從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)集市或者商務(wù)智能層的暫存

7.2.6　商務(wù)智能層

7.3　加載到數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)類(lèi)型

7.3.1　數(shù)據(jù)倉(cāng)庫(kù)中的主數(shù)據(jù)

7.3.2　數(shù)據(jù)倉(cāng)庫(kù)中的余額和快照數(shù)據(jù)

7.3.3　數(shù)據(jù)倉(cāng)庫(kù)中的事務(wù)型數(shù)據(jù)

7.3.4　事件

7.3.5　調(diào)整

第8章　數(shù)據(jù)轉(zhuǎn)換

8.1　什么是數(shù)據(jù)轉(zhuǎn)換

8.2　數(shù)據(jù)轉(zhuǎn)換生命周期

8.3　數(shù)據(jù)轉(zhuǎn)換分析

8.4　數(shù)據(jù)加載最佳實(shí)踐

8.5　提高源數(shù)據(jù)質(zhì)量

8.6　映射到目標(biāo)系統(tǒng)

8.7　配置數(shù)據(jù)

8.8　測(cè)試和依賴(lài)

8.9　私有數(shù)據(jù)

8.10　校對(duì)

8.11　環(huán)境

第9章　數(shù)據(jù)歸檔

9.1　什么是數(shù)據(jù)歸檔

9.2　歸檔數(shù)據(jù)選擇

9.3　已歸檔數(shù)據(jù)可以恢復(fù)嗎

9.4　歸檔環(huán)境下數(shù)據(jù)結(jié)構(gòu)的確認(rèn)

9.5　靈活的數(shù)據(jù)結(jié)構(gòu)

第10章　批處理數(shù)據(jù)集成架構(gòu)和元數(shù)據(jù)

10.1　什么是批處理數(shù)據(jù)集成架構(gòu)

10.2　概要分析工具

10.3　建模工具

10.4　元數(shù)據(jù)存儲(chǔ)庫(kù)

10.5　數(shù)據(jù)移動(dòng)

10.6　轉(zhuǎn)換

10.7　調(diào)度

第三部分　實(shí)時(shí)數(shù)據(jù)集成

第11章　實(shí)時(shí)數(shù)據(jù)集成簡(jiǎn)介

11.1　為什么需要實(shí)時(shí)數(shù)據(jù)集成

11.2　為什么需要兩組技術(shù)

第12章　數(shù)據(jù)集成模式

12.1　交互模式

12.2　松耦合

12.3　中心和節(jié)點(diǎn)模式

12.4　同步交互和異步交互

12.5　請(qǐng)求和應(yīng)答

12.6　發(fā)布和訂閱

12.7　兩階段提交

12.8　集成交互類(lèi)型

第13章　核心實(shí)時(shí)數(shù)據(jù)集成技術(shù)

13.1　令人困惑的術(shù)語(yǔ)

13.2　企業(yè)服務(wù)總線

13.3　面向服務(wù)架構(gòu)

13.4　可擴(kuò)展標(biāo)記語(yǔ)言

13.5　數(shù)據(jù)復(fù)制和變化數(shù)據(jù)捕獲

13.6　企業(yè)應(yīng)用集成

13.7　企業(yè)信息集成

第14章　數(shù)據(jù)集成建模

14.1　規(guī)范化建模

14.2　消息建模

第15章　主數(shù)據(jù)管理

15.1　主數(shù)據(jù)管理簡(jiǎn)介

15.2　需要主數(shù)據(jù)管理方案的原因

15.3　購(gòu)買(mǎi)的軟件包與主數(shù)據(jù)

15.4　參考數(shù)據(jù)

15.5　主和從

15.6　外部數(shù)據(jù)

15.7　主數(shù)據(jù)管理功能

15.8　主數(shù)據(jù)管理方案的類(lèi)型—注冊(cè)表以及數(shù)據(jù)中心

第16章　實(shí)時(shí)更新數(shù)據(jù)倉(cāng)庫(kù)

16.1　企業(yè)信息工廠

16.2　操作型數(shù)據(jù)存儲(chǔ)

16.3　移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)的主數(shù)據(jù)

第17章　實(shí)時(shí)數(shù)據(jù)集成架構(gòu)和元數(shù)據(jù)

17.1　實(shí)時(shí)數(shù)據(jù)集成元數(shù)據(jù)簡(jiǎn)介

17.2　建模

17.3　概要分析

17.4　元數(shù)據(jù)庫(kù)

17.5　企業(yè)服務(wù)總線—數(shù)據(jù)轉(zhuǎn)換和調(diào)度

17.5.1　技術(shù)中介

17.5.2　業(yè)務(wù)內(nèi)容

17.6　數(shù)據(jù)移動(dòng)和中間件

17.7　外部交互

第四部分　大數(shù)據(jù)集成

第18章　大數(shù)據(jù)集成簡(jiǎn)介

18.1　數(shù)據(jù)集成及非結(jié)構(gòu)化數(shù)據(jù)

18.2　大數(shù)據(jù)、云數(shù)據(jù)及數(shù)據(jù)虛擬化

第19章　云架構(gòu)和數(shù)據(jù)集成

19.1　為什么云中的數(shù)據(jù)集成比較重要

19.2　公共云

19.3　云安全

19.4　云延遲

19.5　云冗余

第20章　數(shù)據(jù)虛擬化

20.1　恰逢其時(shí)的一項(xiàng)技術(shù)

20.2　數(shù)據(jù)虛擬化的商業(yè)用途

20.2.1　商務(wù)智能方案

20.2.2　集成不同類(lèi)型的數(shù)據(jù)

20.2.3　快速向數(shù)據(jù)倉(cāng)庫(kù)中增加或者原型增加數(shù)據(jù)

20.2.4　將物理上不同的數(shù)據(jù)一起展現(xiàn)

20.2.5　利用不同的數(shù)據(jù)和模型觸發(fā)交易

20.3　數(shù)據(jù)虛擬化架構(gòu)

20.3.1　源和適配器

20.3.2　映射、模型和視圖

20.3.3　轉(zhuǎn)換和展現(xiàn)

第21章　大數(shù)據(jù)集成

21.1　什么是大數(shù)據(jù)

21.2　大數(shù)據(jù)維度—量

21.2.1　大規(guī)模并行處理—將處理過(guò)程移動(dòng)到數(shù)據(jù)端

21.2.2　Hadoop和MapReduce

21.2.3　與外部數(shù)據(jù)集成

21.2.4　虛擬化

21.3　大數(shù)據(jù)維度—多樣性

21.3.1　數(shù)據(jù)類(lèi)型

21.3.2　集成不同類(lèi)型的數(shù)據(jù)

21.4　大數(shù)據(jù)維度—速度

21.4.1　流式數(shù)據(jù)

21.4.2　傳感器和GPS數(shù)據(jù)

21.4.3　社會(huì)化媒體數(shù)據(jù)

21.5　傳統(tǒng)大數(shù)據(jù)應(yīng)用案例

21.6　更多大數(shù)據(jù)應(yīng)用案例

21.6.1　醫(yī)療

21.6.2　物流

21.6.3　國(guó)家安全

21.7　利用大數(shù)據(jù)的力量—實(shí)施決策支持

21.7.1　觸發(fā)行動(dòng)

21.7.2　從內(nèi)存以及磁盤(pán)中檢索數(shù)據(jù)的速度

21.7.3　從數(shù)據(jù)分析到模型，從流式數(shù)據(jù)到?jīng)Q策

21.8　大數(shù)據(jù)架構(gòu)

21.8.1　操作型系統(tǒng)和數(shù)據(jù)存儲(chǔ)

21.8.2　中間數(shù)據(jù)中心

21.8.3　商務(wù)智能工具

21.8.4　數(shù)據(jù)虛擬化服務(wù)器

21.8.5　批處理和實(shí)時(shí)數(shù)據(jù)集成工具

21.8.6　分析型沙盒

21.8.7　風(fēng)險(xiǎn)響應(yīng)系統(tǒng)

第22章　移動(dòng)數(shù)據(jù)管理總結(jié)

22.1　數(shù)據(jù)集成架構(gòu)

22.1.1　為什么需要數(shù)據(jù)集成架構(gòu)

22.1.2　數(shù)據(jù)集成生命周期和專(zhuān)家經(jīng)驗(yàn)

22.1.3　安全和隱私

22.2　數(shù)據(jù)集成引擎

22.2.1　操作連貫性

22.2.2　ETL引擎

22.2.3　企業(yè)服務(wù)總線

22.2.4　數(shù)據(jù)虛擬化服務(wù)器

22.2.5　數(shù)據(jù)移動(dòng)

22.3　數(shù)據(jù)集成中心

22.3.1　主數(shù)據(jù)

22.3.2　數(shù)據(jù)倉(cāng)庫(kù)和操作型數(shù)據(jù)存儲(chǔ)

22.3.3　企業(yè)內(nèi)容管理

22.3.4　數(shù)據(jù)歸檔

22.4　元數(shù)據(jù)管理

22.4.1　數(shù)據(jù)發(fā)現(xiàn)

22.4.2　數(shù)據(jù)概要分析

22.4.3　數(shù)據(jù)建模

22.4.4　數(shù)據(jù)流建模

22.4.5　元數(shù)據(jù)存儲(chǔ)庫(kù)

22.5　結(jié)束語(yǔ)

參考文獻(xiàn)