在CGFT大數(shù)據(jù)中，數(shù)據(jù)錯(cuò)誤與恢復(fù)是需要重點(diǎn)掌握的。具體有什么內(nèi)容，下文作詳細(xì)介紹！

HDFS具有較高的容錯(cuò)性，可以兼容廉價(jià)的硬件，它把硬件出錯(cuò)看成一種常態(tài)，而不是異常，并設(shè)計(jì)了相應(yīng)的機(jī)制檢測數(shù)據(jù)錯(cuò)誤和進(jìn)行自行恢復(fù)，主要包括以下幾種情形。

1、名稱節(jié)點(diǎn)出錯(cuò)

名稱節(jié)點(diǎn)保存了所有的元數(shù)據(jù)信息，其中，核心的兩大數(shù)據(jù)結(jié)構(gòu)是fslmage和editlog。如果這兩個(gè)文件發(fā)生損壞，那么整個(gè)HDFS實(shí)例將失效。因此，HDFS設(shè)置了備份機(jī)制，把這些核心文件同步復(fù)制到備份服務(wù)器secondarynamenode上，備份服務(wù)器本身不會處理任何請求，只扮演備份機(jī)的角色，雖然這樣會增加名稱節(jié)點(diǎn)服務(wù)器的負(fù)擔(dān)，但是，可以有效保 證數(shù)據(jù)的可靠新和系統(tǒng)可用性。

2、數(shù)據(jù)節(jié)點(diǎn)出錯(cuò)

每個(gè)數(shù)據(jù)節(jié)點(diǎn)會定期向名稱節(jié)點(diǎn)發(fā)送“心跳”信息，向名稱節(jié)點(diǎn)報(bào)告自己的狀態(tài)。當(dāng)數(shù)據(jù)節(jié)點(diǎn)發(fā)生故障，或者網(wǎng)絡(luò)發(fā)生斷網(wǎng)時(shí)，名稱節(jié)點(diǎn)就無法收到來自一些數(shù)據(jù)節(jié)點(diǎn)的心跳信息，這時(shí)，這些數(shù)據(jù)節(jié)點(diǎn)就會被標(biāo)記為“宕機(jī)”，節(jié)點(diǎn)上面的所有數(shù)據(jù)就會被標(biāo)記為“不可讀”，名稱節(jié)點(diǎn)不會再給它們發(fā)送任何I/O請求。

特許全球金融科技師CGFT一級

3、數(shù)據(jù)出錯(cuò)

網(wǎng)絡(luò)傳輸和磁盤錯(cuò)誤等因素，都會造成數(shù)據(jù)錯(cuò)誤?？蛻舳嗽谧x取到數(shù)據(jù)后，會采用md5和shal對數(shù)據(jù)塊進(jìn)行校驗(yàn)，以確定讀取到正確的數(shù)據(jù)。

在文件被創(chuàng)建時(shí)，客戶端就會對每一個(gè)文件塊進(jìn)行信息摘錄，并把這些信息寫入同一個(gè)路徑的隱藏文件里面。

當(dāng)客戶端讀取文件的時(shí)候，會先讀取該信息文件，然后，利用該信息文件對每個(gè)讀取的數(shù)據(jù)塊進(jìn)行校驗(yàn)，如果校驗(yàn)出錯(cuò)，客戶端就會請求到另外一個(gè)數(shù)據(jù)節(jié)點(diǎn)讀取該文件塊，并且向名稱節(jié)點(diǎn)報(bào)告這個(gè)文件塊有錯(cuò)誤，名稱節(jié)點(diǎn)會定期檢查并且重新復(fù)制這個(gè)塊。