北京美信科技-Big River時(shí)序數(shù)據(jù)庫解決方案

時(shí)序數(shù)據(jù)庫怎么分

關(guān)系型數(shù)據(jù)庫本身比較容易成為系統(tǒng)瓶頸，單機(jī)存儲(chǔ)容量、連接數(shù)、處理能力都有限。當(dāng)單表的數(shù)據(jù)量達(dá)到1000W或100G以后，由于查詢維度較多，即使添加從庫、優(yōu)化索引，做很多操作時(shí)性能仍下降嚴(yán)重。此時(shí)就要考慮對(duì)其進(jìn)行切分了，切分的目的就在于減少數(shù)據(jù)庫的負(fù)擔(dān)，Big River時(shí)序數(shù)據(jù)庫分析報(bào)告，縮短查詢時(shí)間。

數(shù)據(jù)庫分布式內(nèi)容無非就是數(shù)據(jù)切分（Sharding），以及切分后對(duì)數(shù)據(jù)的定位、整合。數(shù)據(jù)切分就是將數(shù)據(jù)分散存儲(chǔ)到多個(gè)數(shù)據(jù)庫中，使得單一數(shù)據(jù)庫中的數(shù)據(jù)量變小，通過擴(kuò)充主機(jī)的數(shù)量緩解單一數(shù)據(jù)庫的性能問題，從而達(dá)到提升數(shù)據(jù)庫操作性能的目的。

數(shù)據(jù)切分根據(jù)其切分類型，可以分為兩種方式：垂直（縱向）切分和水平（橫向）切分

時(shí)序數(shù)據(jù)庫打造國產(chǎn)時(shí)序數(shù)據(jù)庫

目前工業(yè)領(lǐng)域，傳統(tǒng)時(shí)序數(shù)據(jù)庫在過去的一段時(shí)間基本上被國外廠家所壟斷，價(jià)格昂貴且進(jìn)行功能擴(kuò)展成本更高，不能提供個(gè)性化的服務(wù)。為此，朗坤歷時(shí)20多年用心打造國產(chǎn)時(shí)序數(shù)據(jù)庫。階段：掌握技術(shù)自主研發(fā)價(jià)值沉淀：通過項(xiàng)目經(jīng)驗(yàn)，理解時(shí)序數(shù)據(jù)庫的價(jià)值與定位;積累了時(shí)序數(shù)據(jù)庫研發(fā)技術(shù)第二階段：完成20多個(gè)項(xiàng)目應(yīng)用價(jià)值沉淀：數(shù)據(jù)庫性能、穩(wěn)定性不斷提升;經(jīng)過了項(xiàng)目實(shí)戰(zhàn)的考驗(yàn)與打磨;完成了研發(fā)團(tuán)建的創(chuàng)建與技術(shù)傳承第三階段：完成TrendDB的應(yīng)用生態(tài)打造價(jià)值沉淀：數(shù)據(jù)庫性能達(dá)到國內(nèi)水平，擁有發(fā)明3項(xiàng);完成了一系列應(yīng)用套件的開發(fā)，并基于套件項(xiàng)目應(yīng)用;基于實(shí)時(shí)數(shù)據(jù)庫的工廠建模技術(shù)平臺(tái);30萬測點(diǎn)，壓縮比30：1第四階段：完成分布式版本研發(fā)價(jià)值沉淀：完成了能夠支撐集團(tuán)級(jí)應(yīng)用的分布式版本開發(fā);完成去COM化的技術(shù)改造，提升了數(shù)據(jù)庫對(duì)接能力;單實(shí)例支持百萬測點(diǎn)，壓縮比50：1第五階段：融入工業(yè)互聯(lián)網(wǎng)平臺(tái)，提供云服務(wù)價(jià)值沉淀：完成即開即用的云數(shù)據(jù)庫租用模式的應(yīng)用上線;通過DCA的功能驗(yàn)證與評(píng)測;實(shí)現(xiàn)了基于時(shí)序數(shù)據(jù)庫的物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)平臺(tái)的打造。

時(shí)序數(shù)據(jù)庫關(guān)注的技術(shù)點(diǎn)在哪里？

說了這么多，是應(yīng)該看看TSDB到底在技術(shù)層面關(guān)注哪些點(diǎn)了，基于時(shí)序業(yè)務(wù)的基本特點(diǎn)，Big River時(shí)序數(shù)據(jù)庫解決方案，總結(jié)起來TSDB需要關(guān)注的技術(shù)點(diǎn)主要有這么幾個(gè)：高吞吐量寫入能力。這是針對(duì)時(shí)序業(yè)務(wù)持續(xù)產(chǎn)生海量數(shù)據(jù)這么一個(gè)特點(diǎn)量身定做的，當(dāng)前要實(shí)現(xiàn)系統(tǒng)高吞吐量寫入，必須要滿足兩個(gè)基本技術(shù)點(diǎn)要求：系統(tǒng)具有水平擴(kuò)展性和單機(jī)LSM體系結(jié)構(gòu)。系統(tǒng)具有水平擴(kuò)展性很容易理解，單機(jī)肯定是扛不住的，系統(tǒng)必須是集群式的，而且要容易加節(jié)點(diǎn)擴(kuò)展，廣東Big River時(shí)序數(shù)據(jù)庫，說到底，就是擴(kuò)容的時(shí)候?qū)I(yè)務(wù)無感知，目前Hadoop生態(tài)系統(tǒng)基本上都可以做到這一點(diǎn)；而LSM體系結(jié)構(gòu)是用來保證單臺(tái)機(jī)器的高吞吐量寫入，LSM結(jié)構(gòu)下數(shù)據(jù)寫入只需要寫入內(nèi)存以及追加寫入日志，這樣就不再需要隨機(jī)將數(shù)據(jù)寫入磁盤，HBase、Kudu以及Druid等對(duì)寫入性能有要求的系統(tǒng)目前都采用的這種結(jié)構(gòu)。數(shù)據(jù)分級(jí)存儲(chǔ)/TTL。這是針對(duì)時(shí)序數(shù)據(jù)冷熱性質(zhì)定制的技術(shù)特性。數(shù)據(jù)分級(jí)存儲(chǔ)要求能夠?qū)⒔r(shí)級(jí)別的數(shù)據(jù)放到內(nèi)存中，將近天級(jí)別的數(shù)據(jù)放到SSD，更久遠(yuǎn)的數(shù)據(jù)放到更加廉價(jià)的HDD或者直接使用TTL過期淘汰掉。