高性能時(shí)序數(shù)據(jù)庫解決方案-美信科技-高性能時(shí)序數(shù)據(jù)庫

時(shí)間序列數(shù)據(jù)庫

根據(jù)數(shù)值取模一般采用hash取模mod的切分方式，例如：將 Customer 表根據(jù) cusno 字段切分到4個(gè)庫中，余數(shù)為0的放到個(gè)庫，余數(shù)為1的放到第二個(gè)庫，以此類推。這樣同一個(gè)用戶的數(shù)據(jù)會(huì)分散到同一個(gè)庫中，如果查詢條件帶有cusno字段，則可明確定位到相應(yīng)庫去查詢。

優(yōu)點(diǎn)：數(shù)據(jù)分片相對(duì)比較均勻，不容易出現(xiàn)熱點(diǎn)和并發(fā)訪問的瓶頸缺點(diǎn)：后期分片集群擴(kuò)容時(shí)，需要遷移舊的數(shù)據(jù)（使用一致性hash算法能較好的避免這個(gè)問題）容易面臨跨分片查詢的復(fù)雜問題。比如上例中，如果頻繁用到的查詢條件中不帶cusno時(shí)，將會(huì)導(dǎo)致無法定位數(shù)據(jù)庫，從而需要同時(shí)向4個(gè)庫發(fā)起查詢，再在內(nèi)存中合并數(shù)據(jù)，取小集返回給應(yīng)用，分庫反而成為拖累。

成本與可用性呼喚時(shí)序數(shù)據(jù)庫3

“關(guān)系型數(shù)據(jù)庫包括Hadoop都無法對(duì)這些數(shù)據(jù)進(jìn)行很好的存儲(chǔ)和壓縮，對(duì)磁盤的占用率比較高，沒有對(duì)物聯(lián)網(wǎng)設(shè)備及這些場景做優(yōu)化和支持。于是，國外大廠（如Facebook）和新興廠商（如InfluxDB）開始考慮是不是要研發(fā)新的數(shù)據(jù)庫去做支撐。我國物聯(lián)網(wǎng)發(fā)展比較快，現(xiàn)在也是蓬勃發(fā)展的時(shí)期，我國也需要有這樣的數(shù)據(jù)庫去滿足這樣的需求?？梢哉f，是需求拉動(dòng)了市場，數(shù)據(jù)存儲(chǔ)與壓縮成本的壓力和一些使用的可用性的壓力，引發(fā)了時(shí)序數(shù)據(jù)庫的誕生。

BlueSky高性能時(shí)序數(shù)據(jù)庫關(guān)注的技術(shù)點(diǎn)在哪里？

說了這么多，是應(yīng)該看看TSDB到底在技術(shù)層面關(guān)注哪些點(diǎn)了，基于時(shí)序業(yè)務(wù)的基本特點(diǎn)，高性能時(shí)序數(shù)據(jù)庫多少錢，總結(jié)起來TSDB需要關(guān)注的技術(shù)點(diǎn)主要有這么幾個(gè)：高吞吐量寫入能力。這是針對(duì)時(shí)序業(yè)務(wù)持續(xù)產(chǎn)生海量數(shù)據(jù)這么一個(gè)特點(diǎn)量身定做的，當(dāng)前要實(shí)現(xiàn)系統(tǒng)高吞吐量寫入，高性能時(shí)序數(shù)據(jù)庫，必須要滿足兩個(gè)基本技術(shù)點(diǎn)要求：系統(tǒng)具有水平擴(kuò)展性和單機(jī)LSM體系結(jié)構(gòu)。系統(tǒng)具有水平擴(kuò)展性很容易理解，單機(jī)肯定是扛不住的，系統(tǒng)必須是集群式的，而且要容易加節(jié)點(diǎn)擴(kuò)展，說到底，就是擴(kuò)容的時(shí)候?qū)I(yè)務(wù)無感知，目前Hadoop生態(tài)系統(tǒng)基本上都可以做到這一點(diǎn)；而LSM體系結(jié)構(gòu)是用來保證單臺(tái)機(jī)器的高吞吐量寫入，高性能時(shí)序數(shù)據(jù)庫解決方案，LSM結(jié)構(gòu)下數(shù)據(jù)寫入只需要寫入內(nèi)存以及追加寫入日志，高性能時(shí)序數(shù)據(jù)庫案例，這樣就不再需要隨機(jī)將數(shù)據(jù)寫入磁盤，HBase、Kudu以及Druid等對(duì)寫入性能有要求的系統(tǒng)目前都采用的這種結(jié)構(gòu)。數(shù)據(jù)分級(jí)存儲(chǔ)/TTL。這是針對(duì)時(shí)序數(shù)據(jù)冷熱性質(zhì)定制的技術(shù)特性。數(shù)據(jù)分級(jí)存儲(chǔ)要求能夠?qū)⒔r(shí)級(jí)別的數(shù)據(jù)放到內(nèi)存中，將近天級(jí)別的數(shù)據(jù)放到SSD，更久遠(yuǎn)的數(shù)據(jù)放到更加廉價(jià)的HDD或者直接使用TTL過期淘汰掉。