時(shí)間序列數(shù)據(jù)庫案例-美信科技(在線咨詢)-時(shí)間序列數(shù)據(jù)庫

成本與可用性呼喚時(shí)序數(shù)據(jù)庫2

作為一種新型數(shù)據(jù)庫，時(shí)序數(shù)據(jù)庫因何而誕生，對企業(yè)又有什么價(jià)值呢？鄭博介紹，時(shí)間序列數(shù)據(jù)庫案例，時(shí)序數(shù)據(jù)過去也有，但之所以現(xiàn)在產(chǎn)生書序數(shù)據(jù)庫原因有兩個(gè)：一是因?yàn)楝F(xiàn)在的設(shè)備量大了，產(chǎn)生的數(shù)據(jù)量大了，大到原來的關(guān)系型數(shù)據(jù)庫無法滿足這么大的并發(fā)數(shù)；二是傳統(tǒng)數(shù)據(jù)庫行式存儲面對大量時(shí)序數(shù)據(jù)無法做無損壓縮，數(shù)據(jù)存儲成本問題突出。

“所謂時(shí)序數(shù)據(jù)，就是跟時(shí)間強(qiáng)相關(guān)，帶時(shí)間戳的數(shù)據(jù)，這類數(shù)據(jù)是重復(fù)性時(shí)間序列，時(shí)間點(diǎn)不同，數(shù)據(jù)域相同，但數(shù)值不同。從市場角度講，過去的數(shù)控工廠PLC或者電網(wǎng)SCADA數(shù)據(jù)都是時(shí)序數(shù)據(jù)，但是數(shù)據(jù)量沒那么大。從2015年、2016年開始，智能門鎖、掃地機(jī)器人、智能空調(diào)等IoT智能設(shè)備開始興起，工業(yè)4.0智能改造逐漸做得多了起來，加上公有云、私有云監(jiān)控的場景，服務(wù)器等設(shè)備從三、五千臺上升到幾十萬臺等這些新的場景下，時(shí)序數(shù)據(jù)的并發(fā)量一下子就起來了，從每秒幾千條達(dá)到每秒幾萬、幾十萬的規(guī)模。

BlueSky高性能時(shí)序數(shù)據(jù)庫技術(shù)特點(diǎn)

朗坤時(shí)序數(shù)據(jù)庫TrendDB是朗坤公司自主研發(fā)的一套大型通用分布式實(shí)時(shí)數(shù)據(jù)庫管理軟件，自主、可靠、受控、是TrendDB的重要特性

?功能完善的可視化工具軟件，支持實(shí)時(shí)監(jiān)視應(yīng)用快速構(gòu)建

?通過對實(shí)時(shí)數(shù)據(jù)庫多維度管理，并提供開放式接口，支撐應(yīng)用開發(fā)

?提供豐富的應(yīng)用套件，實(shí)現(xiàn)對數(shù)據(jù)的管理

?實(shí)時(shí)數(shù)據(jù)庫關(guān)鍵技術(shù)，實(shí)現(xiàn)高性能，時(shí)間序列數(shù)據(jù)庫，擴(kuò)展分析應(yīng)用

BlueSky高性能時(shí)序數(shù)據(jù)庫產(chǎn)生背景

LSM (Log Structured Merge Trees) 通過減少隨機(jī)的本地更新操作來達(dá)到更好的寫操作的吞吐量。影響寫操作吞吐量的主要原因還是磁盤的隨機(jī)操作慢，順序讀寫快，解決辦法是將文件的隨機(jī)存儲改為順序存儲，因?yàn)橥耆琼樞虻模嵘龑懖僮餍阅?，比如日志文件就是順序?qū)懭?。寫?shù)據(jù)的問題解決了，那如何快速的讀出數(shù)據(jù)呢？

順序?qū)懭氲娜罩疚募谧x取一些數(shù)據(jù)的時(shí)候需要全文掃描，但這一操作耗時(shí)取決于需要讀取的數(shù)據(jù)在日志文件中的位置，所以其使用場景有限，適用于數(shù)據(jù)被整體的訪問的情況下，像大部分?jǐn)?shù)據(jù)的 WAL。

對于讀操作，時(shí)間序列數(shù)據(jù)庫解決方案，可以記錄更多的內(nèi)容比如 key、range 來提高性能，時(shí)間序列數(shù)據(jù)庫多少錢，比較常用的方法有：二分查找：將文件數(shù)據(jù)有序保存，使用二分查找來完成特定 key 的查找。哈希：用哈希將數(shù)據(jù)分為不同的 et。B+ 樹：使用 B+ 樹，減少外部文件的存取。以上的方案都是將數(shù)據(jù)按照特定的方式存儲，對于讀操作友好，但寫操作的性能必然下降，主要原因是這種存儲數(shù)據(jù)產(chǎn)生的是磁盤的隨機(jī)讀寫，不適用于時(shí)序數(shù)據(jù)庫 90% 都是寫