星环科技多模型数据数据处理平台Transwarp Data Hub 7.0正式发布

2020-05-21

  星环科技一站式大d88.com开户网址数据渠道Transwarp Data Hub(TDH)每年都会有大版别更新迭代,5月15日在星环科技2020春季新品发布会上推出的7.0版别,主打一站式多模异构数据处理,打破了行业界普遍存在的不同数据库产品切换的不便当,通过一个渠道处理多种数据模型,用户无需保护多种数据库行将成为实践。9cs

  数年来,星环科技一向坚持自主研制,逐年推进技能进步,2013年星环科技创立时就从大数据的四个视点来界说产品,来处理大数据的4个V的需求,数据量大、数据的品种多、数据的实时性要求高、要从数据中开掘价值。TDH是能够用于处理大数据四个V的一站式渠道处理计划,①大量化(volume),选用散布式核算和散布式存储结构,充沛运用核算机集群的全体核算和存储才能,处理了数据大量化问题。② 速度化(velocity):选用实时流处理引擎,处理了用户对数据处理时效性的需求 ③ 多样化(variety):处理的数据类型不再局限于结构化数据,能一起处理文本数据、图数据等非结构化数据。 ④价值进步(value):充沛运用数据,用于多种数据模型的剖析,进步数据价值。9cs

  满意客户需求应运而生的TDH7.09cs

  通过七年的不懈努力,产生了发布会上看到的Transwarp Data Hub 7.0的全体构思。TDH从开始的一个多东西组合渠道,逐渐经演化成为一个多模型数据处理渠道。现在,各种大数据技能运用越来越广泛。关于一些单一的典型场景,业界有了闻名的处理计划,例如:结构化数据运用Hive;动态列模型运用Bigtable、Hbase;文档处理运用MogoDB;图数据运用Neo4j;查找引擎ElasticSearch,等等。但在实践运用中,用户的运用场景日趋杂乱,处理多模型的需求日趋广泛。在处理多模型的需求时,用户不得不选用多东西组合的混合办法,但这种混合办法的运维过于杂乱,必需求保护多种数据库来满意不同模型的需求。因而,用户迫切需求一个一致的渠道处理日益多样灵敏的各类需求。9cs

  TDH7.0作为一个多模型的数据处理渠道能够供给一致的数据操作/查询言语 SQL、一致的数据核算引擎、一致的散布式存储办理体系、一致的资源办理结构,满意运用一个多模异构渠道,处理多种数据的需求。产品从上而下划分为五个层次:①SQL层:开发了一致的SQL引擎,兼容各种不同的SQL方言;②核算层:开发了一致的核算引擎,进行一致的核算使命优化和分发;③存储模型层,TDH一个渠道支撑七种不同的存储模型,适用于不同的运用场景,包含:图存储 Graph Storage、文档存储 Document Storage、全文检索 Full-text Search、键值存储 Key-Value Storage、队伍混合存储 Row-Columnar Storage 、时空地舆存储 Sequential Geospatial Storage、非结构化目标存储 Unstructured Object Storage。④存储办理层:开发了一致的存储办理引擎,供给数据块散布办理、数据多副本一致性办理、文件服务办理等功用;⑤资源调度层,开发了一致的资源调度结构,通过容器化编列,一致调度核算、存储、网络资源。9cs

  TDH7.0多模型数据处理渠道三大中心优势9cs

  优势一:极大进步了各个产品的功率。假好像一份数据需求进行多种不同模型剖析:剖析查询、含糊匹配查询、联系推理查询。TDH能够针对不同需求选用多种最优存储模型:剖析查询选用队伍混合存储;含糊匹配查询选用全文检索;联系推理查询选用图数据存储。多种形式的存储,能够使各场景下的查询剖析功用都得到极大优化。9cs

  优势二:快捷的运用开发。在传统混合模型中,不同模型数据间做相关剖析,需求进行跨数据库的数据导入导出,非常杂乱。而咱们的产品选用了一致的数据办理,一个简略的SQL句子就能够直接进行相关查询,好像操作同一个数据库一般,使运用开发变得非常快捷。9cs

  优势三:下降运维本钱。在传统混合模型中,不同模型需求运维不同数据库。特别当同一份数据存储于多数据库时,数据一致性成为极大应战。此外,数据全体状况的运维,需求各个运维子体系汇总并二次开发,运维本钱巨大。而咱们的产品选用了一致的数据办理,在产品底层服务中直接确保数据一致性,一起对多模型的数据进行全体运维,是天然的一体化体系。9cs

  星环科技新一代查找产品Transwarp New Search重磅推出9cs

  跟着新一代信息技能的开展,围绕着数据的收集、传输、存储、办理、剖析、运用各环节的大数据技能反常活泼。一起,数据库的技能也一日千里。除了传统的联系型数据库,也诞生了许多非联系数据库相关的新式技能。说到剖析型非联系数据库,就不得不说到一类典型的事务:全文查找。9cs

  作为广泛运用于TDH7.0中的全文检索产品,星环科技通过几年的自主研制,在这次发布会上推出了新一代查找产品Transwarp New Search。比较常见的开源产品,Transwarp New Search在功用方面有更加亮眼的优势,在数据服务上限、数据安全性、数据康复速度、数据读写速度、SQL核算功用,扩展功用等方面都有大幅的迭代和进步。9cs

  将数据服务上限进步10倍:星环科技对内存运用进行了优化,选用了首创的堆外技能(Off-Heap)、冷却技能(Cooling)和自适应段兼并算法(Self-Adaption Segment Merge),节约了内存运用。因而,单节点单实例的数据量上限进步至50TB左右,是开源ES计划的五倍,大大进步了磁盘的运用率,下降了用户的硬件本钱。此外,星环科技扔掉了开源产品P2P架构,选用散布式一致性协议(raft)来办理集群,将集群规划上限从100节点左右进步到200节点以上。9cs

  数据安全性明显进步:星环科技扔掉了主从终究一致性模型,选用了散布式一致性协议(raft)来确保数据的强一致性。即便极点的断电场景,也能确保数据一致性,数据安全大大进步。此外,还供给了回收站功用。用户误删除数据后,能够快捷的康复数据。产品运用更安全、更定心。9cs

  数据康复速度快10倍:星环科技对写入数据做了细粒度的符号操控,单点故障数据康复时,选用增量数据复制方法,发动时刻加速,数分钟内完结。而开源产品集群规划上百节点时,单点故障康复时刻超越一小时。9cs

  数据读写速度更快:星环科技产品对读写线程资源的办理更严厉、更精密,既确保集群稳定性,又极力充沛运用资源,使读写功用更优,并供给了Bulkload功用,批量写入速度和稳定性大幅进步。与开源产品比较,节约存储资源20%,进步查询速率2倍。9cs

  杰出的SQL核算功用:星环科技引入了自主研制的散布式核算引擎,兼容开源ES的接口,一起很好的对接了SQL的生态。除了单点查询之外,大幅进步了杂乱聚合剖析功用。语法上,星环科技的产品支撑规范SQL,也支撑SQL扩展查找语义,以及Oracle、DB2等SQL方言,对数据库用户更友爱,学习、搬迁本钱更低。9cs

  扩展功用:支撑pdf/word/excel等常用格局文档的存储和查找;供给中、维、藏、英、法、日、韩、德、西、葡等言语分词器,便利用户处理不同言语的文本;支撑文章类似度匹配、关键字提取、摘要提取等自然言语处理功用;支撑时空地舆数据的存储和剖析;可配套运用星环科技安全软件(Transwarp Guardian),获取优质的安全服务,包含:用户认证、用户授权、安全审计、数据传输存储加密等许多功用;可配套运用星环科技办理软件(Transwarp Manager),获取集群装置、运维、监控、办理方面的优质服务。9cs