把脉产业数智化升级之路 柏睿数据实时云数仓详解
发布时间：2022-10-11 | 阅读：
Gartner预测，云将主导数据库市场的未来，75%的数据库将被部署或迁移至云平台。
在数据指数级爆发的今天，高性能的云原生数据库产品在架构设计、安全可靠性、弹性扩展以及TOC成本等方面拥有显著优势，成为企业数字化转型和创新应用的数据基础。
作为深耕数据库技术发展的企业，柏睿数据早已率先发布实时云数仓产品。该产品基于自研的新一代分布式内存数据库技术，优化云端运行能力，能在超大规模的数据集上，进行实时的高性能查询与分析，帮助企业解决数据库性能与效率的问题。
柏睿实时云数仓产品早已在华为云云商城（国内）、华为云云商城（新加坡）、AWS市场（美国）等众多云计算大厂商城中上线，受到了海内外行业用户的认可，成为各行业数智化应用的强力数据基础支撑。
近期，柏睿数据从各种渠道收到大量行业客户对实时云数仓产品的咨询需求，为了便于大家更清楚了解柏睿数据实时云数仓的能力和优势，小编特意整理了实时云数仓产品相关内容知识，让大家一目了然。
柏睿数据实时云数仓由云管理平台、全内存数据库和数据库管理Portal三个逻辑部分组成。实时云数仓使用微服务架构，能通过DB集群在线弹性伸缩节点数量，实现集群性能的调整。使用500GTPC-H测试并与其他云数仓产品对比时，能够发现数据执行总时间加速5倍。在单节点最小规格下进行TPC-H测试，也能表现出优秀的性能。
安全，是IT行业一个持久的话题。对于一个运行于云环境中的数据库PaaS产品来说，安全尤为重要。“云基础设施”的安全、“应用平台本身”的安全和“云业务内部”的安全组成责任共担模型，实现整体业务安全、平台操作系统安全和平台数据安全。从“实时云数仓架构图”中可以看出，实时云数仓用户的每个数据库集群都是采用独立的云主机、带宽、硬盘自动化部署，不复用任何云资源，确保集群的性能和安全。即使一个用户有多个数据库集群，每个集群也是采用这种完全隔离的部署方式。每个数据库集群在建立完成后，可以完全脱离云管理平台而独立运行。每个实时云数仓集群，管理与业务采用独立的云主机和IP地址，确保管理与业务分离。每个IP仅开放业务端口，其他无用端口全部关闭。实时云数仓可以通过VPC端点服务，将实时云数仓与用户VPC连通，实现全程内网通信；还可以通过VPN打通企业内部与云端实时云数仓，实现在互联网上安全加密通信。在数据存储方面，实时云数仓使用存算分离架构，计算部分充分发挥内存的高读写带宽优势，让CPU计算得更快；存储部分负责数据快速写入与读取，并保障数据的可靠性与一致性。借助云计算平台提供更可靠的数据处理能力，云硬盘数据可靠性高达99.9999999%。在如此安全的基础上，实时云数仓中的数据节点是存储数据的云服务，其高可用性是在集群内部设置可用性组来实现，通过RapidsDB的SQL分发节点，亦能实现对网关点的高可用。传统物理机运行环境中的数据库优化方法有CPU NUMA优化大法、网络巨型帧、换网络协议、换性能更高的硬件等。而优化实时云数仓的思路是，在成本可控的情况下，通过优化相关的云资源，提升柏睿分布式内存数据库的性能。柏睿数据实时云数仓属于OLAP分析型数据库，类似“团体作战”，基于MPP并行计算架构，集群的性能随着节点规模的增加而增加。柏睿数据的数据库在同一个业务场景下，进行不同规模的集群性能比较，能够得出随着数据库节点的增加整体性能有明显提升的结论。选择合适的硬件设备，能够让实时云数仓在节省成本时发挥更大效用。柏睿实时云数仓根据节点的业务属性，选择不同的规格云主机，如数据库的OPS节点，负责数据库集群的监控与Portal，选用通用计算型主机。计算Leaf节点需要强劲的处理能力，所以选用CPU独享型实例。内存方面柏睿数据针对自研的分布式内存数据库，建议在云计算环境中CPU与内存的比例为1:4或1:8。网络能力方面在成本可控情况下，基准网络带宽比最大带宽更重要，尽量选用基础带宽高的云主机。而云硬盘的性能直接关系到使用成本，以华为云硬盘为例，有以下类型及报价：采用“团队作战” MPP架构的柏睿分布式全内存数据库，已将硬盘的读写分散到每个数据库节点，从实时云数仓在华为云上的测试效果来看，通用SSD基本能适合大部分业务场景。从硬盘使用成本来看，柏睿分布式全内存数据库可以为用户节省60%以上的成本。在成本可控的情况下，通过优化相关的云资源，提升柏睿数据分布式内存数据库的性能。根据CPU选云主机能够优化计算能力；选择多块云硬盘可以优化存储能力；使用数据多副本并将数据库节点部署在不同可用区可以优化网络，通过不同规模的实时云数仓集群-网络流量性能报表，可以看到随着网络节点数量的增加，网络性能也有提升。
京公网安备 11010502043838号
