• 公司介绍
  • 技术团队
  • 资质荣誉
  • 联系我们
  • 核心技术

    Rapids Hadoop



    Rapids Hadoop:


    Rapids Hadoop 源于HortonWorks Hadoop 2.1企业版,具有高模块化和松耦合的五层架构,针对不同的应用领域从管制、集成、安全性和运营上提供线性扩展存储并跨广范围访问方法计算支持的整体大数据分析支撑。


    数据存储层:基于HDFS2的大数据存储和在线服务系统,支持Erasure Code,在副本数降低至1.5倍的情况下,提高了可靠性,可同时容忍四个数据块丢失,支持可靠存储TB到数十PB的数据。


    资源管理层:缺省采用下一代资源管理框架YARN进行资源的分配和调度,支持同时运行多个计算框架;计算引擎层:采用Map/Reduce2完成大部分离线批处理计算任务,对于实时流计算,集成了Storm框架,集成了基于DAG有向无环图的计算框架Tez,让计算变得更加实时高效。


    数据分析挖掘层:支持离线批量SQL统计,支持R语言以及机器学习算法库Mahout;数据集成层:Sqoop支持从RDB到Hadoop的数据迁移,Flume支持从日志系统采集数据, Falcon提供了一个用于治理和编排Hadoop内部和周边数据流的数据处理框架。


    该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。



    柏睿数据
    © 2011-2015 Boraydata Inc. 保留所有权利。
    隐私政策 | 服务条款