商业智能(BI)
全栈信创适配|全链路自主可控|航空级性能保障 |等保三级安全合规
非结构化数据
海量非结构化数据提供存储、管理和应用的一站式解决方案
0311-85353721

德拓在DataX的基础上贡献了源端Treadata,Gbase8a,Sybase等数据库的数据读写功能,增加了写入目标数据库数据支持正则表达式过滤等功能,同时提供基于CDC方式的实时同步功能。

采用Hadoop和MPP融合技术架构,对半结构化和非结构化数据支持并行计算和低成本存储,提供低时延、高并发的查询和分析功能。对结构化数据采用MPP分布式列存储,支持分布式计算、智能索引等功能,实现高性能结构化数据分析处理。集成MapReduce 、Spark、Tez等多种计算框架,利用YARN资源管理做统一管理,可在同一份数据集上运行多种计算。涵盖离线计算、内存计算和流式计算并存,能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

DDP平台目前支持完整的SQL 2003 ,支持运行TPC-DS 标准测试集中的全部99个测试项;同时支持完整的HiveQL 语法和SparkSQL语法,并对这些SQL 语法进行了扩展,对执行计划进行了大量优化。通过UDF函数方式让在DDP平台能更加快速的运行。

DDP平台提供多租户支持,不同租户之间相互隔离。底层使用Kerberos 认证, 实现了数据的安全性和隔离性。除了认证系统,利用Ranger 实现了细粒度权限控制,保证了各个租户只能查看授权访问的库、表或字段。此外,平台提供审计功能,通过对用户平台行为的记录、分析和汇报,用来帮助事后生成合规报告、事故追根溯源,提高平台安全性。



