大数据平台有哪些软件?

首先,凤凰城

这是一个Java中间层,允许开发人员在Apache HBase上执行SQL查询。Phoenix完全用Java编写,代码位于GitHub上,并提供了可由客户端嵌入的JDBC驱动。

Phoenix查询引擎将把SQL查询转换成一个或多个HBase扫描,并安排执行以生成标准的JDBC结果集。直接使用HBase API、协处理器和自定义过滤器,性能级对于简单查询是毫秒级,对于百万行是秒级。

第二,很快

脸书开源数据查询引擎Presto可以快速交互式分析250PB以上的数据。该项目于2012年秋季开始开发。目前,该项目已被超过1000名脸书员工使用,运行超过30000次查询,每日数据处于1PB的水平。脸书声称Presto的性能比Hive和Map*Reduce好10倍。

Presto目前支持ANSI SQL的大部分特效,包括联合查询、左右连接、子查询以及一些聚合和计算功能。支持近似不同计数等。

第三,鲨鱼

鲨鱼是火花上的蜂巢。本质上是通过Hive的HQL解析将HQL翻译成Spark上的RDD操作,然后通过Hive的元数据获取数据库中的表信息。关于HDFS的实际数据和文件将由Shark获得,并放在Spark上运行。Shark速度快,完全兼容Hive,可以在shell模式下使用rdd2sql()等API,在scala环境下继续计算HQL得到的结果集,支持编写简单的机器学习或简单的分析处理函数,进一步分析计算HQL结果。

有哪些关于大数据平台的软件,青腾边肖在这里给大家分享一下。如果你对大数据工程感兴趣,希望这篇文章能帮到你。如果想了解更多关于数据分析师和大数据工程师的技能和资料,可以点击本站其他文章进行学习。

边肖为你分享的关于大数据平台的软件有哪些?更多信息可以关注环球常春藤分享更多干货。