尽管Spark和Presto都因为提供类似的服务而受到公司的青睐，但它们也有自己的不同之处。

大数据市场发展迅速，导致了激烈的竞争。像Presto、Hadoop和Spark这样的开源技术是这一领域的杰出参与者，它们提供创新的解决方案，并使自己从竞争对手中脱颖而出。

Apache Spark和Presto是强大的开源分析引擎，旨在处理各种应用中的非结构化和半结构化数据。它们提供了一个简单明了和富有表现力的编程模型，适应机器学习和流处理等用例。Spark和Presto擅长在任何规模的数据集上执行交互式查询，并无缝结合来自多个来源的数据，使它们成为查询存储结构化和非结构化数据（如图像、视频和社交媒体帖子）的数据湖的理想选择。

这些框架通过分布式、并行和内存处理有效运作，实现了快速的数据处理。知名公司已经广泛地测试和执行了Spark和Presto，以处理大量的数据。这些框架提供了灵活性，支持企业内部或云端部署，通过容器化实现可适应和可扩展的部署。

 

Apache Spark vs Presto

处理模型

Spark是一个强大的大数据处理框架，支持批处理和迭代计算。它利用弹性分布式数据集(RDDs)进行分布式数据处理，为批处理、SQL查询、机器学习和图形处理等任务提供API。相比之下，Presto侧重于交互式和临时查询。它采用分布式SQL查询引擎模型，旨在通过分布式查询优化和执行来提供快速的查询响应。

数据处理范式

Spark是一个内存处理框架，通过在内存中缓存中间数据来提高迭代计算和重复数据访问的性能。它提供了将数据存储在磁盘或分布式文件系统（如HDFS）中的选项。

Presto直接从源头上流传数据，绕过了内存存储。它采用一种流水线式的执行方法，减少数据洗牌并优化内存利用，从而实现对大规模数据集的高效处理。

查询优化

Spark和Presto都拥有强大的查询优化器。尽管Spark侧重于优化基于RDD的转换和SQL查询，但Presto的优化器非常先进。它通过考虑统计数据、数据分布和数据分区等因素生成有效的执行计划。此外，Presto在查询执行期间执行动态优化，使其能够适应不断变化的数据和查询模式。

数据源和连接器

Spark和Presto都为访问数据源（如HDFS、Hive、关系数据库和云存储）提供了多种连接方式。Spark拥有庞大的生态系统，支持HDFS、Hive、HBase、数据库和云存储服务，如Amazon S3和Azure Blob Storage。虽然Presto的连接器生态系统可能无法与Spark的广度相媲美，但它仍可通过HDFS、Hive、数据库、云存储等提供连接功能。

可扩展性

Spark和Presto都是用于分布式数据处理的可扩展框架。它们将数据和计算分散到机器集群中，实现并行处理和有效的资源利用。它们能够处理大规模工作负载，并通过添加更多的工作节点支持横向扩展。

为什么大型科技公司喜欢Spark？

大公司采用Apache Spark的原因有很多。例如，雅虎使用Spark来增强其网络搜索引擎，根据访问者的个人兴趣提供个性化内容。Spark的实时处理能力和高速性能使雅虎能够精准地满足每个用户的喜好。在金融行业，银行正将Spark作为Hadoop的替代品，用于访问和分析各种数据，如社交媒体资料、电话录音和电子邮件。这使他们能够在目标广告、客户细分和信用风险评估方面做出明智的决定。

Spark在迭代计算和全面数据处理方面表现出色，而Presto则针对交互式查询和临时分析进行了优化。在Spark和Presto之间选择时，有必要考虑给定用例的具体要求、工作负载模式和数据特征，以做出明智的决策。

 

来源：https://analyticsindiamag.com/spark-vs-presto-unleashing-the-power-of-data/