等无服务器服务具有自动扩展、内置高可用性和按价值付费的计费模式。Lambda 是一种事件驱动的计算服务，使您能够运行代码以响应来自 150 多个本机集成的 AWS 和 SaaS 源的事件 - 所有这器。” 听起来不错，不是吗？ 不再需要基础设施管理来专注于重要的事情——处理和分析数据来指导业务和产品开发。 但实际上，事情并没有那么简单。
我们的数据量非常大，大部分来自产品数据，处理这些 芬兰电话营销数据 数据带来了一些挑战。 我们的无服务器管道 AWS 无服务器管道图 如上图所示，我们用于数据处理的主要组件是AWS Glue和AWS Lambda。 Glue 本质上是Spark的托管服务，而 Lambda 提供无服务器计算。 它们两者都使我们能够快速开发和部署代码。 例如，使用 Glue，无需管理集群，这是一个巨大的优势。
管理 Spark 集群是一项非常繁重的工作，最终导致团队专注于监控、维护节点以及确保正确提交作业。 Glue 允许我们编写作业、指定容量+一些额外的配置参数，然后运行该作业。 当然，这一切都有几点需要注意的。 执行作业时，AWS 会自动配置集群，而该集群可能需要一些时间才能可用。对于 Glue 的初始版本来说，这是非常痛苦的，但 AWS 在最新版本（撰写本文时为 2.0）中以某种方式缓解了这个问题。