Amazon MWAA - Manage Environment¶
本文主要讲如何管理 MWAA Environment 本身. 所谓管理 Environment 就等同于管理 Airflow Cluster, 只不过大部分复杂的细节都是 AWS 托管的, 我们只需要关注一些重要的配置即可.
这里我们简单回顾一下 MWAA 的架构. 任何一个 MWAA Environment 都包含以下组件:
scheduler: 用于中心化的调度, 当然 AWS 是做了冗余和高可用的, 可以有不止一个 scheduler, 但是通常 scheduler 的数量不会需要特别多, 它主要利用的是高性能 event loop 异步执行.
web server: 用于提供 Airflow UI, 作为 web server 的机器一般只有一台 (当然是有备用的作为高可用). 因为 web server 是给人类用来查看 DAG 运行状态的, 一般不会有太多的并发请求.
worker: 默认包括 1 个常驻 worker. 当然根据你并发执行 DAG 的多少, 可以自动的 scale 增加和减少 worker.
你可能会注意到这里没有提及 Database, 因为 database 其实是跟开发关系不大的部分, 主要为了持久化 metadata, 而且几乎不存在人工直连 database 的情况. 这部分 AWS 是全权接管的, 开发者无法触及.
Configuring the Amazon MWAA environment class¶
Environment class 就是指这个 environment 的总体大小. 简单来说不同的大小对应 DAG 的上限:
mw1.small: 50
mw1.medium: 250
mw1.large: 1000
而从 task 并行的数量来看:
mw1.small: 5 个并行 task
mw1.medium: 10
mw1.large: 20
这里注意的是, Airflow 本身是个调度系统, 它的主要工作不是执行真正的业务逻辑和数据处理. 这些工作都应该放在专用的工作负载上进行, 例如 AWS Lambda, AWS Batch, AWS Glue 等. 而 Airflow 中的 Task 主要是处理输入输出参数, 调用 API, 监控状态. 每个 Task 本身的运行时间应该是比较短的 (1-3 秒) 之间. 所以这个并行数量其实是比较够用的.