把数据任务从 YARN 或固定机器迁到 Kubernetes,最容易做的一步是把命令装进镜像,创建一个 Job。最容易出问题的一步,是把原来调度系统的实例语义原样套在 Pod 上。
数据平台关心的是某个业务日期、某次补数、某次人工重跑有没有完成,并且输出是否能被下游使用。Kubernetes 关心的是控制器怎样让指定数量的 Pod 成功结束。两者有交集,但不是同一件事。Pod Succeeded、Job Complete 和“这批数据已经正确提交”之间,必须有一层明确映射。
邓明瑞 / 纯粹
把数据任务从 YARN 或固定机器迁到 Kubernetes,最容易做的一步是把命令装进镜像,创建一个 Job。最容易出问题的一步,是把原来调度系统的实例语义原样套在 Pod 上。
数据平台关心的是某个业务日期、某次补数、某次人工重跑有没有完成,并且输出是否能被下游使用。Kubernetes 关心的是控制器怎样让指定数量的 Pod 成功结束。两者有交集,但不是同一件事。Pod Succeeded、Job Complete 和“这批数据已经正确提交”之间,必须有一层明确映射。