抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

把数据任务从 YARN 或固定机器迁到 Kubernetes,最容易做的一步是把命令装进镜像,创建一个 Job。最容易出问题的一步,是把原来调度系统的实例语义原样套在 Pod 上。

数据平台关心的是某个业务日期、某次补数、某次人工重跑有没有完成,并且输出是否能被下游使用。Kubernetes 关心的是控制器怎样让指定数量的 Pod 成功结束。两者有交集,但不是同一件事。Pod SucceededJob Complete 和“这批数据已经正确提交”之间,必须有一层明确映射。

数据平台调度实例与 Kubernetes Job 的职责边界