抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

数据任务失败后,排查过程经常是这样的:先在调度平台找到实例,再去 YARN 搜 application,进入引擎页面找 stage,最后 SSH 到某个节点翻 container 日志。中间任何一层 ID 没记住,就只能靠任务名和时间范围碰运气。

这不是日志数量不够,而是缺少关联键。调度器、提交服务、资源管理器和计算引擎各自都有状态,却没有一条稳定标识把它们连成同一次运行。平台最后只能截取“最近 100 行”放在失败弹窗里,看起来集中,实际上丢掉了大量上下文。

我做数据任务可观测性时,第一步不会先搭新的日志检索页面,而是把 schedule_instance_id 从创建实例开始传到执行端,并在每次外部资源分配后立即保存映射。只要关联关系可靠,日志、指标、trace 和配置才有机会组成证据链。

数据任务从调度实例到运行证据的关联链