数仓任务的调度优化

大佬们,数仓任务有根据定时执行的,有根据血缘来执行的,有没有什么算法能将任务分布的很均衡,不要再一个时间段将资源打满,有什么调度算法可以参考吗

1. 给资源池加80-90的限制 比如限制worker 数量 yarn任务数量 任务内存cpu数量
2. 给任务加权重,权重高的优先进队列 用平台实现
#我的求职思考#  #大数据#  #数仓#
全部评论

相关推荐

11-23 15:14
中原工学院 Java
程序员花海_:实习和校招简历正确格式应该是教育背景+实习+项目经历+个人评价 其中项目经历注意要体现业务 实习经历里面的业务更是要自圆其说 简历模板尽可能保持干净整洁 不要太花哨的
点赞 评论 收藏
分享
评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务