经典指数          
原因
785
浏览数
0
收藏数
 

在企业中,对生产数据进行分析具有很重要的意义。但是生产数据通常不能直接用于数据分析,通常需要进行抽取,转换和加载,也就是业界常识的ETL. 生产数据 为了便于开发和维护,并提高数据实时性,通常将一个完整的ETL过程分析哼多个任务,组成流水线,如下图所示: 假设任务定义和任务之间的依赖关系都保存在文件中,文件格式分别如下: 表格1任务元数据 问题: 1, 下图是ETL调度系统的模块图。请描述各个模块的主要职责,以及各个线条的含义。 2, 添加依赖关系时要避免产生环,假设系统同一个时刻只允许一个人添加任务依赖,请实现一个函数来检查新的依赖是否导致环,如果该依赖的上游存在环会导致非正常的调度,因此也希望能避免。 3, 如果调度时,某个任务在其依赖的任务之前执行,必然导致错误,请实现调度算法,确保任务按照依赖顺序执行? 4, 给定个任务,如何计算出他的最晚完成时间?

     举报   纠错  
 
切换
暂时还没有答案,欢迎分享你的解答 . . .
撰写答案
扫描后移动端查看本题