数据治理客户案例:智能云盾

2018-09-18 17:09:3214664人阅读

客户简介

智云盾是输出百度云防中心成熟能力,旨在为合作的IDC建设和提供基础安全防御设施,帮助其利用自身带宽防御流量攻击。当IDC网络无法承载较大攻击且无法满足客户的防御需求时可牵引到百度云防中心进行防御。通过智云盾平台可集成更多的百度安全能力为IDC的企业客户提供更安全的基础设施网络。

pic_IDC.png

案例故事

数据治理为智能云盾的数据团队提供数据调度的支出与管理平台,保证了用户的数据任务稳定性。

客户用到产品

数据治理的数据调度功能模块

面临问题

1.任务之间的相互依赖无法表示,只能预估上游任务大概完成时间,假设上游任务完成后再执行下游任务;

2.任务运行记录无法获取,任务分配到不同的服务器,需要登录服务器查找任务所在位置,再查看其日志输出位置;

3.如果任务失败后,下游任务非常多的情况下,手动恢复任务非常复杂且耗时;

4.任务如果完全依赖服务器,若服务器故障,任务将无法恢复。

解决方案

1.以作业组为基本调度单元,通过拖拽,连线维护依赖关系。支持任务上游依赖检查,如MySQL依赖、hive数据库,表依赖、hdfs目录依赖检查保证任务成功率;

2.将任务的日志界面化输出,统一管理,便于查找与分析,大大提升了效率;

3.手动触发以及恢复调度任务,跨指定时间周期作业组、作业执行,也支持单个作业组(作业)以及下游全部作业组(作业)执行;

4.我们为每个执行队列分配至少分配两台Agent,如果有一台服务器故障则不影响任务执行。保证平台的稳定性。

客户评价

平台稳定,依赖可视化提升的操作效率,平台上手容易,可以满足对业务的需求。

0
现金券
0
兑换券
立即领取
领取成功