荣新IT培训中心
全国咨询热线:400-1335-066
您现在的位置:首页>媒体报道 > 正文

大数据培训 数据质量分析管理

时间:2017-12-05 14:55:38 来源:荣新IT教育培训 作者:荣新科技

很多做大数据培训的同学都知道,数据并非都是有用的,质量参差不齐,我们该如何解决这个问题,有效的去收集数据呢?今天荣新科技就来给大家讲一讲。

大数据培训 数据质量分析管理

1、建立数据质量闭环办理机制

从问题界说、问题发现、问题整改、问题盯梢、效果评价5个方面树立相应的办理及认责机制。从事务动身做问题界说,由工具主动、及时发现问题,清晰问题责任人,经过邮件、短信等方式进行告诉,确保问题及时告诉到责任人。盯梢问题整改进展,树立相应的质量问题评价KPI。确保数据质量问题全进程的办理。

2、对不同数据的数据问题分类处理

在时刻维度上分,企业数据主要有三类:未来数据、当时数据、历史数据。在处理不同品种的数据质量问题时,也要采取不同的处理方式。

历史数据

如果你拿着历史数据,找事务部门给你做整改,事务部门通常以“当时的数据问题都处理不过来,哪有时刻帮你一同清查历史数据的问题”为理由无情回绝。这个时分即便是找领导协调,一般也起不到太大的效果。关于历史数据问题的处理,一般能够发挥IT技术人员的优势,用数据清洗的方法来处理,清洗的进程要综合运用各类数据源,提高历史数据的质量。

当时数据

当时数据的问题,需求经过从问题界说、问题发现、问题整改、问题盯梢、效果评价5个方面来处理。详细能够参考我之前在普元微信大众号的文章《大数据是否值得信任——浅谈商业银行数据质量办理》。

未来数据

未来数据的处理,一般要选用做数据规划的方法来处理,从整个企业信息化的视点动身,规划一致企业数据架构,拟定企业数据规范和数据模型。借事务系统改造或许重建的机遇,来从根本上提高数据质量。当然这种机会是可遇而不可求的,在机会到来之前应该把企业数据规范和数据模型树立起来,一旦机会呈现,就能够遵从这些规范。

这样,经过对不同时期数据的分类处理,选用不同的处理方式做到事前防止、事中监控、事后改进,能从根本上处理数据质量问题,为企业事务立异打通数据关卡。

1、定义事务问题、规划顶层规划

在处理数据质量问题之前需求界说清楚事务问题。是以提高主数据的质量为方针、以整改BI数据问题为方针,还是以满足危险办理、监管报送要求为方针。

在事务问题界说清楚之后,需求以事务问题为起点,做顶层规划。规划好某事务主题的规范,以规范作为数据质量校验规则的绳尺。数据规范的拟定不在本文的讨论范围,这儿就不在打开说了。这个是“疏”的最高境地,往往消耗的本钱也比较高。
文章源自荣新科技官网:www.vfast.com.cn欢迎访问,转载需注明出处