泛联官网>>

数据仓库实施规划小总结

时间:2013-11-12 10:27来源:互联网 作者:网络 点击:
分享到:
  • 点击图标下载本文附件-->:       注:若已有正文则附件为空

   以前整理总结的,分六个方面总结下吧
1.首先选一个自己感兴趣的行业,对业务做深刻的专研,只有把业务、流程搞透了,做出来的东西才会更靠谱,实用,才能更好的指导业务,辅助决策。
2.系统架构要有明确规划。包括硬件、软件的选型使用,做数据仓库产品选型选择性很大,个人观点选团队熟悉的适合公司发展的,适合的才是最好的,不要一味的追加新、“潮”。具体实施时可以先按产品、分主题,排优先级按集市来实施开发,一定阶段后再考虑整合创建全局数据仓库。注意系统间耦合性要降低。另外开发实施初期就要把性能考虑进去,可利用一些综合手段或方法(分区 并行 集合运算)使程序性能达到高效。(个人感觉数据仓库OLAP系统的优化很多时候按照传统的OLTP系统的优化来做是不够的:比如加索引,更改SQL的执行计划等,觉得最有成效的做法是优化流程,拆分业务逻辑 ,逻辑拆分越简单越好,简单的才是最好的)。
3.指标定义明确(把指标相关定义加入到帮助文档,最好可以有伪SQL。前期指标定义先精后广),指标定义要原子化、层级化、一致化,指标统计口径严格统一,上层展现只依赖一个地方出指标。
4.合理规划数据存储,要计算历史三年的数据量、未来三到五年的数据量。仔细考量数据粒度,做好对数据量的预判,避免数据存储空间的浪费,多使用分区表,大表使用单独文件存储。
5.密切关注数据质量:对源数据应加强探查不断提升源数据的质量。而元数据应加强统一管理(有条件的话可以做成类MIS的管理系统),元数据先行,贯穿项目的始终。还有一个很重要的就是ETL的实施,ETL的监控(监控这块儿各接口间一定要有比较详尽的日志反馈,父级调用一定需时刻跟踪子级的反馈状态)ETL自动恢复。ETL要做到战略上藐视,战术上重视。(ETL这块儿也可以新开篇幅详细讨论)
6.最后就是关于文档的编写及维护要规范化。

 

 

------分隔线----------------------------
顶一下
(0)
0%
踩一下
(0)
0%
最新评论 查看所有评论
发表评论 查看所有评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 密码: 验证码:
发布者资料
汪崇真 查看详细资料 发送留言 加为好友 用户等级:高级会员 注册时间:1970-01-01   最后登录:2014-09-05
推荐内容