找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

[ 职业成长 ] 【观点】浅析 数据分析、数据挖掘、数据统计、OLAP 基本概念 ...

2014-05-07 21:33| 发布者: watchmen | 查看: 1633 | 收藏

摘要: 守望者:数据存储,数据统计,数据分析,数据挖掘无疑是大数据时代的热闹技术,但各个数据处理侧重都有所不同,但无论哪一种,都最终导向商业应用,因此,带来利益的技术是真正的惠民技术。 ... ...

数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
广义的数据分析,应当是包含数据挖掘和统计的。数据挖掘是面对海量数据时的有效工具,而数据统计是为分析过程提供可靠模型和结果检验的 有效工具。这两个工具可以用在数据分析中,但不只用在数据分析中。数据分析就是数据到有效信息的过程。

数据分析
例如:专注于中小网站分析优化,网站地图、结构优化,SEO。多使用第三方工具如:开源分析模块(BIRT),CNZZ,Google Analytics(以下简称GA)。通过对网站属性数据(如pv, uv, 新用户占比,搜索词,跳出率,蹦失率,访问时长,忠诚度等)的分析,对网站结构、内容进行优化。此方向更偏产品一些,极大的依赖分析经验和对数据的敏感度。
代表人物Justin Cutroni,网站分析领军人物,精通GA/GWO,博客Analytics Talk:http://cutroni.com/blog/
代表人物宋星,经营网站分析在中国:http://www.chinawebanalytics.cn/
蓝鲸,经营蓝鲸的网站分析笔记:http://bluewhale.cc/,
Joegh,经营网站数据分析:http://webdataanalysis.net/

数据挖掘
数据挖掘主要是面向决策,从海量数据中挖掘不为人知、无法直观得出的结论。例如内容推荐、相关度计算等。此工作更注重数据内在联系,数据仓库组建,分析系统开发,挖掘算法设计,甚至很多时候要亲力而为的从ETL开始处理原始数据,因此对计算机水平有较高要求。一般广度上不及数据分析,但深度上更为深入。
使用工具除海量数据库如Oracle,分布式计算Hadoop,C++,Java,Python等编程语言外,也有可能会用到第三方挖掘工具如Weka。此方向更偏技术一些。
代表人物Jeff Hammerbacher,曾经的Facebook首席科学家,曾参与编写《数据之美》,部分内容如下:
http://www.360doc.com/content/11/0222/10/2459_95014883.shtml
延伸阅读《探索推荐引擎内部的秘密》,可以体验一下数据挖掘的魅力:
http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy1/index.html
http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html
http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy3/index.html

数据统计
专注于建模及统计分析,通过概率、统计、离散等数学知识建立合理模型,充分发掘数据内容。例如用回归分析,充分利用网站历史数据,进行评估、预测、反向预测、发掘因素。利用贝叶斯方法建立模型来进行机器学习、聚类、垃圾邮件过滤等。常用工具如:SAS,R,SPSS。此方向更偏重数学,尤其是统计学。
像哈佛数学毕业的Hammerbacher在这方面也很强。数据统计不局限于互联网,像传统行业尤其是医疗、金融等领域中,用处也是极大。

OLAP
而OLAP其实是一个建立数据系统的方法,核心思想就是建立多维度的数据立方体,以维度(Dimension)和度量(Measure)为基本概念,辅以元数据,实现可以钻取、切片、切块、旋转等灵活、系统、直观的数据展现。这种思想可以被以上三种方向借用,像GA就带有这种风格,数据仓库也经常用到此种模式。
但由于互联网的数据量较大、维度众多,会导致数据爆炸。因此一般会灵活变通,综合使用。严格使用OLAP的一般都是些制造业、零售业等相对传统的行业,作为BI的延伸,对公司决策提供有力支撑。

因此,简单的说,数据统计更多的偏向于数据的处理和计算,可能只是到指标和报表的层面;
数据分析需要对数据的变化趋势、比较特征等作出解释,以问题为导向,从数据上去发现问题、分析问题,甚至提出解决问题的方案,一般数据分析需要形成解释性的或结论性的数据报告;
数据挖掘更多的是运用算法和模型去发现潜藏在数据深层次的规律,跟数据统计相比数据挖掘的计算和规则更加复杂,需要处理海量数据,对运算的能力要求较高;
OLAP是一种数据的展现和观察方式,基于多个维度的交叉细分,能够让分析人员从多个角度、多个层面去观察和理解数据。

本文由守望者watchmen收集整理,部分内容源于网络。本文仅代表作者个人观点,不代表守望者的本意。如有违法侵权内容,请提交到守望者管理员处,立即处理。

会员评论  

已有0参与评论

推荐阅读

[守望者 算法视频]01_数据存储(链表与数组)
[守望者 算法视频]01_数据存储(链表与
本章重点介绍数据的在计算机的存储方式 :连续存储(数组)与链式存储,同时
[守望者   java初中级视频]22_javaNIO,AIO编程
[守望者 java初中级视频]22_javaNIO,
内容简介:本课程介绍阻塞,非阻塞,同步和异步的基本概念,介绍javaNIO,AIO
[守望者   java初中级视频]00_java初中级课程学习导航
[守望者 java初中级视频]00_java初中
内容简介:全面贾少这套视频课程学习需要具备的理论基础,以及适合的学习人群
【守望者 linux项目】linux下的FTP服务器与客户端,作者 灯下野狐 ...
【守望者 linux项目】linux下的FTP服务
本项目是一个完整的FTP服务器及FTP客户端设计示例,对于需要学习网络编程项目
【守望者 游戏项目】基于cocos2d-x的跑酷游戏项目教程
【守望者 游戏项目】基于cocos2d-x的跑
Cocos2d-x跑酷游戏项目教程Cocos2d-x跑酷游戏项目教程cocos2d-x特性cocos2
【守望者 linux项目】mini WEB服务器设计
【守望者 linux项目】mini WEB服务器设
以下是曾经Watchmen一个朋友学习网络编程时设计的一个简单的MiniWEB服务器。
【守望者 观点】智能路由和Wi-Fi探针是一对好基友
【守望者 观点】智能路由和Wi-Fi探针是
智能路由与Wifi探针可以收集用户行为,同时可以收集用户MAC地址,还可以跟踪
[守望者 linux视频]01_开发工具与开发平台
[守望者 linux视频]01_开发工具与开发
本课主要介绍gcc,gdb等系列开发工具,开始编写程序之旅。要求理解Linux开发平
[守望者 算法视频]08_数据查找_hash算法
[守望者 算法视频]08_数据查找_hash算
守望者:普通逐个查找O(n),组织方式可以无序的数组或者普通链表。已经排序的
【解读】什么样性格的人会被夸性格好
【解读】什么样性格的人会被夸性格好
守望者:性格决定命令。好的性格意识着给别人面子,能接受别人装逼,而且以上
[守望者 linux视频]02 进程内存管理与valgrind的使用
[守望者 linux视频]02 进程内存管理与v
本课主要介绍Linux可执行文件与进程内存结构, Linux进程结构及内存申请与释放
[守望者 C和指针]11_高级指针_C_面向对象
[守望者 C和指针]11_高级指针_C_面向对
(1) 彻底解决指针、取地址后的类型问题。(2) 回调函数示例。
【观点】闲聊阿里“996",全集团ALL IN无线策略及加班之意义 ...
【观点】闲聊阿里“996",全集团ALL IN
守望者:几乎的所有的员工都不喜欢8小时之外的工作,而几乎所有的老板都期望
【守望者 观点】你是哪种人?一个能看穿你的人性和欲望的测试 ...
【守望者 观点】你是哪种人?一个能看
守望者:这个心理测验来自西方,是与人潜意识有关。我10多年前认识个朋友,从
【守望者 Linux项目】二阶段提交应用项目(Two-phase commit protocol )2PC 高并发 . ...
【守望者 Linux项目】二阶段提交应用项
背景:以下是watchmen曾经编写的一个二阶段提交银行系统的项目。这个项目源于

行业聚焦  面试交流  职位推荐  开发视频   技术交流  腾讯微博  新浪微博

友情链接:课课家教育  阿里云  鲜果  W3Cfuns前端网  中国企业家  环球企业家  投资界  传媒梦工场  MSN中文网  Android开发者社区  cnbeta  投资中国网  又拍云存储  美通说传播  IT茶馆  网商在线  商业评论网  TechOrange  IT时代周刊  3W创新传媒  开源中国社区  二维工坊  Iconfans  推酷  智能电视网  FreeBuf黑客与极客  财经网  DoNews  凤凰财经  新财富  eoe移动开发者社区  i黑马  网易科技  新浪科技  搜狐IT  创业家  创业邦  腾讯财经  福布斯中文网  天下网商  TechWeb  雷锋网  新浪创业  和讯科技  品途O2O  极客公园  艾瑞网  抽屉新热榜  卖家网  人民网通信频道  拉勾网  创新派  简单云主机  

手机版|黑名单|守望者在线 在线教育 linux 高级程序设计 C/C++ 大数据 ( 蜀ICP备14029946号

成都守望者科技有限公司 © 2013-2016 All Rights Reserved