最近看了比较多的关于大数据处理方面的知识,但是例如hadoop,Spark,Storm等平台大都是对于数据的存储和管理操作,并不是对于 数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理,数据挖掘。学习数据挖掘也非常偶然,首先毕竟本人一直在做的是数据方面的工作,数据挖 掘相当于是对数据处理后的下一步操作,学习一下数据挖掘的基本知识,了解了解常用的一些数据挖掘算法,对我来说也是一件不错的事。
由于我目前的水准还只是入门水准,就简单的聊聊数据挖掘的基本概念。数据挖掘,英文为:Data Miming,又叫KDD,知识的再次发现,数据挖掘,顾名思义,就是从数据中发掘出对于人们来说,有意义的东西。数据挖掘无处不在,最常见的就是在网上 购物的时候,人家会推荐一些可能让你感兴趣的商品。专业上讲,这叫BI(商业智能)。还有很多例如银行利用数据进行欺诈检测。下面是数据挖掘的一般步骤:
1.数据清理(数据预处理)
2.数据集成 (数据预处理)
3.数据选择 (数据预处理)
4.数据变换 (数据预处理)
5.数据挖掘
6.模式评估
7.知识表示
前四步又是作为数据预处理的操作。数据预处理有很多作用,比如取出噪声数据或者是离群点的处理,还有数据的规格化的操作。也许你会问,我们这么 庞大的数据存在于什么地方呢,像一般的系统,就是存在于关系数据库中,但是这时候就有问题了,数据挖掘对于数据的需求量往往是非常大的,这就需要很多的数 据,所以我们通过一个叫数据仓库的概念,把许多的数据库组织起来,形成一个数据仓库,然后我们对于数据仓库进行OLAP联系分析处理。而数据仓库又是以数 据立方体的形式来表现数据的情况的。
挖掘 数据的 什么
数据挖掘都挖出些什么东西呢,首先一个就是 频繁模式 的挖掘,这个很好理解吧,这里涉及很多的频繁项集的挖掘算法,比如Apriori算法,里面还有很多关联和相关性的要素。还有一个挖掘中经常提到的东西叫 分类 ,分类算法在数据挖掘中也是非常重要的,比较常被人说起的就是贝叶斯分类算法,基于概率统计的算法,随后在分类算法的基础上又出现了聚类分析,就有了后面 的k-means算法,k-中心点算法。对于前面的2大模块的挖掘体系,都有相对应的高级阶段的挖掘分析。对于更加特殊的数据格式和更加复杂的环境又会有 不同的挖掘算法和方式的不同。
数据挖掘的展望
未来一定会是一个数据大爆炸的时代,数据挖掘将会是一个非常热门的领域,他是一个多学科交叉的领域,机器学习,神经网络,统计学,对于各行各业都会起到非常重要的作用。