主题：【原创】抛砖！模式识别和机器学习、数据挖掘的区别与联系 -- 永远的幻想

追到源头，首先班门弄斧一段自控，老大轻拍-.-!

自动控制起始是从工业革命之后，人们就希望设计出减少人工干预，能自己进行调节(regulate)的机器，工程领域开始想出了根轨迹等等土招儿。等到40年代，伴随二战的需要，计算机的产生，维纳(Wiener)——信息论和控制论(Cybernetics)的祖师爷正式开创了这“两论”。

控制论这个词是维纳根据古希腊词根发明出来的。用老爷子自己的话说就是“Cybernetics ：or control and communication in the animal and the machine”。animal先不提，那是人家天才小时候就对生物学有兴趣；在工程方面，控制论的control主要是围着machine转的。因为祖师开山的时候是二战中，初衷就是要让机器代替人进行防空武器的随动瞄准。

维纳是数学家，写出来的理论和公式，让当时的工程师们看着实在头疼。但是维纳不仅仅是数学家和“搞理论”的，实际工程问题，人家二战中参与了，也想到了。最典型的就是对噪声的处理。

典型的负反馈控制系统框图里，从“传感器”的到“给定输入”之间，画一根线就连过来了。可是实际中，传感器有误差，测量回路中有包含噪声，需要的测量值甚至根本就是淹没在一片嘈杂的信号里面（水声信号）。这时候管识别“真实值”的问题叫滤波，通过设计各种滤波器来解决。

但是一学到现代信号处理这块就会发现和传统的信号处理不一样了，不再是时域、频域、Z域的滤波器变来变去了。从维纳最佳滤波的算法和ARMA模型的原理就可以看出来，既然是用随机过程和概率统计来看待和描述信号和噪声，那么已经可以把这个滤波问题用“估计(Estimation)”、“预测(Prediction)”来描述了。此外，对系统的状态方程确定参数的问题，好像是用的“辨识(Identification)”吧，都差不多。之所以罗嗦这些词，是因为这些词在模式识别的分支里出现的词。

祖师爷提出、总结这些方法大概主要为了玩转控制问题里的那些传感器。但是，其他不需要machine、不需要控制的领域，但是也需要用传感器去测量、去噪声、估计、预测、辨识啊！其实从需求角度，类似“怎么让机器能像人一样分辨人的语音”的研究，也是从40年代就开始了，一开始也是“语谱图”之类的土招儿，好像是贝尔实验室弄的吧。类似的问题“识别航拍照片”，“识别手写文字”都是类似的工作。这些工作也都希望使用计算机代替人来做呢。

花开两朵各表一枝，先放下各行各业的需求和土招儿暂且不说，再来看看计算机。与此同时，计算机产生之后也需要找到更多的应用领域。除了吸引人的计算速度之外，数学家开始琢磨让计算机再干点别的。

于是，50年代开始出现“人工智能（artificial intelligence AI）”这个词。注意是artificial不是simulation。也就是说，不是用计算机“模仿”人脑硬件结构和人的思维过程，而是研究怎么让半导体造计算机用二进制数据结构+算法去达到肉长的人脑的智能“效果”。好比做题，只需要你能得到结果，不看步骤。数据结构和算法是计算机专业的核心之一，也是当年在“制造计算机”之外，研究怎么“使用计算机”的独门课程。（咱们中国大学里的计算机系大概是60年代从电子系、自动化系里独立出来的。）所以 “会编程、搞软件的”IT民工里，科班生比半路出家的“蓝领”强就强在，除了会if for这些语法之外，就是人家数据结构、算法、离散数学这些方面正经学过。那些“走迷宫”、“8皇后问题”，就是数学家抽象出来，丢给计算机去做的人的智力题。

AI又叫狭义的人工智能，基本可以等同于计算机算法了。当然也确实有研究人脑结构和思维过程，用计算机去simulation人脑的“广义”人工智能，不过那更多是医学、生理学的事情啦。也许有人说不对啊，神经网络（Neural Networks NN）可是就是模拟人的神经元呀的算法啊，算狭义还是广义？这个，统计学家们发来抗议电，说NN压根就没那么玄乎，不过就是类似“投影寻踪回归(Projection Pursuit Regression)”的算法。这个后面写到模式识别具体算法时候会提到。

但是除了做智力题之外，人的能力里属于智能的到底都有什么呢？经过总结，其中之一是识别能力，然后是决策能力。

这下好了，一边是需求，一边是计算机的计算能力。估计、预测、辨识、识别……是时候把这些类似的工作统筹解决了！

这样在60年代，模式识别(Pattern Recognition PR)产生了。