本文主要是使用semi-NMF(半非负的矩阵分解)解决模板匹配(template matching)问题。我们知道波形可以由一系列基本波形线性叠加而成，而模板匹配问题就是利用这样一些基本波形作为模板把原波形分离出来，通常都是要先知道模板然后才能做匹配找出每个模板对应的振幅(amplitude)，但是这样无疑需要事先存在一个模板字典，本文主要贡献是找到一种方法可以直接从原波形找出这样的基本波形,也即模板。由于NMF具有可以从源数据中找出组件的特性，本文就是利用了NMF的这一特性，直接分解出模板和振幅，由于模板本身不要求非负性，因此作者只拘束振幅为非负并且是稀疏的，这转化为一个semi-NMF问题，它的求解思路和C.Ding等人的semi-NMF非常类似，只不过C.Ding等人是用它解决聚类问题。
作者在合成数据和胞外记录(exteacellular recordings)上分别做了实验，结果显示该方法在合成数据上可以把有噪声的信号重构后形成无噪声信号，在胞外记录的实验上，该方法成功分离出两种基本信号(SD spike,IS spike).
文章下载地址：http://liinc.bme.columbia.edu/~lparra/publish/NIPS2008-SSNMF.pdf
2009年3月30日星期一
MCboost:Multiple Classifier Boosting for Perceptual Co-Clustering of Images and Visual Features
本文主要介绍一种对Images和features进行同时聚类的方法。对于二分问题(object,non-object)，我们知道boost是一种非常有效的方法，它通过对简单弱分类器进行线性组合，够成一个强分类器来获得更精确的分类结果，其中每一个弱分类器通过一些或者单个简单的特征对图像进行分类。但是当object有多种表现形式时，如人脸有正面、侧面，各种形态的站姿等，这时对特征的简单线性组合并不能获得好的效果。
如果我们利用多个强分类器对图像进行分类，可能会获得比较好的结果。其中强分类的个数为object不同表现形式的种类，每个强分类器对不同的表现类进行负责(a Expert in one specified class)。只要有一个强分类器认为输入样本为正例，则为正例。只有所有分类器均认为是反例时，才判定输入样本为反例。强分类中的弱分类器仍然是特征的简单线性组合，但在每个强分类器中所作的贡献不相同。这样通过对一些给定样本的学习后，就能够得到一组强分类器，以及强分类中的重要分类特征(Co-Clustering)。
相关文章链接地址：
MCboost:Multiple Classifier Boosting for Perceptual Co-Clustering of Images and Visual Features
mi.eng.cam.ac.uk/~tkk22/doc/nips08_final.pdf
InformationTheoretic Co-clustering
www.cs.utexas.edu/users/inderjit/public_papers/kdd_cocluster.pdf
2009年3月25日星期三
2009年3月21日星期六
Compressed Sensing & Compressed Learning
Compressed sensing 又可以称为compressive sampling，是对香农采样定理的一种扩充。香农采样定理告诉我们，如果需要保证采样后信号的完全恢复，采样频率需要达到信号最高频的两倍。然而，对于稀疏信号（如信号覆盖了整个频率段，但其覆盖又是稀疏的）时，香农采样定理就显得比较保守。compressed sensing则告诉我们，对于属于R^n空间的，含有k个非零点的稀疏信号（ k << n )，我们不需要采集那么多点，而只需要采集O(C*k*logn)个点就足够了。
对于机器学习来说，若把数据存在的空间称为data domain，而我们观测到的数据所存在的空间称为measurement domain，通常情况下，这两个domain可能都非常大，就会遇到curse of dimensionality的问题，当然，machine learning有很多解决办法。Compressed learning其实也可以看成是属于其中的一种叫做“降维”的方法，就是使用m×n的采样矩阵A（ m << n ）对数据进行采样，再在采样后的数据上进行分类。Ref[2]讲的就是，当A满足(k,\epsilon)-RIP条件时，使用SVM在原始数据和在降维数据上的分类误差小于O(\sqrt{\epsilon})。
Ref：
对于机器学习来说，若把数据存在的空间称为data domain，而我们观测到的数据所存在的空间称为measurement domain，通常情况下，这两个domain可能都非常大，就会遇到curse of dimensionality的问题，当然，machine learning有很多解决办法。Compressed learning其实也可以看成是属于其中的一种叫做“降维”的方法，就是使用m×n的采样矩阵A（ m << n ）对数据进行采样，再在采样后的数据上进行分类。Ref[2]讲的就是，当A满足(k,\epsilon)-RIP条件时，使用SVM在原始数据和在降维数据上的分类误差小于O(\sqrt{\epsilon})。
Ref：
- E. J. Candès. Compressive sampling. Proceedings of the International Congress of Mathematicians, Madrid, Spain, 2006. http://www.acm.caltech.edu/~emmanuel/papers/CompressiveSampling.pdf
- Robert Calderbank, Sina Jafarpour, and Robert Schapire, Compressed learning: Universal sparse dimensionality reduction and learning in the measurement domain (Preprint, 2009)
2009年3月19日星期四
机器学习讨论班日程安排
内容安排：
3.17: 何力: Approximate Inference.3.24: 张军平, 机器学习基础; 浦剑，Compressive Sensing;
3.31: 王晓丹, NMF; 谭奔: 多侧面学习;
4.7: 周骥：在线学习；骆思强：Image Resizing
4.14: 王晨: 图像超分; 潘墨益: Trust-Region
4.21: 范一鸣; 顾海杰: 步态识别
4.28: 张晨栋: 非负矩阵; 康卓梁: 视觉感知的Saliency Map
5.5: 宋海：多示例学习；李想: CCA
5.12: 何力 (TBA)
5.19: 浦剑；王晓丹; (TBA)
5.26: 谭奔；周骥 (TBA)
5.12: 何力 (TBA)
5.19: 浦剑；王晓丹; (TBA)
5.26: 谭奔；周骥 (TBA)
具体时间：每周二晚6:30
地点：老逸夫楼2-202小报告厅
Introduction to Approximate Inference Methods
This talk includes a gentle introduction of statistical modelling methodology in machine learning for the new audience in this seminar and its aim is to make its audience aware of several common approximate inference algorithms in nowadays Bayesian models, namely:
Date 6:30 pm, March 17
- Laplace approximation,
- (global) variational approximation,
- (local) variational bounds,
- expectation propagation.
Date 6:30 pm, March 17
订阅：
评论 (Atom)