返回
电器宝鉴
pythonql矩阵分解-python矩阵库
更新时间:    发布时间:9小时前0

我刚开始用Python矩阵库时,看到`numpy.linalg.svd`,反应是“高数都没学明白,这能用?”直到拿它处理用户评分数据,才发现矩阵分解就是把一团乱麻分成几股绳,一下子就顺了。

矩阵还能拆?

一个5个用户对10部电影的评分矩阵,看着有50个数,可很多人打分其实只由“爱不爱动作片”“怕不怕剧透”两三个隐藏因素决定。用SVD拆一下,就能把这些因素抽出来,存储量可能降到不到30个数(示例)。这是现象:矩阵分解在推荐、压缩、降维里到处出现,可多数人只是调个API,不知道自己已经在做“压缩”。

拆开之后少了什么?

你可能会想:拆了再拼,数据丢了吧?会丢,但丢的大多是噪音。图像压缩就是例子:把上千像素的矩阵做SVD,只留前几十个主成分,人眼看区别不大,文件却小得多。矩阵分解的本质,是换个坐标系,把冗余去掉。

那到底选哪个?

不同的分解各有脾气:

分解方法常见用途Python库接口示例
LU解方程组``
QR最小二乘拟合``
SVD推荐、压缩、降维`numpy.linalg.svd`

小数据用`numpy`就够;矩阵太大就换`scipy.sparse`。怎么验证?把拆开的矩阵乘回去,看重建误差。

落地的建议就一句:先跑通一个最小例子,把每一步的shape打印出来,看着看着就明白了。别怕黑盒,拆开就不黑了。

0点赞
0反对
0举报
0收藏
0评论
0分享
海报
分享到:
  • 我来说两句
    0
扫一扫访问当前网页
关闭
/ 5