Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习
本来这篇是准备5.15更的，但是上周一直在忙签证和工作的事，没时间就推迟了，现在终于有时间来写写Learning Spark最后一部分内容了。 第10-11 章主要讲的是Spark Streaming 和MLlib方面的内容。我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？在实…
最近文章 · 第 4 页
【机器学习Machine Learning】资料大全
昨天总结了深度学习的资料，今天把机器学习的资料也总结一下(友情提示：有些网站需要"****"^_^) 推荐几本好书： 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements o…
【深度学习Deep Learning】资料大全
最近在学深度学习相关的东西，在网上搜集到了一些不错的资料，现在汇总一下： Free Online Books Deep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learni…
Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： 【原】Learning Spark…
Spark之机器学习(Python版)(一)——聚类
kmeans聚类相信大家都已经很熟悉了。在Python里我们用kmeans通常调用Sklearn包（当然自己写也很简单）。那么在Spark里能不能也直接使用sklean包呢？目前来说直接使用有点困难，不过我看到spark-packages里已经有了，但还没有发布。不过没关系，PySpark里有ml包，除了ml…
Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性
本来应该上周更新的，结果碰上五一，懒癌发作，就推迟了 = =。以后还是要按时完成任务。废话不多说，第四章-第六章主要讲了三个内容：键值对、数据读取与保存与Spark的两个共享特性（累加器和广播变量）。 键值对（PaiRDD） 1.创建 1 #在Python中使用第一个单词作为键创建一个pairRDD,使用ma…
Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令
《Learning Spark》这本书算是Spark入门的必读书了，中文版是《Spark快速大数据分析》，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.4，评论一片好评，有点意思。我倒觉得这本书可以作为官方文档的一个补充，刷完后基本上对Spark的一些基本概念、码简单…
浅谈KL散度（相对熵）在用户画像中的应用
最近做用户画像，用到了KL散度，发现效果还是不错的，现跟大家分享一下，为了文章的易读性，不具体讲公式的计算，主要讲应用，不过公式也不复杂，具体可以看链接。 首先先介绍一下KL散度是啥。KL散度全称Kullback–Leibler divergence,也称为相对熵，信息增益，它是度量两个概率分布P与Q之间差异…
KMeans与深度学习自编码AutoEncoder结合提高聚类效果
这几天在做用户画像，特征是用户的消费商品的消费金额，原始数据（部分）是这样的： 1 id goods_name goods_amount 2 1 男士手袋 1882.0 3 2 淑女装 2491.0 4 2 女士手袋 345.0 5 4 基础内衣 328.0 6 5 商务正装 4985.0 7 5 时尚 96…
Spark学习总结-六个专题
最近从hadoop转向Spark了，学了一段时间了，准备写个专题，主要写pySpark的应用，主要计划是： 主题 内容概要 聚类（5.6） 1.几种常用的聚类算法；2.pyspark中聚类算法的应用（2-3个实例） 分类&回归 1.几种常用的分类和回归算法；2.pyspark中分类和回归算法的应用（各一例） …