深度学习的一些经验总结和建议 | To do v.s Not To Do
前言：本文同步发布于公众号：Charlotte数据挖掘，欢迎关注，获得最新干货～ 昨天看到几篇不同的文章写关于机器学习的to do & not to do，有些观点赞同，有些不赞同，是现在算法岗位这么热门，已经不像几年前一样，可能跑过一些项目、懂点原理就可以了，现在对大家的要求更高，尤其工程能力更不可缺少，只…
深度学习26
神经网络、模型训练，以及从原理到实践的探索。
深度学习分布式训练及CTR预估模型应用
前言：我在github上创建了一个新的repo：PaddleAI, 准备用Paddle做的一系列有趣又实用的案例，所有的案例都会上传数据代码和预训练模型，下载后可以在30s内上手，跑demo出结果，让大家尽快看到训练结果，用小批量数据调试，再用全量数据跑模型，当然，也可以基于我上传的预训练模型进行迁移学习，如…
【资料总结】| Deep Reinforcement Learning 深度强化学习
在机器学习中，我们经常会分类为有监督学习和无监督学习，但是尝尝会忽略一个重要的分支，强化学习。有监督学习和无监督学习非常好去区分，学习的目标，有无标签等都是区分标准。如果说监督学习的目标是预测，那么强化学习就是决策，它通过对周围的环境不断的更新状态，给出奖励或者惩罚的措施，来不断调整并给出新的策略。简单来说，…
【深度学习系列】垃圾邮件处理实战（二）
PaddlePaddle垃圾邮件处理实战（二） 前文回顾 在上篇文章中我们讲了如何用支持向量机对垃圾邮件进行分类，auc为73.3%，本篇讲继续讲如何用PaddlePaddle实现邮件分类，将深度学习方法运用到文本分类中。 构建网络模型 用PaddlePaddle来构建网络模型其实很简单，首先得明确paddl…
【深度学习系列】垃圾邮件处理实战（一）
PaddlePaddle垃圾邮件处理实战（一） 背景介绍 在我们日常生活中，经常会受到各种垃圾邮件，譬如来自商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等，一般来说邮件客户端都会设置一定的关键词屏蔽这种垃圾邮件，或者对邮件进行归类，但是总会有一些漏网之鱼。 不过，自己手动做一个垃圾邮件分类器也并不是什…
【深度学习系列】车牌识别实践（二）
上节我们讲了第一部分，如何用生成简易的车牌，这节课中我们会用PaddlePaddle来识别生成的车牌。 数据读取 在上一节生成车牌时，我们可以分别生成训练数据和测试数据，方法如下（完整代码在这里）： 1 # 将生成的车牌图片写入文件夹，对应的label写入label.txt 2 def genBatch(se…
【深度学习系列】车牌识别实践（一）
小伙伴们，终于到了实战部分了！今天给大家带来的项目是用PaddlePaddle进行车牌识别。车牌识别其实属于比较常见的图像识别的项目了，目前也属于比较成熟的应用，大多数老牌厂家能做到准确率99%+。传统的方法需要对图像进行多次预处理再用机器学习的分类算法进行分类识别，然而深度学习发展起来以后，我们可以通过用C…
【深度学习系列】迁移学习Transfer Learning
在前面的文章中，我们通常是拿到一个任务，譬如图像分类、识别等，搜集好数据后就开始直接用模型进行训练，但是现实情况中，由于设备的局限性、时间的紧迫性等导致我们无法从头开始训练，迭代一两百万次来收敛模型，所以这个时候迁移学习就派上用场了。 什么是迁移学习？ 迁移学习通俗来讲，就是运用已有的知识来学习新的知识，核心…
【深度学习系列】PaddlePaddle可视化之VisualDL
上篇文章我们讲了如何对模型进行可视化，用的keras手动绘图输出CNN训练的中途结果，本篇文章将讲述如何用PaddlePaddle新开源的VisualDL来进行可视化。在讲VisualDL之前，我们先了解一下常用的Tensorflow的可视化工具---Tensorboard。 Tensorflow的可视化 T…
【深度学习系列】CNN模型的可视化
前面几篇文章讲到了卷积神经网络CNN，但是对于它在每一层提取到的特征以及训练的过程可能还是不太明白，所以这节主要通过模型的可视化来神经网络在每一层中是如何训练的。我们知道，神经网络本身包含了一系列特征提取器，理想的feature map应该是稀疏的以及包含典型的局部信息。通过模型可视化能有一些直观的认识并帮助…
【深度学习系列】一起来参加百度 PaddlePaddle AI 大赛吧！
写这个系列写了两个月了，对paddlepaddle的使用越来越熟悉，不过一直没找到合适的应用场景。最近百度搞了个AI大赛，据说有四个赛题，现在是第一个----综艺节目精彩片段预测 ，大家可以去检测一下最近的学习成果啊！还有丰厚的奖金10W元软妹币哦！ 这是啥比赛？ 看比赛的要求，是希望参赛选手使用Paddle…
【深度学习系列】用Tensorflow实现GoogLeNet InceptionV2/V3/V4
上一篇文章我们引出了GoogLeNet InceptionV1的网络结构，这篇文章中我们会详细讲到Inception V2/V3/V4的发展历程以及它们的网络结构和亮点。 GoogLeNet Inception V2 GoogLeNet Inception V2在《Batch Normalization: A…
【深度学习系列】用Tensorflow实现经典CNN网络GoogLeNet
前面讲了LeNet、AlexNet和Vgg，这周来讲讲GoogLeNet。GoogLeNet是由google的Christian Szegedy等人在2014年的论文《Going Deeper with Convolutions》提出，其最大的亮点是提出一种叫Inception的结构，以此为基础构建GoogL…
【深度学习系列】用Tensorflow实现经典CNN网络Vgg
上周我们讲了经典CNN网络AlexNet对图像分类的效果，2014年，在AlexNet出来的两年后，牛津大学提出了Vgg网络，并在ILSVRC 2014中的classification项目的比赛中取得了第2名的成绩（第一名是GoogLeNet，也是同年提出的）。在论文《Very Deep Convolutio…
【深度学习系列】用Tensorflow实现经典CNN网络AlexNet
上周我们用PaddlePaddle和Tensorflow实现了图像分类，分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集。在上周的实验表现中，经过200次迭代后的LeNet-5的准确率为60%左右，这个结果差强人意，毕竟是二十年前写的网络结构，结果…
【深度学习系列】用Tensorflow进行图像分类
上个月发布了四篇文章，主要讲了深度学习中的“hello world”----mnist图像识别，以及卷积神经网络的原理详解，包括基本原理、自己手写CNN和paddlepaddle的源码解析。这篇主要跟大家讲讲如何用PaddlePaddle和Tensorflow做图像分类。所有程序都在我的github里，可以自…
【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络
上篇文章中我们讲解了卷积神经网络的基本原理，包括几个基本层的定义、运算规则等。本文主要写卷积神经网络如何进行一次完整的训练，包括前向传播和反向传播，并自己手写一个卷积神经网络。如果不了解基本原理的，可以先看看上篇文章：【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理 卷积神经网络的前向传播 首先我…
【深度学习系列】数据预处理
上篇文章讲了卷积神经网络的基本知识，本来这篇文章准备继续深入讲CNN的相关知识和手写CNN，但是有很多同学跟我发邮件或私信问我关于PaddlePaddle如何读取数据、做数据预处理相关的内容。网上看的很多教程都是几个常见的例子，数据集不需要自己准备，所以不需要关心，但是实际做项目的时候做数据预处理感觉一头雾水…
【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例，并对网络结构进行到了调整，提高了识别的精度。有的同学表示不是很理解原理，为什么传统的机器学习算法，简单的神经网络(如多层感知机)都可以识别手写数字，我们要采用卷积神经网络CNN来进行别呢？CNN到底是怎么识别的？用CNN有哪些优势呢？我们下面…
三个月教你从零入门深度学习
最新更新：【深度学习系列】PaddlePaddle之手写数字识别（10.26更新） 【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理（11.1更新） 【深度学习系列】PaddlePaddle之数据预处理（11.8更新） 【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络（11.22…
【深度学习系列】手写数字识别实战
上周在搜索关于深度学习分布式运行方式的资料时，无意间搜到了paddlepaddle，发现这个框架的分布式训练方案做的还挺不错的，想跟大家分享一下。不过呢，这块内容太复杂了，所以就简单的介绍一下paddlepaddle的第一个“hello word”程序----mnist手写数字识别。下一次再介绍用Paddle…
如何用卷积神经网络CNN识别手写数字集？
前几天用CNN识别手写数字集，后来看到kaggle上有一个比赛是识别手写数字集的，已经进行了一年多了，目前有1179个有效提交，最高的是100%，我做了一下，用keras做的，一开始用最简单的MLP，准确率只有98.19%，然后不断改进，现在是99.78%，然而我看到排名第一是100%，心碎 = =，于是又改…
用Tensorflow让神经网络自动创造音乐
#————————————————————————本文禁止转载，禁止用于各类讲座及ppt中，违者必究————————————————————————# 前几天看到一个有意思的分享，大意是讲如何用Tensorflow教神经网络自动创造音乐。听起来好好玩有木有！作为一个Coldplay死忠粉，第一想法就是自动生成…
一文弄懂神经网络中的反向传播法——BackPropagation
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一…
【深度学习Deep Learning】资料大全
最近在学深度学习相关的东西，在网上搜集到了一些不错的资料，现在汇总一下： Free Online Books Deep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learni…
KMeans与深度学习自编码AutoEncoder结合提高聚类效果
这几天在做用户画像，特征是用户的消费商品的消费金额，原始数据（部分）是这样的： 1 id goods_name goods_amount 2 1 男士手袋 1882.0 3 2 淑女装 2491.0 4 2 女士手袋 345.0 5 4 基础内衣 328.0 6 5 商务正装 4985.0 7 5 时尚 96…