腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器学习AI算法工程

机器学习，深度学习，大数据，公众号：datayx

专栏作者

1328

文章

2437004

阅读量

326

订阅数

面试整理：关于代价函数，正则化

注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，对代价函数的理解也在不断的加深，在此做一个小结。 1. 什么是代价函数？ ---- 假设有训练样本(x, y)，模型为h，参数为θ。h(θ) = θTx（θT表示θ的转置）。（1）概况来讲，任何能够衡量模型预测出来的值h(θ)与真实值y之间

机器学习AI算法工程

2018-06-07

1.5K0

卷积神经网络(CNN)融合PMF模型构建推荐系统

深度学习在推荐系统上的运用，具体用了卷积神经网络（CNN）提取文本特征，融合PMF模型进行推荐。具体论文见http://dm.postech.ac.kr/~cartopy/ConvMF/ 用户对项目评分数据的稀疏是推荐系统质量恶化的主要因素之一。为了处理稀疏性问题，已经提出了几种推荐技术，其另外考虑辅助信息以提高评估预测的准确性。特别是，当评级数据稀少时，基于文档建模的方法通过额外使用文本数据（如评论，摘要或概要）提高了准确性。然而，由于单词模型的固有局限性，它们难以有效地利用文档的上下文信息，这导致对文

机器学习AI算法工程

2018-04-17

1.5K0

如何上手深度学习中的图像领域？有这个资源库就够了

本页面收集了大量深度学习项目图像处理领域的代码链接。包括图像识别，图像生成，看图说话等等方向的代码，以便大家查阅使用。图像生成绘画风格到图片的转换：Neural Style https://lin

机器学习AI算法工程

2018-04-17

1.4K0

算法工程师的面试难不难，如何准备？-图像处理/CV/ML/DL到HR面总结

把一些相关的知识点总结一下。这个比长，感兴趣的挑自己相关的那部分看。都是一些基础知识，面相关岗位问到的比较多。（回答时对算法要有一定的见解，最好不要照书上的背）（一）机器学习方面 SVM 1、支撑平面---和支持向量相交的平面；；；分割平面---支撑平面中间的平面（最优分类平面） 2、 SVM不是定义损失，而是定义支持向量之间的距离à目标函数看PPT13~17页 3、正则化参数对支持向量数的影响 LR 1、 LR的形式：h(x)=g(f(x))；其中x为原

机器学习AI算法工程

2018-03-15

2.3K0

你看到的最直白清晰的，神经网络中的反向传播法讲解

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。　　

机器学习AI算法工程

2018-03-15

9750

除了写烂的手写数据分类，你会不会做自定义图像数据集的识别？！

网上看的很多教程都是几个常见的例子，从内置模块或在线download数据集，要么是iris，要么是MNIST手写识别数字，或是UCI ，数据集不需要自己准备，所以不关心如何读取数据、做数据预处理相关的内容，但是实际做项目的时候做数据预处理感觉一头雾水。本文从图片下载，到生成数据集列表，建立模型，最后到预测，将整个图片分类的实操流程详细讲解。代码基于百度开源的深度学习框架 paddlepaddle,该框架安装及其简单： pip install paddlepaddle mac版安装后使用如果报错： 1

机器学习AI算法工程

2018-03-15

1.3K0

深度学习、机器学习图像/人脸/字幕/自动驾驶数据集(Dataset)汇总

1. CIFAR-10 & CIFAR-100 CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。下载地址 https://www.cs.toronto.edu/~kriz/cifar.html （类别：airplane，automobile, bird, cat, deer, dog, frog, horse, ship, truck）（作者：Alex Krizhevsky, Vinod Nair, and Geoffr

机器学习AI算法工程

2018-03-15

1.5K0

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

我们一般用深度学习做图片分类的入门教材都是MNIST或者CIFAR-10，因为数据都是别人准备好的，有的甚至是一个函数就把所有数据都load进来了，所以跑起来都很简单，但是跑完了，好像自己还没掌握图片分类的完整流程，因为他们没有经历数据处理的阶段，所以谈不上走过一遍深度学习的分类实现过程。今天我想给大家分享两个比较贴近实际的分类项目，从数据分析和处理说起，以Keras为工具，彻底掌握图像分类任务。这两个分类项目就是：交通标志分类和票据分类。交通标志分类在无人驾驶或者与交通相关项目都有应用，而票据分类任务

机器学习AI算法工程

2018-03-15

1.4K0

深度学习大神都推荐入门必须读完这9篇论文

Introduction 卷积神经网络CNN，虽然它听起来就像是生物学、数学和计算机的奇怪混杂产物，但在近些年的机器视觉领域，它是最具影响力的创新结果。随着Alex Krizhevsky开始使用神经网络，将分类错误率由26%降到15%并赢得2012年度ImageNet竞赛（相当于机器视觉界的奥林匹克）时，它就开始声名大噪了。从那时起，一票公司开始在它们的核心服务中使用深度学习技术。例如Facebook用它进行自动的图像标签，google用它做照片检索，amazon用它做产品推荐，Pin

机器学习AI算法工程

2018-03-15

1.2K0

使用深度学习进行语言翻译：神经网络和seq2seq为何效果非凡？

我们都知道而且喜欢谷歌翻译（Google Translate），这个网站可以几乎实时地在 100 多种不同的人类语言之间互相翻译，就好像是一种魔法。谷歌翻译背后的技术被称为机器翻译（Machine

机器学习AI算法工程

2018-03-15

1.6K0

深度学习的GPU：深度学习中使用GPU的经验和建议

深度学习是一个计算需求强烈的领域，您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下，这可能看起来像是等待实验结束的几个月，或者运行一天或更长时间的实验，只是看到所选参数已关闭。有了一个好的，坚实的GPU，人们可以快速迭代深度学习网络，并在几天而不是几个月，几小时而不是几天，几分钟而不是几小时的时间内运行实验。因此，在购买GPU时做出正确的选择至关重要。那么你如何选择适合你的GPU呢？这个博客文章将深入探讨这个问题，并会借给你的建议，这将有助于你做出适合你的选择。拥有高速GPU是开始学

机器学习AI算法工程

2018-03-15

2.7K0

LSTM模型预测效果惊人的好，深度学习做股票预测靠谱吗？

给你讲个段子！真实的！我去一家量化交易公司实习，一次meeting中，我和老总还有一个资深大佬谈机器学习在股票和期货里面的应用。我：LSTM在时间序列上应用的效果比较好，我们可以尝试把LSTM应用在股票预测上。此时，大佬在阴笑，老总默不作声... 我：你为啥笑大佬: 不work啊！我：为什么不work？！这时老总也在旁边强掩笑容,大佬终于忍不住说了，有两个原因，第一个是你如何保证你的因子有效？老总就补充到：对啊，你的模型很可能garbage in garbage o

机器学习AI算法工程

2018-03-15

3.2K0

Tensorflow：基于LSTM轻松生成各种古诗

RNN不像传统的神经网络-它们的输出输出是固定的，而RNN允许我们输入输出向量序列。RNN是为了对序列数据进行建模而产生的。样本序列性：样本间存在顺序关系，每个样本和它之前的样本存在关联。比如说，在文本中，一个词和它前面的词是有关联的；在气象数据中，一天的气温和前几天的气温是有关联的。例如本帖要使用RNN生成古诗，你给它输入一堆古诗词，它会学着生成和前面相关联的字词。如果你给它输入一堆姓名，它会学着生成姓名；给它输入一堆古典乐/歌词，它会学着生成古典乐/歌词，甚至可以给它输入源代码。关于RNN： T

机器学习AI算法工程

2018-03-15

1.9K0

利用OpenCV的人脸检测给头像带上圣诞帽

我们来看下效果原图：效果：原理其实很简单：采用一张圣诞帽的png图像作为素材，利用png图像背景是透明的，贴在背景图片上就是戴帽子的效果了。人脸检测的目的主要是为了确定贴帽子的位

机器学习AI算法工程

2018-03-15

9460

阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享

一、 LSTM网络原理要点介绍（1）LSTM网络用来处理带“序列”(sequence)性质的数据，比如时间序列的数据，像每天的股价走势情况，机械振动信号的时域波形，以及类似于自然语言这种本身带有顺序性质的由有序单词组合的数据。（2）LSTM本身不是一个独立存在的网络结构，只是整个神经网络的一部分，即由LSTM结构取代原始网络中的隐层单元部分。（3）LSTM网络具有“记忆性”。其原因在于不同“时间点”之间的网络存在连接，而不是单个时间点处的网络存在前馈或者反馈。如下图2中的LSTM单元（隐层单

机器学习AI算法工程

2018-03-15

1.2K0

python常用可视化技巧

我们在对数据进行预处理时，常常需要对数据做一些可视化的工作，以便能更清晰的认识数据内部的规律。这里我们以kaggle案例泰坦尼克问题的数据做一些常用的可视化的工作。首先看下这个数据集： imp

机器学习AI算法工程

2018-03-15

2.5K0

tensorflow LSTM + CTC实现端到端OCR

本文github源码地址：在公众号 datadw 里回复 OCR 即可获取。最近在做OCR相关的东西，关于OCR真的是有悠久了历史了，最开始用tesseract，然而效果总是不理想，其中字符分割真的是个博大精深的问题，那么多年那么多算法，然而应用到实际总是有诸多问题。比如说非等间距字体的分割，汉字的分割，有光照阴影的图片的字体分割等等，针对特定的问题，特定的算法能有不错的效果，但也仅限于特定问题，很难有一些通用的结果。于是看了Xlvector的博客之后，发现可以端到端来实现OCR，他是基于mxn

机器学习AI算法工程

2018-03-15

4.2K1

tensorflow系列笔记：流程，概念和代码解析

tensorflow是google在2015年开源的深度学习框架，可以很方便的检验算法效果。这两天看了看官方的tutorial，极客学院的文档， http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/introduction.html 以及综合tensorflow的源码，把自己的心得整理了一下，作为自己的备忘录。系列 1： http://blog.csdn.net/u014595019/article/details/52677412

机器学习AI算法工程

2018-03-15

1.2K0

Tensorflow深度学习LSTM实现的小说撰写预测damo

最近，在研究深度学习方面的知识，结合Tensorflow，完成了基于lstm的小说预测程序demo。 lstm是改进的RNN，具有长期记忆功能，相对于RNN,增加了多个门来控制输入与输出。原理方面的知识网上很多，在此，我只是将我短暂学习的tensorflow写一个预测小说的demo,如果有错误，还望大家指出。 1、将小说进行分词，去除空格，建立词汇表与id的字典，生成初始输入模型的x与y def readfile(file_path): f = codecs.open(file_path, 'r',

机器学习AI算法工程

2018-03-15

1.4K0

基于Xgboost + LR + Keras 建模评估用户信用状态

项目背景拍拍贷“魔镜风控系统”基于400多个数据维度来对当前用户的信用状态进行评估，通过历史数据每个借款人的性别、年龄、籍贯、学历信息、通讯方式、网站登录信息、第三方时间信息等用户信息以及对应的分类标签，在此基础上结合新发标的用户信息，得到用户六个月内逾期率的预测，为金融平台提供关键的决策支持。数据格式数据下载–点这里这里面包含三期数据，每期数据内容和格式相同，这里面包括两部分信息：一部分是Master PPD_dat_1.csv PPD_dat_2.csv PPD_dat_

机器学习AI算法工程

2018-03-15

1.8K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态