机器学习AI算法工程-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器学习AI算法工程

机器学习，深度学习，大数据，公众号：datayx

专栏成员

1348

文章

2603154

阅读量

336

订阅数

常见面试算法：支持向量机

编程算法数据挖掘 https 网络安全

1、SVM - Support Vector Machine ，俗称支持向量机，是一种 supervised learning （监督学习）算法，属于 classification （分类）的范畴。

机器学习AI算法工程

2019-10-28

7030

如何识别“答非所问”？使用gensim进行文本相似度计算

NLP 服务数据挖掘腾讯云测试服务

在文本处理中，比如商品评论挖掘，有时需要了解每个评论分别和商品的描述之间的相似度，以此衡量评论的客观性。

机器学习AI算法工程

2019-10-28

2K0

特征工程(三):特征缩放,从词袋到 TF-IDF

其他的像是“magnificently,” “gleamed,” “intimidated,” “tentatively,” 和“reigned,”这些辅助奠定段落基调的词也是很好的选择。它们表示情绪，这对数据科学家来说可能是非常有价值的信息。所以，理想情况下，我们会倾向突出对有意义单词的表示。

机器学习AI算法工程

2019-10-28

1.4K0

房价预测可视化项目

ruby on rails api javascript 数据挖掘爬虫

对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站、写字楼、地铁站、商场等，一般的爬虫可以采用python脚本爬取,有很多成型的框架如scrapy，但是想要爬百度地图就必须遵循它的JavaScript Api，那么肯定需要自己写JavaScript脚本与百度API进行交互，问题是：这种交互下来的数据如何储存（直接写进文本or使用sql数据库？），如何自动化这种交互方式。

机器学习AI算法工程

2019-10-28

1.4K0

textCNN和lightGBM模型对景区口碑评价进行情感分析

数据挖掘 github https 机器学习神经网络

思路分类问题：通过分类器学习评论与情感值的复杂映射关系。回归问题：情感值实际是有先后等级关系，因此可以采用回归大法，直接预测。注意：分类可以采用softmax多分的手段，实测效果很差。因此，我最终还是采用了回归大法。

机器学习AI算法工程

2019-10-28

9640

xgboost融合模型：大学助学金精准资助预测(有数据)

大数据数据挖掘

你所看到的这份代码，是Data Castle数据挖掘公开赛《助学金精准预测》的冠军作品。本程序以大学生的行为数据以及历史获助学金情况作为训练数据集，对代码内的模型进行训练，后可根据新的大学生行为数据进行助学金获得情况预测。

机器学习AI算法工程

2019-10-28

9020

Twitter情感分析及其可视化

主要是基于twitter的内容有：实时热点话题检测情感分析结果可视化 Twitter数据挖掘平台的设计与实现实时热点话题挖掘 Twitter的数据量是十分庞大的。为了能够了解Twitter上人们在谈论些什么，我们希望能够有一种有效的方式来获取 Twitter 实时的热点话题。要求该方式：能处理流数据并且对模型进行周期性的更新。产生的主题与过去的主题有关联以便观测话题的演变。资源占用稳定，不随时间增大而以便保证效率和对新话题的敏感。 LDA模型首先想到的就是主题模型。 200

机器学习AI算法工程

2018-03-30

3.1K0

数据挖掘工程师：如何通过百度地图API抓取建筑物周边位置、房价信息

数据挖掘 api 爬虫 python

1.需求描述对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站、写字楼、地铁站、商场等，一般的爬虫可以采用python脚本爬取,有很多成型的框架如s

机器学习AI算法工程

2018-03-15

4K0

数据挖掘工程师的面试问题与答题思路

机器学习、大数据相关岗位根据业务的不同，岗位职责大概分为： 1、平台搭建类　　数据计算平台搭建，基础算法实现，当然，要求支持大样本量、高维度数据，所以可能还需要底层开发、并行计算、分布式计算等方面的知识； 2、算法研究类　　- 文本挖掘，如领域知识图谱构建、垃圾短信过滤等；　　- 推荐，广告推荐、APP 推荐、题目推荐、新闻推荐等；　　- 排序，搜索结果排序、广告排序等；　　- 广告投放效果分析；　　- 互联网信用评价；　　- 图像识别、理解。 3、数据挖掘类　　- 商业智能，如统计报

机器学习AI算法工程

2018-03-15

7490

数据挖掘入门与实战历史文章源代码打包下载

数据挖掘机器学习 python api

失效了。最近终于有时间整理下来。如何入门数据挖掘/机器学习/数据科学？我认为有几个大方面 1）学好python。现在几乎所以公司的数据都可以api给你，而python的数据处理能力强大且方便。

机器学习AI算法工程

2018-03-15

1.2K1

上海地铁一卡通刷卡数据挖掘

数据挖掘 https github 数据可视化

原文：www.kesci.com 源码地址 :https://github.com/icomingi/metro "游族杯"上海开放数据创新应用大赛本次大赛以城市交通为主题，运用交通管理部门和相关企

机器学习AI算法工程

2018-03-15

3.9K0

python数据挖掘：能不能找出吃货最佳住宿点？

python 数据挖掘

这次我爬出了哈尔滨市TOP285家好吃的店，包括烧烤的TOP，饺子的TOP，酱骨的TOP等等等等，在地图上显示，规划热点，再用聚类算法计算下能不能找出吃货最佳的住宿点，能够距离吃的各个地方行程最近，吃货们，准备好了吗？回复公众号"吃货" 获取更多源码。目的可视化美食热点，规划各类美食聚集点，规划行程。准备食材首先，我不对这次排行的可信度负责，我只是直接百度的top餐厅，里面的水分大家自己掂量，甩锅给哈尔滨美食最新榜出炉，史上最强300家美食满足你各种挑剔！ http://www.360doc.c

机器学习AI算法工程

2018-03-15

1K0

达观数据NLP技术的应用实践和案例分析

NLP 服务中文分词数据挖掘分类算法编程算法

达观文本挖掘系统整体方案达观文本挖掘系统整体方案包含了NLP处理的各个环节，从处理的文本粒度上来分，可以分为篇章级应用、短串级应用和词汇级应用。篇章级应用有六个方面，已经有成熟的产品支持企业在不同方面的文本挖掘需求：垃圾评论：精准识别广告、不文明用语及低质量文本。黄反识别：准确定位文本中所含涉黄、涉政及反动内容。标签提取：提取文本中的核心词语生成标签。文章分类：依据预设分类体系对文本进行自动归类。情感分析：准确分析用户透过文本表达出的情感倾向。文章主题模型：抽取出文章的隐

机器学习AI算法工程

2018-03-15

1.6K0

使用 R 语言从拉勾网看数据挖掘岗位现状

数据挖掘 https github

因为毕业后想从事数据挖掘相关的职业，但对该行业的需求不太了解，网上资料太多查看花时间且抓不住重点，所以爬取了拉勾网上 900 多条相关的岗位共计 30 万字的职位描述的数据进行了相关的分析。分析结果主要想回答下面两个问题： 1、目前数据挖掘岗位的现状？ 2、如果要从事数据挖掘行业，需要具备哪些技能？分析时间：2017 年 2 月工具：RStudio, Number, R (爬取和分析使用的都是 R ) 数据挖掘岗位现状分两块描述，第一块是基本的统计数据，包括数据挖掘在那个城市需求最旺盛，对应

机器学习AI算法工程

2018-03-14

9620

如何通过评论、点赞等行为信息进行数据挖掘？

用户对产品有很多行为，如何进行用户行为分析来量化用户对产品的喜好程度呢？比如豆瓣FM，用户可以点击“喜好”和"扔进垃圾箱"等；比如优酷视频，用户可以顶，踩，分享等。、我们如何通过这些行为信息分析用户对这首歌的喜好程度，对这个视频的评分是多少。下面实例分析用户对视频的喜好程度。说到视频，我们可以联想到各种用户行为，看了多久，是否评论，是顶是踩，是否分享？我们可以通过这些指标来评估用户对该视频的打分。比如用户看了多久打多少分，分享了打多少分等。还有就是不同的行为也反映了不同程度的喜好。我们可以通过

机器学习AI算法工程

2018-03-14

1.7K2

使用sklearn进行数据挖掘

数据挖掘自动化数据分析

目录 1 使用sklearn进行数据挖掘　　1.1 数据挖掘的步骤　　1.2 数据初貌　　1.3 关键技术 2 并行处理　　2.1 整体并行处理　　2.2 部分并行处理 3 流水线处理 4 自动化调参 5 持久化 6 回顾 7 总结 ---- 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤　　数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在使用sklearn做特征工程中，

机器学习AI算法工程

2018-03-14

1.2K0

支持中文文本数据挖掘的开源项目PyMining

数据挖掘开源编程算法机器学习决策树

最近一个月，过年的时候天天在家里呆着，年后公司的事情也不断，有一段时间没有更新博客了。PyMining是我最近一段时间构思的一个项目，虽然目前看来比较微型。该项目主要是针对中文文本的数据挖掘算法的实验与应用。从项目的目标来说，希望使用者可以很方便的使用现有的数据挖掘、机器学习算法与添加需要的算法。项目概述项目目前主要关注中文文本的数据挖掘算法。由于每种数据挖掘算法的局限性都很大，就拿分类算法一样，决策树、朴素贝叶斯这两种算法都有着自己的特性，只能在某一种类型的类型的数据上应用比较良好，比如朴素贝叶斯，

机器学习AI算法工程

2018-03-14

1.4K0

数据可视化的秘密

数据可视化数据挖掘大数据

研究数据的方法有很多，比如利用统计方法，计算数据的平均值和标准差；再比如使用模型，拟合数据。数据通常是大量的，人脑难以直接把握其中的信息。研究数据的最终目的是减小海量数据的信息量，将数据中的信息客观的展示出来，并最终整理成简单的，人脑可以掌握的知识。数据可视化图形是直观呈现数据的直接方法。然而，将大量数据在同一个图表中画出来并不容易。早期的测绘、天气数据都需要长时间的手工绘制。随着计算机绘图功能的开发，手工绘画已经完全被自动绘图程序取代。问题的核心转移为，要以怎样的方式呈现数据，以便数据中的信息能自然的

机器学习AI算法工程

2018-03-14

1.2K0

数据挖掘知识重点（整理版）

数据挖掘数据库决策树

1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识 3. web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型 6. 粗

机器学习AI算法工程

2018-03-14

1.4K0

数据挖掘实战：PCA算法

数据挖掘编程算法 matlab

PCA 算法也叫主成分分析（principal components analysis），主要是用于数据降维的。为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如：一个关于汽车的样本数据，一个特征是”km/h的最大速度特征“，另一个是”英里每小时“的最大速度特征，很显然这两个特征具有很强的相关性拿到一个样本，特征非常多，样本缺很少，这样的数据用回归去你和将非常困难，很容易导致过度拟合 PCA算法就是用来解决这种问题的，其核心思想就是将 n 维特征映射到 k 维上

机器学习AI算法工程

2018-03-14

1.2K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态