腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据饕餮
专栏成员
举报
227
文章
220958
阅读量
60
订阅数
订阅专栏
申请加入专栏
全部文章(227)
大数据(28)
数据库(27)
存储(19)
python(17)
hadoop(17)
数据分析(17)
知识图谱(12)
编程算法(12)
hbase(11)
http(10)
模型(10)
linux(9)
开源(9)
ide(8)
部署(8)
人工智能(7)
企业(7)
机器人(7)
aigc(7)
深度学习(6)
爬虫(6)
数据处理(6)
windows(6)
人脸识别(5)
数据挖掘(5)
java(5)
xml(5)
内核(5)
入门(5)
node.js(4)
eclipse(4)
github(4)
mapreduce(4)
分布式(4)
架构设计(4)
产品设计(4)
配置(4)
数据仓库(4)
NLP 服务(3)
机器学习(3)
html(3)
git(3)
api(3)
中文分词(3)
unix(3)
文件存储(3)
大数据处理套件 TBDS(3)
电商(3)
数据安全(3)
jvm(3)
hive(3)
数据可视化(3)
https(3)
系统架构(3)
prompt(3)
sudo(3)
视频(3)
音频(3)
其他(2)
c++(2)
.net(2)
云数据库 Redis(2)
打包(2)
神经网络(2)
TDSQL MySQL 版(2)
网络安全(2)
jdk(2)
zookeeper(2)
uml(2)
安全(2)
chatgpt(2)
etl(2)
笔记(2)
编码(2)
博客(2)
产品(2)
产品经理(2)
程序员(2)
工具(2)
工作流(2)
函数(2)
互联网(2)
基础(2)
开源框架(2)
数据采集(2)
网络(2)
异常(2)
费用中心(1)
官方文档(1)
腾讯云学堂(1)
php(1)
bootstrap(1)
json(1)
android(1)
云数据库 SQL Server(1)
oracle(1)
nosql(1)
flask(1)
tomcat(1)
搜索引擎(1)
lucene/solr(1)
apache(1)
bash 指令(1)
tornado(1)
云函数(1)
存储网关(1)
云直播(1)
访问管理(1)
云数据库 MongoDB(1)
人脸核身(1)
弹性 MapReduce(1)
云推荐引擎(1)
mongodb(1)
图像处理(1)
人脸支付(1)
网站(1)
数据备份(1)
混合云存储(1)
金融(1)
渲染(1)
url 安全(1)
yarn(1)
互联网金融(1)
shell(1)
正则表达式(1)
面向对象编程(1)
opencv(1)
unity(1)
ftp(1)
keras(1)
tcp/ip(1)
scrapy(1)
rpc(1)
kernel(1)
socket编程(1)
anaconda(1)
微信(1)
物联网(1)
数据结构(1)
信息流(1)
云计算(1)
sdk(1)
es(1)
项目管理(1)
app(1)
apt(1)
audio(1)
bi(1)
block(1)
colors(1)
conda(1)
data(1)
db(1)
diagram(1)
dimensions(1)
documentation(1)
ffmpeg(1)
gan(1)
it(1)
lifecycle(1)
matrix(1)
max(1)
min(1)
model(1)
monitor(1)
na(1)
openai(1)
package(1)
patch(1)
path(1)
pip(1)
process(1)
pypi(1)
random(1)
reference(1)
return(1)
root(1)
server(1)
status(1)
sum(1)
table(1)
word(1)
编译(1)
测试(1)
代理(1)
翻译(1)
服务器(1)
管理(1)
规范化(1)
解决方案(1)
接口(1)
镜像(1)
开发(1)
客户端(1)
框架(1)
流量(1)
前端(1)
权限(1)
日志(1)
软件(1)
实践(1)
实时计算(1)
数据(1)
算法(1)
系统(1)
系统设计(1)
线程(1)
隐私(1)
源码(1)
终端(1)
主机(1)
字符串(1)
搜索文章
搜索
搜索
关闭
R语言之中文分词:实例
数据分析
大数据处理套件 TBDS
数据处理
#调入分词的库 library("rJava") library("Rwordseg") #调入绘制词云的库 library("RColorBrewer") library("wordcloud") #读入数据(特别注意,read.csv竟然可以读取txt的文本) myfile<-read.csv(file.choose(),header=FALSE) #预处理,这步可以将读入的文本转换为可以分词的字符,没有这步不能分词 myfile.res <- myfile[myfile!=" "] #分词,并将分词结果转换为向量 myfile.words <- unlist(lapply(X = myfile.res,FUN = segmentCN)) #剔除URL等各种不需要的字符,还需要删除什么特殊的字符可以依样画葫芦在下面增加gsub的语句 myfile.words <- gsub(pattern="http:[a-zA-Z\\/\\.0-9]+","",myfile.words) myfile.words <- gsub("\n","",myfile.words) myfile.words <- gsub(" ","",myfile.words) #去掉停用词 data_stw=read.table(file=file.choose(),colClasses="character") stopwords_CN=c(NULL) for(i in 1:dim(data_stw)[1]){ stopwords_CN=c(stopwords_CN,data_stw[i,1]) } for(j in 1:length(stopwords_CN)){ myfile.words <- subset(myfile.words,myfile.words!=stopwords_CN[j]) } #过滤掉1个字的词 myfile.words <- subset(myfile.words, nchar(as.character(myfile.words))>1) #统计词频 myfile.freq <- table(unlist(myfile.words)) myfile.freq <- rev(sort(myfile.freq)) #myfile.freq <- data.frame(word=names(myfile.freq),freq=myfile.freq); #按词频过滤词,过滤掉只出现过一次的词,这里可以根据需要调整过滤的词频数 #特别提示:此处注意myfile.freq$Freq大小写 myfile.freq2=subset(myfile.freq, myfile.freq$Freq>=10) #绘制词云 #设置一个颜色系: mycolors <- brewer.pal(8,"Dark2") #设置字体 windowsFonts(myFont=windowsFont("微软雅黑")) #画图 wordcloud(myfile.freq2$word,myfile.freq2$Freq,min.freq=10,max.words=Inf,random.order=FALSE, random.color=FALSE,colors=mycolors,family="myFont")
数据饕餮
2019-01-14
807
0
数据产品设计专题(4)- 程序化交易业务架构模型
数据分析
客户端
流量
一、程序化交易业务领域模型 二、核心业务内容解读 (1)一个核心业务流程:流量交易流程; (2)二类用户服务客户端;媒体主服务客户端+广告主服务客户端; (3)三类业务平台;需求方平台+流量交易平台+供应方平台; (4)四类参与者角色:用户+媒体主+运营商+广告主; 三、数据运营体系 (1)数据治理服务平台:数据整合+数据价值链打通; (2)数据服务:数据分析服务+运营决策支持;
数据饕餮
2019-01-14
538
0
数据仓库专题(9)-缓慢变化维处理技术
数据分析
在一个零售业数据仓库中,事实表保存着各销售人员的销售记录,某天一个销售人员从北京分公司调到上海分公司了,那么如何来保存这个变化呢?也就是说销售人员维度要怎么恰当的处理这一变化。
数据饕餮
2019-01-14
624
0
数据仓库专题(9)-基本概念和定义(整理自互联网)
数据分析
一个星型模型对应一个分析主题,它由一个事实表和一组维表组成。其中事实表是星型模型的核心,由分析变量和分析维度代理键组成,分析变量存放分析事实数 据,分析维度代理键用于连接维表。维表是星型模型的外围,存放分析维度数据,由维的代理键、维的层次属性、维的描述信息组成。
数据饕餮
2019-01-14
624
0
R语言学习路线图-转帖
数据挖掘
编程算法
金融
数据分析
本文分为6个部分,分别介绍初级入门,高级入门,绘图与可视化,计量经济学,时间序列分析,金融等。
数据饕餮
2019-01-14
561
0
胖子哥的大数据之路(16):数据采集标准-我们到底需要什么样的数据?
数据分析
刚刚有一个好友向我咨询数据相关的问题,朋友目前是IT设备生产厂商的人。从好友的描述中,提到对用户特征获取的需求。包括:人的兴趣爱好、关注焦点等,在用户的描述中其实只是直觉性的列决出了几点,然后基于此作相应的后续产品或服务推荐。朋友要表达的内容,在我理解,其实是想获取用户的完整的画像信息,只是她并不清楚,完整的用户标签体系应该是个什么样子而已,数据标签体系作为下一个系列,我们单独探讨。在此,我们讨论的问题聚焦到,要想实现业务目标,我们到底需要什么采集(此处不区分自有,还是外部采买)什么样的用户数据,才能支撑我们的业务目标,即数据采集标准的问题。
数据饕餮
2019-01-14
383
0
数据挖掘标准规范之CRISP-DM基础
编程算法
数据挖掘
数据分析
每每提到数据挖掘,总有些人上来就是ETL、是算法、是数学模型,作为搞工程实施的我而言,很是头疼。其实作为数据挖掘的而言,算法只是其实现手段、是工具和实现手段而已,我们不是在创造算法(国外职业搞研究的除外),我们是在使用算法而已,换句话说我们是算法的工程化实践者。数据挖掘非今日之物,大数据挖掘也不是一个孤立的概念,其实质还是采用传统的数据挖掘的方法,只是其实现工具发生了变化而已,本质的东西还在。引入发布近20年前的CRISP-DM数据挖掘标准规范模型,供大家共享,希望能有人喜欢。
数据饕餮
2019-01-14
539
0
数据仓库专题(8)-维度属性选择之维护历史是否应该保留
数据分析
数据仓库建模过程中,针对事务型事实表设计,经常会遇到维度属性选择的问题,比如客户维度,在操作型系统中,为了跟踪客户状态的变化,往往会附加客户记录的四个属性:
数据饕餮
2019-01-14
526
0
胖子哥的大数据之路(一)-数据仓库也需要大数据
存储
大数据
数据库
数据分析
大数据传统企业实施,其路漫漫,绝不会如昙花一现,探索大数据在传统行业的实施之路,寻找一条适合传统行业的企业大数据实施方法体系,是我执着坚守的信念,大数据是一种信仰,吾将上下而求索。记下项目中的点滴,算是日志,自勉。
数据饕餮
2019-01-14
668
0
断篇-金融大数据最佳实践总结篇
大数据
数据挖掘
数据分析
企业
版权声明:版权所有,作者:张子良,转载请注明出处。 https://blog.csdn.net/zhangziliang09/article/details/79282807
数据饕餮
2019-01-14
516
0
NBA篮球图文直播室之数据排行榜设计
数据分析
球员数据排行榜,实时显示两队各项技术参数最高的球员信息,技术参数包括得分、篮板、助攻、抢断、盖帽、出场时间、失误和犯规次数。如下图所示:
数据饕餮
2019-01-14
925
0
胖子哥的大数据之路(14):数据价值链模型
数据分析
Knowledge is also defined using taxonomy, with levels describing data, information, knowledge and wisdom. Briefly, data is defined as a fact. Information is a fact with some context. Knowledge is an understanding gained from a pattern that exists with related information. Wisdom combines an understanding of all of the above with some additional exploration to derive a cause and effect relationship.
数据饕餮
2019-01-14
715
0
胖子哥的大数据之路(13)破题,从数据整合开始
大数据
微信
数据分析
这是关于互联网上一篇文章的读后感,原文标题《大数据成变量,BAT入口生态或生变局》。读这篇文章既有醍醐灌顶之顿悟,亦有如履薄冰之恐惧,阿里好强,动作好快。其实,最近一直在思考当代企业信息化架构EA框架的调整,基本的一个思路是数据上提,与业务架构平齐,不再只是作为业务系统的功能支撑,而是自成一片天地,独立运营。至于数据化运营与现有业务的关系,则可一分为二:其一、可进,进可开疆辟土,基于数据衍生新的业务形态;其二、可退,退而求其次,辅助优化现有业务,从简单粗暴,到整合 营销。变现空间,天高地阔。其文有一言,直戮我心:“破题,或从数据整合开始”。故改之,原文转发如下:
数据饕餮
2019-01-14
564
0
数据仓库专题(7)-维度建模11大基本原则
数据分析
数据仓库存储逻辑模型设计,需要遵循一定的设计原则。遵循这些原则进行维度建模可以保证数据粒度合理,模型灵活,能够适应未来的信息资源,违反这些原则你将会把用户弄糊涂,并且会遇到数据仓库障碍。本文适用于多维建模,不使用于3NF建模。
数据饕餮
2019-01-14
1.8K
0
大数据应用电子商务之精准推广
大数据
数据分析
经常网购的朋友最近是否注意到,上一次京东,浏览过什么产品,当你打开其他的有京东推荐链接的网页时,总是能够看到来自京东的推荐呢?而推荐的产品恰恰是你最近在关注的。我前一段时间在京东看过移动硬盘,这不当我浏览开源社区的时候,推荐信息就来了:
数据饕餮
2019-01-14
762
0
断篇-大数据金融行业企业应用几点思考
大数据
数据挖掘
数据分析
企业
任何数据分析或者挖掘的项目都不会直接产生经济价值和意义,分析出的数据结果既不能给企业直接带来一个客户,也不能帮助企业卖出一件产品。数据分析的价值体现在于业务部门根据分析结果制定相关的经营策略并贯彻执行。
数据饕餮
2019-01-14
437
0
大数据应用之双色球算奖平台总体设计大纲篇一
编程算法
数据分析
数据处理
开源
存储
福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成为继12306之后,又一个站在风口浪尖的悲催儿。黑幕说,红会说,各种说甚嚣尘上。IT人只做技术事,至于类似美美卡里究竟几个零,一套内衣值几多银子的问题,还是交给干爹们去撕扯吧。当然福彩中心是不是红会,还是交给时间来证明吧。
数据饕餮
2019-01-14
1.2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档