首页
学习
活动
专区
工具
TVP
发布

JasonhavenDai

专栏作者
26
文章
38025
阅读量
24
订阅数
朴素贝叶斯练习实例
文本分类:过滤恶意留言 此处有两个改进的地方: (1)若有的类别没有出现,其概率就是0,会十分影响分类器的性能。所以采取各类别默认1次累加,总类别(两类)次数2,这样不影响相对大小。 (2)若很小是数字相乘,则结果会更小,再四舍五入存在误差,而且会造成下溢出。采取取log,乘法变为加法,并且相对大小趋势不变。 # -*- coding: utf-8 -*- """ Created on Sun Dec 10 13:51:56 2017 文本分类:应用过滤恶意留言 @author: jaso
JasonhavenDai
2018-04-11
8300
统计学习方法之感知机1.感知机模型2.学习策略3.学习算法4.源代码
1.感知机模型 在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化(最优化)。感知机的学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型。感知机由Rosenblatt于1957年提出的
JasonhavenDai
2018-04-11
8280
统计学习方法之概论1.基础概念2.统计学习三要素3.模型评估与模型选择、正则化和交叉验证4.分类问题、标注问题、回归问题5.学习小结
1.基础概念 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习。统计学习是数据驱动的学科,是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提。 统计学习的目的就是考虑学习什么样的模型和如何学习模型。 统计学习方法包括模型的假
JasonhavenDai
2018-04-11
1K0
统计学习方法之朴素贝叶斯1.概述2.基础知识3.基本方法4.参数估计5.简单实现
1.概述 朴素贝叶斯分类是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率统计知识进行分类,其分类原理就是利用贝叶斯公式根据某对象的先验概率计算出其后验概率(即该对象属于某一类的概率),然后选择具有最大后验概率的类作为该对象所属的类。 总的来说:当样本特征个数较多或者特征之间相关性较大时,朴素贝叶斯分类效率比不上决策树模型;当各特征相关性较小时,朴素贝叶斯分类性能最为良好。另外朴素贝叶斯的计算过程类条件概率等计算彼此是独立的,因此特别适于分布式计算。 朴素:特征条件独立 贝叶斯:基于
JasonhavenDai
2018-04-11
7680
学习使用Jieba1.Jieba2. 特点3.功能4.安装5.使用6.其他中文分词工具
1.Jieba 相信大多数知道NLP的人都知道什么是Jieba,但对于像我这样的新手而言,也仅限于知道而已,并没有学习过它,使用过它,打算用几天的时间来记录自己学习、使用Jieba的过程。 jieba是一款开源的中文分词工具 github ,“结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word s
JasonhavenDai
2018-04-11
1.2K0
自然语言处理构建文本向量空间1.百科2.源代码3.参考:
1.百科 TF-IDF 2.源代码 系统环境 python 3.6 scikit-learn==0.19.1 # utf-8 import os import math import numpy as np ''' 不使用NLTK和Scikits-Learn包,构建文本向量空间模型 reference: https://mp.weixin.qq.com/s/DisMF8frY2pkpGMfrWk4Wg ''' def load_doc_list(file): with open
JasonhavenDai
2018-04-11
5090
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档