开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >基于R的随机森林过度拟合文本分类

问基于R的随机森林过度拟合文本分类
EN

Stack Overflow用户

提问于 2019-12-06 02:23:29

回答 1查看 306关注 0票数 0

我已经训练过模型，而经过训练的模型的准确性就会出现在99.9%上。但当我拟合模型进行测试时，数据的准确性仅为59.5%。我正在进行文本分类，并使用随机森林。

我有几个问题。

我能接受这个模型吗? overfitting?

How的情况是

，我能摆脱过度适应吗？

confusionMatrix(PD3，train$Label )混淆矩阵与统计

      Reference

预测高、低、中、高116 0 0 0低0 120 1介质0 1 233

总体统计

           Accuracy : 0.9958          
             95% CI : (0.9847, 0.9995)
No Information Rate : 0.4968          
P-Value [Acc > NIR] : < 2.2e-16       

              Kappa : 0.9932

麦克尼马尔试验P值: NA

按类别划分的统计数字：

 Class: HIGH Class: LOW Class: MEDIUM

Sensitivity               1.0000     0.9917        0.9957
Specificity               1.0000     0.9971        0.9958
Pos Pred Value            1.0000     0.9917        0.9957
Neg Pred Value            1.0000     0.9971        0.9958
Prevalence                0.2463     0.2569        0.4968
Detection Rate            0.2463     0.2548        0.4947
Detection Prevalence      0.2463     0.2569        0.4968
Balanced Accuracy         1.0000     0.9944        0.9958

confusionMatrix(PD4，test$Label )混淆矩阵和统计参考

Prediction HIGH LOW MEDIUM
    HIGH     24   0      5
    LOW       2  10     10
    MEDIUM   23  41     85

总体统计

               Accuracy : 0.595           
                 95% CI : (0.5235, 0.6637)
    No Information Rate : 0.5             
    P-Value [Acc > NIR] : 0.004361        

                  Kappa : 0.2818

麦克尼马尔试验P-值: 4.28e-07

按类别划分的统计数字：

                     Class: HIGH Class: LOW Class: MEDIUM
Sensitivity               0.4898     0.1961        0.8500
Specificity               0.9669     0.9195        0.3600
Pos Pred Value            0.8276     0.4545        0.5705
Neg Pred Value            0.8538     0.7697        0.7059
Prevalence                0.2450     0.2550        0.5000
Detection Rate            0.1200     0.0500        0.4250
Detection Prevalence      0.1450     0.1100        0.7450
Balanced Accuracy         0.7283     0.5578        0.6050

multiclass-classification

腾讯云会员中心

加入腾讯云会员，每月可领会员专属优惠券；会员云产品免费体验；云产品会员专享价；会员签到抽奖…

EN

回答 1

Stack Overflow用户

发布于 2019-12-06 02:49:30

我认为这是一个过度适应的明显例子

在处理文本分类时，通常在应用任何模型之前应用大量数据清理是很好的做法，因为您有大量的变量。你把它修剪好了，把它干了，然后去掉了，停止了词句吗？此外，我建议您使用交叉验证来选择您的模型。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59211237

复制

相关文章

❤️Android 安装包体积优化 ❤️

实际开发应用时，包体积优化是必不可少的。毕竟手机内存有限，如果包体积过大很多用户会直接放弃(以前手机内存很小的时候，这个真的很重要)，现在由于手机内存大了(512G已经挡不住了)，现在的用户更关注流畅度和美观作为参考，但是该有的优化还是要优化的，毕竟要尽善尽美嘛。上一篇文章我们了解了安装包的结构。

Android 帅次

2021/10/21

1.2K0

❤️Android 安装包体积优化 ❤️

aop实现对方法参数的获取

aop 反射监控日志注解

场景: 需要对入参的数据进行校验,添加相关逻辑或日志监控等实现方式: AOP自定义注解+反射代码: MyParam /** * 描述：注解 * * @author Administrator * @since 2022/7/11 */ @Target(value = {ElementType.METHOD, ElementType.TYPE, ElementType.FIELD, ElementType.PARAMETER}) @Retention(RetentionPolicy

用户4235284

2022/12/03

5360

dotnet 找不到 PostAsJsonAsync 方法

在网络编程可以使用 PostAsJsonAsync 这个方便的方法将一个对象作为 json 推送到服务器，这个方法是一个扩展方法，在之前的框架，可以在 System.Net.Http.dll 找到这个好用的扩展方法，但是在 4.5 的时候就被移除了。本文告诉大家如何安装这个扩展方法

林德熙

2019/09/27

2.4K0

PHP实现动态获取函数参数的方法示例

php 编程算法

PHP 在用户自定义函数中支持可变数量的参数列表。其实很简单，只需使用 func_num_args() ， func_get_arg() ，和 func_get_args() 函数即可。

用户8660814

2021/07/13

1.3K0

ThinkPHP类似AOP思想的参数验证的实现方法

思路讲解：不管是在开发 API 还是做后台项目的时候，后端永远不要相信前端传输的参数，通常要做的是验证参数的合法性和安全性。那么在实际项目开发的时候，怎么简便的验证参数呢。TP 提供了好几种参数验证的方式，比如验证器，独立验证，又或者在继承 Controller 基类的情况下使用 validate 方法。相比而言，验证器还是最佳选择。一个控制器有多个方法，也就表示有多个请求，也就表示有多个场景。一个项目不止一个控制器，那就表示不止需要建立一个验证器。面向对象的思想，就需要我们建立一个基类验证器，然后让子类继承就行了。那么怎么实现参数验证呢，下面我就介绍下类似 AOP 思想的参数验证的实现。

用户8664418

2021/07/14

5640

找不到BufferedImage这个Class的解决方法

java linux jdk grep

找不到BufferedImage这个Class的解决方法环境： [1]RedHat AS5 64位 [2]WebSphere6.0 32位版本正文：发现原来在RedHat AS4 32位系统上跑的程序不能在64位RedHat AS5中运行。系统报java.awt.image.bufferedImage这个Class找不到。在Sun JDK 1.5平台中，该类在rt.jar包中，但是在IBM JDK1.4.2平台中该类在graphics.jar包中。在Web

xiangzhihong

2018/01/29

2.1K0

Gradle多渠道打包(动态设定App名称，应用图标，替换常量，更改包名，变更渠道)

最近有个需求一次要打包9个类型的App，而且常量和String.xml都有变量。虽然之前也是一直存在变量，但是每次也仅仅只打包一个。这让我每次改变量，打包9个。要是以后每次都打包9次，我得疯了。根据之前的了解，gradle 应该是可以解决这个问题的。所以就仔细研究了一番。

用户2802329

2018/08/07

1.8K0

Gradle多渠道打包(动态设定App名称，应用图标，替换常量，更改包名，变更渠道)

Cengtos找不到partprobe命令的解决方法

今天在Centos上进行硬盘分区的时候，分区完成时候需要命令partprobe指令来通知一下内核我刚才进行了系统分区，但是执行的时候发现Centos最小化安装之后没有这个命令，

张琳兮

2018/09/10

1.8K0

Array对象的方法实现（5）----Array.prototype.includes（实现常规参数的功能）

编程算法腾讯云测试服务

includes() 方法用来判断一个数组是否包含一个指定的值，如果是，酌情返回 true或 false。语法：arr.includes(searchElement) 或 arr.includes(searchElement, fromIndex) 注意：1，返回值为true（找到指定值），false（未找到指定值）。2，不改变原数组

Rattenking

2021/01/29

6700

Array对象的方法实现（6）----Array.prototype.indexOf（实现常规参数的功能）

腾讯云测试服务编程算法

indexOf()方法返回在数组中可以找到一个给定元素的第一个索引，如果不存在，则返回-1。语法：arr.indexOf(searchElement[, fromIndex = 0]) 注意：1，返回找到的索引或者不存在的-1。2，不改变原数组

Rattenking

2021/01/29

5160

dotnet 字典类找不到 TryAdd 方法

.net 自动化测试

我在给 dotnet 的 runtime 仓库提PR时，小伙伴告诉我可以使用 TryAdd 方法减少判断，但是我修改这个代码发现 100 个自动化测试都失败了，都告诉我没有找到这个方法

林德熙

2022/08/12

8570

springboot打包成jar包后找不到xml,找不到主类的解决方法

请首先保证你的项目能正常运行(即不打包的时候运行无误),我们在打包时经常遇到如下问题:

Dream城堡

2018/09/10

2.4K0

Page.FindControl方法找不到指定控件的原因

在ASP.NET 2.0中，引入了MasterPage的机制，在当前页使用MasterPage的情况下，放在 ContentPlaceholder1这样的内容页的控件无法用Page.FindControl来查找，原因何在？ MSDN对FindControl的解释：在当前的命名容器中搜索带指定 id 参数的服务器控件这里有一篇文章阐述阐述FindControl方法和INamingContainers接口：http://www.odetocode.com/Articles/116.aspx FindContr

张善友

2018/01/19

1.4K0

SpringTask实现数据库中获取任务、调用方法、方法参数

linux 数据库 sql spring

quartz对数据库支持非常强大，但是用起来并没有SpringTask那么简单。因此，个人造了一点小轮子，让SpringTask拥有类似quartz的功能（当然没有那么完善）。

devi

2021/08/19

9390

SpringTask实现数据库中获取任务、调用方法、方法参数

机器学习中的参数与非参数方法

机器学习神经网络深度学习人工智能编程算法

在我们的以前文章中介绍过统计学习中预测和推理之间的区别。尽管这两种方法的主要区别在于最终目标，但我们都需要估计一个未知函数f。

deephub

2021/10/09

1.9K0

Xcode10编译的库提示方法找不到

用 Xcode10打包出来的 Framework静态库，可以正常的提示编码，但是运行的时候提示属性的set 方法不存在。

君赏

2018/12/25

9790

Fdisk：command not found命令找不到的解决方法

我们可看到fdisk 命令不再当前命令搜索路径里，那么我们将fdisk添加到当前命令搜索路径中即可：

暮城

2022/02/23

2.6K0

Android-Picasso 库中找不到 .with() 方法

https github 网络安全 git 开源

最后附上源码：https://github.com/FishInWater-1999/AndroidClockDemo

圆号本昊

2021/09/24

8230

Android-Picasso 库中找不到 .with() 方法

点击加载更多

相似问题

‘比[5，6]更新的com.facebook.android:facebook-android-sdk版本: 4.34.0’

138

解析失败: com.facebook.android:facebook-android-sdk:4.0.0

10

解析失败: com.facebook.android:facebook-android-sdk:4.4.0

20

无法用'com.facebook.android:facebook-android-sdk:4.27.0‘解析GraphUser

25

错误:在com.facebook.android:facebook-android-sdk:11.3.0中找不到symbol AppLinks.getTargetUrlFromInboundIntent

176

活动推荐

即时通信IM，低门槛快速接入

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例