文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

基于LightGBM的信贷数据建模

公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文是UCI金融信贷数据集的第二篇文章：基于LightGBM的二分类建模。...主要内容包含：数据基本信息缺失值信息不同字段的统计信息目标变量的不均衡性变量间的相关性分析基于QQ图的字段的正态检验数据预处理（编码、归一化、降维等）分类模型评估标准基于LightGBM建立模型1 导入库第一步还是导入数据处理和建模所需要的各种库...In 2:df = pd.read_csv("UCI.csv")df.head()Out2:3 数据基本信息1、整体数据量整理的数据量大小：30000条记录，25个字段信息In 3:df.shapeOut3..._legend.remove()8 正态检验-QQ图为了检查我们的数据是否为高斯分布，我们使用一种称为分位数-分位数（QQ图）图的图形方法进行定性评估。...9.1 分类型数据处理针对分类型数据的处理：In 42:df["EDUCATION"].value_counts()Out42:EDUCATION2 140301 105853 49175

57510

2.10 PowerBI数据建模-核心函数CALCULATE

度量值的天性是按照筛选上下文实现动态计算，动态计算靠的就是CALCULATE，每个度量值都用到了CALCULATE，因此CALCULATE可以称之为核心函数。...以SUMX函数第二参数的一个小坑为例，有如下表格，求每个客户的最大值之和。SUMX第二参数放上不带CALCULATE的表达式，会出现错误的结果。...i CALCULATE+FILTER(表, 布尔表达式)，只对涉及列满足布尔表达式的值返回计算结果，对该列的其他值返回空，用这一列做维度展示数据时，符合一般的业务逻辑，不会觉得有错误。...)，清除该表/列的筛选，返回满足布尔表达式的值。...ALL后面是表的时候，该表的任何列的筛选都会被清除；ALL后面是列的时候，仅清除该列的筛选，与用途2效果相同。

81610
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    基于Transformer的时序数据建模与实现详解

    Transformer for Time Series (TTS-Transformer) 是一种基于自注意力机制的深度神经网络架构，专门针对时序数据处理进行优化设计。...它通过多头自注意力机制捕获时序数据中的长距离依赖关系，同时结合位置编码和层归一化等技术，在保持计算效率的同时显著提升了模型对复杂时序模式的建模能力和预测精度。...传统时序模型的局限性传统的时序数据处理方法，如循环神经网络（RNN）、长短期记忆网络（LSTM）等，在处理长序列时序数据时存在诸多限制：长距离依赖建模困难：传统RNN系列模型在处理长序列时容易出现梯度消失或梯度爆炸问题...这些限制推动了研究者探索更加高效和强大的时序建模方法，Transformer架构正是在这一背景下被引入时序数据处理领域。2....Transformer的核心创新Transformer通过以下核心机制解决传统时序模型的问题：多头自注意力机制：能够直接建模序列中任意两个位置之间的依赖关系，有效解决长距离依赖问题并行计算能力：摒弃了递归结构

    1.3K10

    基于LightGBM的UCI信贷数据建模（完整Python代码）

    公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文是UCI数据集建模的第3篇，第一篇是数据的探索性分析EDA部分，第二篇是基于LightGBM模型的baseline。...本文是第3篇，主要是对LightGBM模型的优化，最终准确率提升2%+导入库导入建模所需要的各种库：In 1:import pandas as pd import numpy as nppd.set_option...；经过3种采样方法处理后，基于聚类中心和SMOTE采样的方法能够类别数相同。...11 模型评估11.1 交叉验证基于 k-fold cross-validation的交叉验证：将数据分为k折，前面k-1用于训练，剩下1折用于验证。...LightGBM建立二分类模型（使用非均衡数据）使用不同的训练集的标签数据进行模型训练：# pca降维后的数据y_train,# 基于聚类中心的欠采样y_train_cc# 基于SMOTE的过采样y_train_smote

    71010

    【数据挖掘】数据挖掘建模 ( 预测建模 | 描述建模 | 预测模型 | 描述模型 | 判别模型 | 概率模型 | 基于回归的预测模型 )

    基于分类的判别模型 VIII . 基于分类的概率模型 IX . 预测模型的评分函数 X . 基于回归的预测模型 I . 预测建模 与 描述建模 ---- 1 ....预测建模 : ① 目的 : 根据现有的数据集的 若干 ( 1 个或多个 ) 属性值 ( 特征值 / 变量 ) , 预测其它属性值 ; ② 示例 : 分类 ; 2 ....描述建模 : ① 目的 : 根据现有数据集的 属性值 ( 特征值 / 变量 ) , 对数据样本进行概括 ; ② 示例 : 聚类 ; II . 预测模型 与 函数映射 ---- 1 ....预测建模 测试集 ---- 1 . 预测建模相关数据集 : 预测建模中用到 3 类数据集 , 训练集 , 测试集 , 新数据 ; 2 ....确定 : 这是数据挖掘算法的核心部分 ; ⑤ 评分函数 : 评分函数值达到最大 ( 最小 ) 确定参数 \theta 值 ; 如 似然函数 ( 评分函数值越大越好 ) , 误差平方和 ( 评分函数值越小越好

    2.5K10

    数据建模：BI工具的核心引擎，如何选对才能让数据真正说话？

    ##摘要 在数字化转型加速的2025年，数据建模能力已成为评估商业智能（BI）工具的核心标准。本文从数据建模的技术视角出发，深入剖析主流BI产品的差异化优势，并为企业选型提供实用指南。...本文将带你深入了解BI数据建模的核心价值，并揭秘如何选择适合企业的智能分析工具。...一、数据建模：BI工具的“大脑”与“神经中枢” 数据建模是BI系统的核心基础，它如同汽车的引擎，决定了行驶的动力、效率、速度和稳定性。...可视化拖拽建模：产品提供便捷的多表关联、字段计算、数据聚合等数据加工能力，让业务人员无需编写SQL语句，通过简单拖拽即可实现数据表关联建模。这种设计理念显著降低了数据建模的技术门槛。...结语 在数据驱动的商业环境中，强大的数据建模能力已成为BI工具的核心竞争力。

    25510

    SQL 人的进阶职业-建模师

    侵删） 很多刚接触SQL的人，都发愁。这什么鬼东西，语法这么别扭，关键词前前后后，放哪哪报错。...直接贡献上主题，下面介绍的职位，年薪50万不保证（996除外），但20万绝对可以拿到。那就是SQL人的进阶职位-建模师！ 可能很多初学的朋友会对建模师很陌生，连CRUD都还没精通，玩建模是有些吃力的。...此时我们就要用到数据库来存放数据，利用数据库的特性来强化数据规范，方便数据的提取和分析。这个时候，我们就要用到建模。...由DBA，开发人员来设计 具体展开细说： Conceptual Data Model 这一层主要的目标是定义实体、属性以及关系，并不带有某个商品数据库比如SQL Server,Oracle的实现。...因此对业务领域的掌握和开发技术一样重要 -一旦模型成型，就需要不停的迭代去完成哪怕是细小业务的改动 小结： 纵观上述建模的要素，一个玩SQL的入门汉，要进阶到数据建模师，SQL技巧过硬自不必说，对数据库特性以及强弱都要有十分的把握

    80810

    69-性能优化的核心在SQL，SQL优化的核心是写法

    这个case是前几天微信技术讨论群里面一个北京站培训的学员提出来的，原SQL： SQL执行计划如下： 从上面执行计划我们能知道SQL涉及两个表的大小。...同时还能知道last_upd字段的谓词条件过滤性很好。实际执行时间接近9.55秒，想用索引用不上。 我试着按照两个表的last_upd字段都有索引的思路，对该SQL做了改写。...改写的依据就是要充分利用谓词条件的选择性，合理的使用索引，而原写法是无法使用索引的，改写后的SQL代码如下（这个改写还是有一定难度的，算是中高级的改写）： 改写后的执行计划： 执行时间已经降到0.88...总结： SQL的写法很重要，很多系统随着数据量的增长越来越慢，大部分跟SQL写法不佳有关（如果DBA不能识别这些低效SQL写法，就会背上运维水平差的锅）。...如果SQL写法满足基本的规则，同时创建了合适的索引，就不会因为数据量的增长导致明显的性能下降。

    42120

    一文掌握数据仓库建模的7大核心方法

    业务系统里的数据库是为了让每一笔订单、每一次操作都能被快速、准确地记下来，而不是为了方便我们事后做分析、写汇报。今天，就给你分享7大数据仓库建模的核心方法，帮你把数据理顺，让查询和分析变得又快又简单。...6.活动模式活动模式是以业务活动为中心建模。每一行记录一次业务活动，比如用户点击、下单、支付。这一张核心活动表，存活动类型、时间、涉及的对象，也可以关联一些简化的维度表。...优点：设计简单直接，能非常精细地还原业务流程，特别适合分析用户行为序列、物联网传感器数据流等基于事件的场景。扩展性也好，新事件类型就是新的一行。...缺点：作为一种相对较新的思路，在企业级全业务数据建模中不如前几种方法成熟和通用。对于传统的、以状态和报表为核心的分析需求，可能显得过于底层和琐碎。...7.以实体为中心的建模这种方法围绕核心实体建模，比如客户、产品、门店。每个实体一张表，用JSON列或者其他格式存储实体的各种指标。优点：模型非常灵活，可以随时往JSON里加新属性，不需要改表结构。

    22200

    数据仓库(基础篇）——基于维度建模思想

    第三方解释： 数据仓库是数据管理、存储、计算、建模的方法论，是一种过程处理方法； 它的特点为：面向主题的、集成的、稳定的、反映历史变化； 数据仓库由元数据、数据建模、实现代码、血缘关系、规范准则组成...第二点：基于历史的一些数据，对于未来做一些预测，比如说一些公司经常做的舆情分析，抓去一些市面上的数据，对于风险点这样的一个把控，导致了人们对于数据更多的依赖于思考。...原子指标是对业务事实中度量的统计定义， 与SQL中select内容等价。常见的如支付金额、买家数。 业务限定 ： 业务限定是对业务中圈选的统计范围的定义， 与SQL中where条件等价。...现在的数据中台很多都是基于onedata理论构建的。下图为onedata方法论。...技术推动社会发展，主数据管理又岂能固步自封！ 4. 如何进行模型调优？ 我们知道数据仓库核心的是业务，那么业务又是怎么通过数仓来体现的，其核心是模型。

    1.2K20

    MongoDB的数据建模

    MongoDB是一种面向Document的NoSQL数据库，如果我们还是按照RDB的方式来思考MongoDB的数据建模，则不能有效地利用MongoDB的优势；然而，我们也不能因为Document的灵活性...适度的建模是非常有必要的，尤其对于相对复杂的关联关系。因为在MongoDB中，处理这种关联关系既可以使用Link，也可以使用Embedded。...如果采用Embedded方式，则会导致Task数据的冗余。...但我认为该怎么实现关联，应该从Entity之间的领域关系来判断，我们可以引入DDD的Aggregation设计概念作为建模的依据。...embedded 多对多关系，用 link(类似sql里面的foregin key) 如果一个模型，其可能存的对象很少，那么就用独立的collection，这样有助于mongodb server做缓存

    1.2K60

    MongoDB的数据建模

    MongoDB是一个基于文档模型的NoSQL数据库，它的数据建模与传统的关系型数据库有很大的不同。在MongoDB中，数据是以文档的形式存储的，文档是一种类似于JSON的数据格式，非常灵活和扩展。...数据模型的基本概念在MongoDB中，数据是以文档的形式存储的，每个文档都是一个具有一定结构的JSON对象。MongoDB将文档组织成集合(collection)，每个集合类似于传统数据库中的表。...集合中的每个文档都可以有不同的结构，不同于传统数据库中表中的行，它们可以有不同的列和数据类型。...设计合适的文档模式MongoDB的灵活性让我们可以以不同的方式组织数据，但这也意味着需要谨慎设计文档模式，以确保数据的一致性和性能。...以下是一些关键的设计考虑因素：数据的一致性在MongoDB中，数据的一致性需要通过应用程序来保证。在设计文档模式时，需要确保每个文档都包含完整的数据，以避免应用程序在查询时需要多次访问数据库。

    1.2K40

    数据仓库(04)基于维度建模的数仓KimBall架构

    基于维度建模的KimBall架构，将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用，如下图。...加载，指的就是经过转换的数据，我们加载到我们的目标路径或者目标表之中。一般有维度建模和范式建模的表中，kimball架构使用的是维度建模。   ...数据展现，指的就是用户组织、存储数据，支持开发者对数据进行查询，制作报表等。数据展现中的数据，必须是维度化的、原子的，以业务过程为中心的。...坚持使用总线结构的企业数据仓库，数据不应该按照个别部门需要的数据来构建。  商业智能应用，指的是开发这基于数据展现，开发出报表或者自主查询，为商业用户提供数据支持，数据分析等。...数仓建模之星型模型与维度建模数据仓库(04)基于维度建模的数仓KimBall架构数据仓库(05)数仓Kimball与Inmon架构的对比数据仓库(06)数仓分层设计数据仓库(07)数仓规范设计数据仓库(

    99150

    YashanDB数据库中SQL优化的核心技巧解析

    在现代数据库技术领域，性能瓶颈和数据一致性问题是影响系统稳定性与响应速度的关键因素。随着业务数据规模和复杂度的不断提升，如何高效地执行SQL语句成为数据库优化的核心挑战。...本篇文章面向开发人员和数据库管理员，深入解析YashanDB中SQL优化的关键技术策略，旨在帮助读者提升SQL查询效率及系统吞吐能力。...SQL执行计划的优化器干预YashanDB采用基于成本的优化器（CBO），其通过收集丰富的统计信息来预测各种执行计划的代价，进而选取最优执行路径。统计信息囊括表行数、列数据分布、索引层级和聚集因子等。...分区技术将大表切分为多块管理单元，实现数据局部性的提升。基于分区裁剪机制，查询优化器可以快速定位相关数据分区，避免全表扫描，显著减少扫描的数据量和I/O开销。...开发人员和数据库管理员可结合业务特点，灵活应用以上核心技巧，提升系统吞吐和响应能力，保障高效稳定的数据库服务。

    23110

    数据挖掘实战：基于机器学习的肺癌患者建模预测分类

    公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文介绍一个完整的数据挖掘实战项目，主要内容包含：数据探索性分析EDA数据编码及因子化基于重要性的特征选择数据标准化交叉验证网格搜索分类模型评估基于...早期发现和诊断对于提高患者的生存率和治疗效果至关重要。随着电子健康记录的普及，大量的医疗数据被数字化存储，包括患者的临床信息、影像学资料和生物标志物等，为机器学习模型的训练提供了丰富的数据资源。...：1、整体的数据量In 3:df.shape # 1、整体的数据量Out3:(309, 16)2、数据字段信息：In 4:df.columns # 字段名称Out4:Index(['GENDER',...In 14:sns.pairplot(df, hue="LUNG_CANCER")plt.legend()plt.show()4 数据预处理为了方便后续的建模，对数据进行预处理：In 15:categorical.remove...0.9438482886216466 ± 0.016747588503435138Best Parameters: {'C': 50, 'gamma': 1, 'kernel': 'linear'}5.5 模型评估使用基于网格搜索找到的最佳参数组合进行建模

    2.1K11

    基于逻辑回归的分类概率建模

    即某一特定事件发生的概率，让步比可以定义为 odds = p/(1 - p) p代表正事件发生的概率，指的是要预测的事件。...在Adaline中，我们的激活函数为恒等函数，在逻辑回归中，我们将sigmoid函数作为激活函数。sigmoid函数的输出则被解释为样本的分类标签属于1的概率。...在建立逻辑回归模型时，我们首先定义最大似然函数L，假设数据集中每个样本都是相互独立的，公式为： 在实践中中，很容易最大化该方程的自然对数，故定义对数似然函数： 使用梯度上升等算法优化这个对数似然函数...关键就在于用越来越大的代价惩罚错误的预测。...在建立逻辑回归模型时，我们首先定义最大似然函数L，假设数据集中每个样本都是相互独立的，公式为： 在实践中中，很容易最大化该方程的自然对数，故定义对数似然函数： 使用梯度上升等算法优化这个对数似然函数

    48620

    SQL数据库核心实用技巧总结

    我是你们的老朋友.小二！...核心SQL技巧条件查询优化 WHERE 1=1用于全选，WHERE 1=2用于全不选动态SQL构建时作为占位符使用，便于后续条件拼接数据库维护命令 索引重建：DBCC REINDEX和DBCC INDEXDEFRAG...数据库收缩：DBCC SHRINKDB和DBCC SHRINKFILE数据库压缩：dbcc shrinkdatabase(dbname)用户权限管理 转移数据库用户权限：exec sp_change_users_login...使用WHILE循环插入数据示例：批量更新成绩至及格线关键要点总结条件表达式1=1和1=2在动态SQL构建中有特殊用途DBCC命令是SQL Server维护的重要工具集数据库修复需遵循单用户→修复→多用户的流程日志管理需要结合备份和收缩操作批量操作可通过存储过程和循环实现自动化最后...后续小二哥会继续详细分享更多实用的工具和功能。如果这篇文章对你有帮助的话，别忘了【在看】【点赞】支持下哦~

    24510

    数据建模与数仓建模_数仓建模的几种方式

    大家好，又见面了，我是你们的朋友全栈君。 数据模型 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。...在开始介绍数据模型之前，我们先看一个东西，那就是算法与数据结构，我们知道算法是解决特定问题的策略，数据结构处理问题的数学模型，数据结构 有三大要素，逻辑结构、存储结构、数据操作、这里的数据操作其实就是算法...，例如我们定义的图的数据结构，然后在这个基础上对图进行操作形成特定的算法，例如深度遍历和广度遍历；我们的数据结构其实是针对特定的数据问题而抽象和设计的，也就是说一种数据结构针对的是一类特定的问题。...数据模型也一样，只不过数据结构是针对特定问题的，而数据模型是针对特定业务的，然后多业务进行抽象，形成了行业特征，在银行业，IBM 有自己的 BDWM(Banking data warehouse model...数据仓库的设计始于数据模型，企业的数据模型适用于操作型环境，而修改后的模型适用于数仓，其实就是业务模型—> 概念模型—>逻辑模型—>物理模型的这一过程 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人

    81140
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券