腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SAMshare

专栏作者

271

文章

292450

阅读量

38

订阅数

特征稳定性指标PSI的原理与代码分享

编程算法 python 腾讯云测试服务

PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。

2022-02-25

3.2K0

不平衡数据的处理方法与代码分享

python 编程算法 https 网络安全

印象中很久之前有位朋友说要我写一篇如何处理不平衡数据的文章，整理相关的理论与实践知识，于是乎有了今天的文章。失衡样本在我们真实世界中是十分常见的，那么我们在机器学习（ML）中使用这些失衡样本数据会出现什么问题呢？如何处理这些失衡样本呢？以下的内容希望对你有所帮助！

2022-02-25

1.4K0

风控ML[4] | 风控建模的KS

python excel 可视化

我们这做风控模型的时候，经常是会用KS值来衡量模型的效果，这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标，了解当中的原理以及实现，因为这些知识是必备的基本功。我将会从下面几个方面来展开讲解一下KS：

2022-02-25

4.3K0

风控ML[3] | 风控建模的WOE与IV

编程算法 python

「风控ML」系列文章，主要是分享一下自己多年以来做金融风控的一些事一些情，当然也包括风控建模、机器学习、大数据风控等相关技术分享，欢迎同行交流与新同学的加入，共同学习，进步！

2021-11-30

3.4K0

一起揭开 PySpark 编程的神秘面纱

spark python sql 分布式

Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架，类似于 Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入 HDFS，更适用于需要迭代的 MapReduce 算法场景中，可以获得更好的性能提升。例如一次排序测试中，对 100TB 数据进行排序，Spark 比 Hadoop 快三倍，并且只需要十分之一的机器。Spark 集群目前最大的可以达到 8000 节点，处理的数据达到 PB 级别，在互联网企业中应用非常广泛。

2021-09-29

2K0

3万字长文，PySpark入门级学习教程，框架思维

api linux 数据库 spark python

关于PySpark，我们知道它是Python调用Spark的接口，我们可以通过调用Python API的方式来编写Spark程序，它支持了大多数的Spark功能，比如SparkDataFrame、Spark SQL、Streaming、MLlib等等。只要我们了解Python的基本语法，那么在Python里调用Spark的力量就显得十分easy了。下面我将会从相对宏观的层面介绍一下PySpark，让我们对于这个神器有一个框架性的认识，知道它能干什么，知道去哪里寻找问题解答，争取看完这篇文章可以让我们更加丝滑地入门PySpark。话不多说，马上开始！

2021-08-13

7.9K0

用PySpark开发时的调优思路（上）

文件存储 spark python

这一小节的内容算是对pyspark入门的一个ending了，全文主要是参考学习了美团Spark性能优化指南的基础篇和高级篇内容，主体脉络和这两篇文章是一样的，只不过是基于自己学习后的理解进行了一次总结复盘，而原文中主要是用Java来举例的，我这边主要用pyspark来举例。文章主要会从4个方面（或者说4个思路）来优化我们的Spark任务，主要就是下面的图片所示：（本小节只写了开发习惯调优哈）

2021-06-25

1.2K0

PySpark入门级学习教程，框架思维（中）

api sql spark python

在讲Spark SQL前，先解释下这个模块。这个模块是Spark中用来处理结构化数据的，提供一个叫SparkDataFrame的东西并且自动解析为分布式SQL查询数据。我们之前用过Python的Pandas库，也大致了解了DataFrame，这个其实和它没有太大的区别，只是调用的API可能有些不同罢了。

2021-04-26

4.3K0

PySpark入门级学习教程，框架思维（上）

https 网络安全 spark python

为什么要学习Spark？作为数据从业者多年，个人觉得Spark已经越来越走进我们的日常工作了，无论是使用哪种编程语言，Python、Scala还是Java，都会或多或少接触到Spark，它可以让我们能够用到集群的力量，可以对BigData进行高效操作，实现很多之前由于计算资源而无法轻易实现的东西。网上有很多关于Spark的好处，这里就不做过多的赘述，我们直接进入这篇文章的正文！

2021-04-26

1.5K0

怎么用matplotlib画出漂亮的分析图表

python matlab numpy

今日锦囊特征锦囊：怎么用matplotlib画出漂亮的分析图表 ? Index 数据集引入折线图饼图散点图面积图直方图条形图关于用matplotlib画图，先前的锦囊里有提及到，不过那

2020-12-16

8340

真香！Python十大文件骚操作！！

日常对于批量处理文件的需求非常多，用Python写脚本可以非常方便地实现，但在这过程中难免会和文件打交道，第一次做会有很多文件的操作无从下手，只能找度娘。

2020-12-16

9180

[010] R语言中酷炫可视化的ggplot2如何在Python中实现？

python matlab numpy

Plotnine is the implementation of the R package ggplot2 in Python. It replicates the syntax of R package ggplot2 and visualizes the data with the concept of the grammar of graphics. It creates a visualization based on the abstraction of layers. When we are making a bar plot, we will build the background layer, then the main layer of the bar plot, the layer that contains title and subtitle, and etc. It is like when we are working with Adobe Photoshop. The plotnine package is built on top of Matplotlib and interacts well with Pandas. If you are familiar with the ggplot2, it can be your choice to hand-on with plotnine.

2020-12-02

1.8K0

[008] 数据清洗不知如何着手？强力推荐这份清单

python sql linux 编程算法网络安全

It was before the Stack Overflow era, so not much help was available online. Some people would print out cheatsheets of different kinds and hang on the walls around their workstations. Having a couple of pages of frequently used codes in front of the desk was an efficient way of correcting syntax errors.

2020-12-02

4060

[007] 这份关于Python可视化的秘笈请收好！

python linux 编程算法数据结构

“作者总结了用Python进行EDA可视化的常用demo，同时也有一个案例带着我们走了一遍，代码可以复用，涉及了常见的图表，包括折线图、条形图、柱状图、堆积图、饼图等，可以简单阅读，然后收藏起来备用哦！

2020-11-23

3020

[005] Python异常处理三板斧——Try, Except, and Assert！

linux 编程算法 python

The dream of every software programmer is to write a program that runs smoothly. However, this is not usually the case at first. The execution of a code stops in case of an error.

2020-11-19

7910

特征锦囊：如何在Python中处理不平衡数据

python 编程算法 https 网络安全

印象中很久之前有位朋友说要我写一篇如何处理不平衡数据的文章，整理相关的理论与实践知识（可惜本人太懒了，现在才开始写），于是乎有了今天的文章。失衡样本在我们真实世界中是十分常见的，那么我们在机器学习（ML）中使用这些失衡样本数据会出现什么问题呢？如何处理这些失衡样本呢？以下的内容希望对你有所帮助！

2020-11-19

2.3K0

[002] 一文了解Python中的常用字符串操作

编程算法 javascript python linux

Asthe co-founder of Microsoft says, I invite you to continue stretching your mind in an effort to broaden your programming skills with potential applications in many domains. The purpose of the article is to serve as a cheat-sheet for built-in methods of one of the basic Python data types: strings. A string is a data type in Python programming language that's used to represent a piece of text. They are super flexible and necessary to appropriately represent text inputs in code. As a result, learning how to make the most out of them is a must.

2020-11-19

3610

叮～AutoML自动化机器学习入门指南，来了

python github https 网络安全

之前的工作中也有多少接触过这个AutoML（Automated Machine Learning）的概念，简单来说就是把模型开发的标准过程模块化，都交给一些自动化的组件来完成，比如数据集的划分、特征衍生、算法选择、模型训练、调优、部署以及后续的监控，都“一条龙”地在AutoML实现。

2020-09-14

1.3K0

特征锦囊：一文介绍特征工程里的卡方分箱，附代码实现

今天还是讲一下金融风控的相关知识，上一次我们有讲到，如果我们需要计算变量的IV值，从而判断变量的预测能力强弱，是需要对变量进行离散化的，也就是分箱处理。那么，今天就来给大家解释一下其中一种分箱方式 —— 卡方分箱处理。

2020-08-27

2.5K0

特征锦囊：彻底了解一下WOE和IV

编程算法 python 微信

第一次接触这两个名词是在做风控模型的时候，老师教我们可以用IV去做变量筛选，IV（Information Value），中文名是信息值，简单来说这个指标的作用就是来衡量变量的预测能力强弱的，然后IV又是WOE算出来的。姑且先不管原理哈，我们先给出来一下结论。

2020-08-04

2.4K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态