首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【Python】基于某些列删除数据框中的重复值

本文目录 drop_duplicates函数介绍 加载数据 按照某一列去重实例 3.1 按照某一列去重(参数为默认值) 3.2 按照某一列去重(改变keep值) 3.3 按照某一列去重(inplace...subset:用来指定特定的列,根据指定的列对数据框去重。默认值为None,即DataFrame中一行元素全部相同时才去除。...导入设置路径的库 import pandas as pd #导入数据处理的库 import numpy as np #导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值...三、按照某一列去重 1 按照某一列去重(参数为默认值) 按照name1对数据框去重。...但是对于两列中元素顺序相反的数据框去重,drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题,参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-

20.5K31

【Python】基于多列组合删除数据框中的重复值

二、基于两列删除数据框中的重复值 1 加载数据 # coding: utf-8 import os #导入设置路径的库 import pandas as pd #导入数据处理的库...import numpy as np #导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 df =...apply(frozenset, axis=1):把取出两列中的行当做变量依次传到frozenset函数中去。 frozenset:冻结集合,不可变,存在哈希值。...因为集合是无序的,只要值相同不用考虑顺序。 duplicated():判断变成冻结集合的列是否存在重复值,若存在标记为True。 ~:取反操作,把FALSE变成True,True变成False。...导入设置路径的库 import pandas as pd #导入数据处理的库 import numpy as np #导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值

14.7K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Laravel 7 新特性-流畅的字符串操作

    Laravel 7 现在基于这些函数提供了一个更加面向对象的、更加流畅的字符串操作库。...你可以使用 String::of 创建一个 Illuminate\Support\Stringable 对象,然后基于该对象提供的方法以链式的操作对字符串进行处理: 举例说明: return (string...before() 方法返回字符串中给定值之前的所有内容: use Illuminate\Support\Str; $slice = Str::of('This is my name')->before...('my name'); // 'This is ' 同理有 before(),就会有 after() after() 方法返回字符串中给定值之后的所有内容。...')->length(); // 7 ok,以上介绍了一些常用的方法,其实都是文档上的操作,我只不过那不过来操作演示一遍,更多的用法,请直接查看 文档 下面是 所有的方法集合 ?

    1.2K10

    devops-exercises:DevOps 工程师的面试学习资料 | 开源日报 No.95

    picture bregman-arie/devops-exercises[1] Stars: 58.8k License: NOASSERTION picture 这个项目是一个包含各种技术主题的问题和练习集合...: 9.6k License: MIT picture Filament 是一个用于加速 Laravel 开发的全栈组件集合。...它们设计精美,易于使用,并且完全可扩展,这是您下一个 Laravel 应用程序的理想起点。不要浪费时间一遍又一遍地构建相同的功能。...快速构建 Laravel 管理面板、面向客户的应用程序、软件即服务平台等 简化自定义 CRUD 驱动界面的搭建和部署过程 Form Builder:轻松创建具有 25 多个预设组件交互式表单,支持自定义字段和操作...Table Builder:为任何情况打造出漂亮、优化且交互式数据表格,支持添加自定义列、筛选器和操作 Notifications:提供闪存通知给用户以及从数据库获取并在幻灯片弹窗中呈现通知或接收实时通知等重要事件处理能力

    19210

    Laravel 使用Excel导出的文件中,指定列数据格式为日期,方便后期的数据筛选操作

    背景 最近,后台运维要求导出的 Excel文件,对于时间的筛选,能满足年份、月份的选择 通过了解,发现: 先前导出的文件,默认列数据都是字符串(文本)格式 同时,因为用的是 Laravel-excel...@param array $cellData 数据 * @param string $sheetName 工作表名 * @param array $columnFormat 列格式...版本下实现方式 参考技术文档:Laravel Excel3.0 Formatting columns 创建导出类 UserExport.php <?...]; } } 参考,绑定的数据源获取方法 /** * @notes:获取导出的数据 * @return array 注意返回的数据为 Collection 集合形式...导出的时候写入的日期格式数据怎么在excel中正确显示成可以筛选的日期格式数据 Laravel Excel 3.1 导出表格详解(自定义sheet,合并单元格,设置样式,格式化列数据)

    12510

    Laravel集合的简单理解

    本篇文章给大家带来的内容是关于Laravel集合的简单理解,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。...前言 集合通过 Illuminate\Database\Eloquent\Collection 进行实例,Laravel的内核大部分的参数传递都用到了集合,但这并不代表集合就是好的。...创建集合 微信图片_20191121144058.png 显而易见,这是一部非常简单的操作,请打住你想说“这种操作很复杂”的话,它更类似与早起PHP5.x的版本的声明方式。...「键」,再将另一个数组或者集合的值作为「值」合并成一个集合 concat 将给定的数组或集合值附加到集合的末尾 contains 判断集合是否包含给定的项目 count 返回该集合内的项目总数 dd 打印集合的项目并结束脚本执行...diff 将集合与其它集合或纯 PHP 数组进行值的比较,然后返回原集合中存在而给定集合中不存在的值 each 迭代集合中的内容并将其传递到回调函数中 filter 使用给定的回调函数过滤集合的内容,

    2.3K40

    laravel 学习之路 数据库操作 查询数据

    运行 Select 查询 你可以使用 DB Facade 的 select 方法来运行基础的查询语句我们在上面创建的路由里增加个 index 的路由 dump 是 laravel 的打印函数可以把它理解为...通常,这些值用于约束 where 语句。参数绑定用于防止 SQL 注入。...的数据库查询构造器为创建和运行数据库查询提供了一个方便的接口。...如果必须要允许用户通过选择某些列来进行查询,请始终根据允许列的白名单来校验列名。...获取一列的值 当然业务中有时候需要获取 某个字段 哪一列的值的集合,这个时候就用到了 pluck 方法,pluck 接受 2 个参数 第一个参数是我们要取的字段; 第二个字段是可以选的用来做 key

    3.2K20

    基于 Redis Geo 实现地理位置服务(LBS)中查找附近 XXX 的功能

    在此之前,学院君在基于 Laravel + Vue 构建前后端分离应用 这个项目中就已经实现过类似的 LBS 服务 —— 定位当前用户所在的城市然后显示该城市所有的咖啡店: 基于数据库进行地理位置查询...Geo 指令的使用介绍 Redis Geo 提供了如下八个指令: 基本使用 我们可以通过 GEOADD 指令添加元素到 Geo 集合: 第一个参数是键名,然后是经度、维度和元素值,我们按照这个约定添加如下几个咖啡店及对应经纬度坐标到代表咖啡店集合的...cafes Geo 结构中: Geo 底层使用的数据结构是 ZSET(有序集合),所以你可以在 Geo 上使用任何 ZSET 指令: 要删除某个 Geo 集合,使用 ZREM 指令即可,所以 Geo...,可以添加 WITHDIST 选项: 注:其他 WITHXXX 选项功能类似,不一一列举了。...本系列教程首发在Laravel学院(laravelacademy.org)

    3.7K20

    你可能需要了解下Laravel集合

    前言 集合通过 Illuminate\Support\Collection 进行实例,Laravel的内核大部分的参数传递都用到了集合,但这并不代表集合就是好的。...创建集合 $collection = collect([1, 2, 3]); 显而易见,这是一部非常简单的操作,请打住你想说“这种操作很复杂”的话,它更类似与早起PHP5.x的版本的声明方式。...$collection = array(1,2,3); laravel对于collection也没有做任何复杂的事情,会在下一章 《Laravel源码解析之集合》,谢谢 打回原型 如果你想将集合转换为数据...「键」,再将另一个数组或者集合的值作为「值」合并成一个集合 concat 将给定的数组或集合值附加到集合的末尾 contains 判断集合是否包含给定的项目 count 返回该集合内的项目总数 dd 打印集合的项目并结束脚本执行...diff 将集合与其它集合或纯 PHP 数组进行值的比较,然后返回原集合中存在而给定集合中不存在的值 each 迭代集合中的内容并将其传递到回调函数中 filter 使用给定的回调函数过滤集合的内容,

    1.6K30

    【Laravel系列4.4】模型Eloquent ORM的使用(二)

    这个对象就是我们的模型组件中的集合对象,它包含很多集合操作的方法,如果以最简单的角度理解的话,其实它就是帮我们封装了很多数组操作函数。 这个集合对象有什么作用呢?...……… // ……………… // ……………… // ) 上面的 plucks() 就是类似于 array_column() 的函数操作,用于获取数组元素指定的列值...而另外一个 map() 函数就不用多说了,之前我们说过,Laravel 的 PDO 在默认查询构造器的情况下,走的是 PDO::FETCH_OBJ ,获得的集合结果中的每个数据都是一个 stdClass...laravel/framework/src/Illuminate/Collections/Collection.php 是集合类,里面的方法大部分都调用的是 laravel/framework/src/...getConnection() 会返回一个之前讲过的工厂方法创建的 Connection 对象,而 query() 方法则会根据 Connection 创建一个 QueryBuilder 对象。

    2.8K20

    基于 Redis 有序集合实现热门浏览文章排行榜

    今天我们以 Laravel 项目热门浏览文章排行榜为例进行实战演示。 准备模型类和数据表 开始之前,我们先创建文章表、模型类和控制器: ?...热门浏览文章排行榜功能实现 维护基于文章浏览数的有序集合 在 PostController 中,定义一个文章浏览方法 show: use App\Models\Post; use Illuminate\...这样一来,随着文章的增多,用户浏览量的增长,Redis 底层会维护一个基于文章浏览数进行排序的有序集合,要实现热门浏览文章排行榜,只需要逆序从这个集合获取指定数量的成员即可获取对应的文章 ID 集合。...ID 值大小的排序了。...基本思路是编写一个文章模型工厂生成测试文章,然后随机浏览文章构建基于 Redis 的排行榜有序集合,最后访问排行榜数据。

    1.8K40

    推荐 Laravel API 项目必须使用的 8 个扩展包

    如今在现代网络开发中,比较流行的模式是基于 API 开发,可以通过手机或网站来创建服务。 Laravel 是创建基于 API 的项目的最佳框架之一,它为世界各地的大型社区提供了高速开发。...Laravel 内置的项目包括 Composer,允许您添加一些包,使开发更快。 当您决定启动新的基于 API 的项目时,以下几个有用的软件包必须安装。 1....Zizaco/entrust ACL(访问控制列表)是一个集合操作,它告诉系统每个用户的访问权限。ACL包含用于管理特定用户的访问的角色和权限。Laravel与缺省的ACL命名为Gate。...Spatie/laravel-fractal 对于一个基于 API 的项目来说,最重要的事情就是 API 响应数据的输出。Laravel 采用 Eloquent 来输出 json 或数据格式的数据。...8. spatie/laravel-backup 项目中最后一件重要的事情总是备份你的数据. 这个 laravel 扩展包名为 laravel-backup 它会为你的应用程序创建备份.

    2.8K10

    Laravel代码简洁之道和性能优化

    经过一番调研之后发现了一个堪称神器的扩展:laravel-upsert 这个 Laravel 扩展为查询构建器和 Eloquent 添加了对 INSERT & UPDATE (UPSERT) 和 INSERT...第二个参数是唯一标识记录的列。除 SQL Server 外的所有数据库都要求这些列具有PRIMARY或UNIQUE索引。 提供要更新的列作为第三个参数(可选)。默认情况下,将更新所有列。...该查询将为每个帖子和日期创建一个新记录或增加现有的查看计数器: DB :: table ( 'stats' )-> upsert ( [ [ 'post_id' => 1 , '...upsert()还将添加updated_at到更新的列中。...//设置日期格式为时间戳 protected $dateFormat = 'U'; //如果取值有使用toArray()转成数组的话还需要下方的配置 //获得创建时间

    5.8K20

    通过 Laravel 查询构建器实现简单的增删改查操作

    通过前面几篇教程的预热,我们已经连接上数据库,创建好了数据表,填充好了数据,接下来,就是在 Laravel 应用中实现对数据库的增删改查了。...由于 Laravel 数据库功能底层基于 PHP 的 PDO 实现,因此我们可以借助 PDO 的参数绑定功能来防范 SQL 注入,所以对于指定查询条件的 SQL 查询语句,可以这么实现: $name =...使用查询构建器进行增删改查 接下来,我们开始介绍 Laravel 数据库功能的核心组件 —— 查询构建器(说是核心,是因为 Eloquent 模型的底层也是基于这个查询构建器),日常开发中,我们与数据库的交互基本都是直接或间接通过它来完成的...查询构建器也是基于 DB 门面的,只不过需要调用其提供的 table 方法构建一个基于指定数据表的查询构建器。...如果是数值字段的更新的话,Laravel 还为我们提供了 increment 和 decrement 方法用于快速进行数值增减,默认步长是 1,当然你可以通过第二个参数指定步长值: DB::table(

    4.2K20

    Laravel 6.12.0 版本发布,支持从扩展包加载模型工厂

    另外,这次更新还包含了很多第三方开发者贡献的、用于优化重复操作的语法糖,例如过滤请求输入字段中的非布尔值。...下面我们一起来看下其中比较重要的一些新特性: 1、重要特性 1)从扩展包加载模型工厂 在 Laravel 6.12 中,你可以在扩展包中直接使用已经存在的模型工厂,而不需要重新创建它们,方法是在服务提供者中引入对应的包含模型工厂的文件...'); 4)请求布尔方法 新增了一个 Request::boolean() 方法用于接受请求输入字段并通过 filter_var 方法来过滤,用来判断某个字段值是否是布尔值,下面是使用示例: $request...// false $request->boolean('name'); // false 5)工厂构建器 createMany() 新增了一个工厂方法 createMany() 用于通过自定义数据创建多条记录...为 PhpRedis 新增缺失选项 2)问题修复 修复 Cache\RedisLock::acquire() 方法存在的问题 修复数据库 url 连接解析时没有指定数据库的问题 防止表名前缀不明确的列

    77010

    Laravel 用户认证

    应用的身份认证一般包含两种:web 浏览器认证和API 认证 基于 web 浏览器的身份验证:常见于前后端混合开发的项目,php混合html模版;使用session+cookie完成身份验证。...现在很少见了 基于 api 的身份验证:常见于前后端分离的项目,一套api同时给前端,Android,iOS提供服务;使用token完成身份验证。...下面介绍都是基于 api 的身份验证 手动验证用户 $credentials = $request->validate([ 'email' => ['required...intended('dashboard'); } Auth::attempt方法会做两件事: 查询用户:除了password以外的字段都会作为查询条件 比对密码:明文密码即可,因为框架将该值与数据库中的散列密码进行比较之前会自动加密...if (Auth::guard('admin')->attempt($credentials)) { // ... } 记住用户 users 表必须包含字符串 remember_token 列

    2.1K20
    领券