展开

关键词

Java中对List, Stream

解答 忽然想起以前写过list的文章,找出来一看。做法就是将list中对象的hashcode和equals方法写,然后丢到HashSet里,然后取出来。 你需要知道HashSet如何帮我做到了。换个思路,不用HashSet可以吗?最简单,最直接的办法不就是每次都拿着和历史数据比较,都不相同则插入队尾。而HashSet只是加速了这个过程而已。 ,那么是如何的呢? 在本题目中,要根据id,那么,我们的比较依据就是id了。 所以,要使用distinct来实现,必须写hashcode和equals方法,除非你使用默认的。 那么,究竟为啥要这么做?点进看一眼实现。

5.5K70

Flink第一弹:MapState

计算应该是数据分析业务里面常见的指标计算,例如网站一天的访问用户数、广告的点击用户数等等,离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到结果,而实时计算是一种增量、 此篇介绍如何通过编码方式实现精确,以一个实际场景为例:计算每个广告每小时的点击用户数,广告点击日志包含:广告位ID、用户设备ID(idfa/imei/cookie)、点击时间。 实现步骤分析: 为了当天的数据可现,这里选择事件时间也就是广告点击时间作为每小时的窗口期划分 数据分组使用广告位ID+点击事件所属的小时 选择processFunction来实现,一个状态用来保存数据 逻辑 自定义Distinct1ProcessFunction 继承了KeyedProcessFunction, 方便起见使用输出类型使用Void,这里直接使用打印控制台方式查看结果,在实际中可输出到下游做一个批量的处理然后在输出 ctx.getCurrentKey.time+1<=currW){ println("late data:" + value) return } 主要考虑可能会存在滞后的数据比较严

9130
  • 广告
    关闭

    什么是世界上最好的编程语言?丨云托管征文活动

    代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Flink第三弹:HyperLogLog

    HyperLogLog算法 也就是基数估计统计算法,预估一个集合中不同数据的个数,也就是我们常说的统计,在redis中也存在hyperloglog 类型的结构,能够使用12k的内存,允许误差在0.81% www.jianshu.com/p/55defda6dcd2里面做了详细的介绍,其算法实现在开源java流式计算库stream-lib提供了其具体实现代码,由于代码比较长就不贴出来(可以后台回复hll ,获取flink使用hll的完整代码 getValue(HyperLogLog accumulator) { return accumulator.cardinality(); } } 定义的返回类型是long 也就是的结果

    8820

    hiveQL

    : 以id进行分组,然后取出每组的第一个 select * from (select *,row_number() over (partition by id) num from t_link) t *,row_number() over (partition by id order by create_time desc) num from t_link) t where t.num=1; 将后的数据新存储 ,row_number() over (partition by id order by crt_time desc) num from t_link ) t where t.num=1;  之后与其他表

    38130

    slice

    1.Golang 删除 slice 中复的值 package main import ( "fmt" ) func main() { a := []int{2, 1, 2, 5, 6, 3 break } if k == len(x)-1 { x = append(x, i) } } } } return x } 3.GO语言字符串数组空 package main import( "fmt" "sort" ) func RemoveDuplicatesAndEmpty(a []string) (ret []

    29720

    pybloom

    布隆滤波器是利用很小的错误率代价完美实现了海量数据规模下的和判断问题,在平时的大数据研究和开发中,不要总为完美的解决方案而费尽心血,尝试多使用近似的替代方案。

    58140

    Flink第四弹:bitmap精确

    Flink第一弹:MapState Flink第二弹:SQL方式 Flink第三弹:HyperLogLog 关于hyperloglog优化 不得不掌握的三种BitMap 在前面提到的精确方案都是会保存全量的数据 ,但是这种方式是以牺牲存储为代价的,而hyperloglog方式虽然减少了存储但是损失了精度,那么如何能够做到精确又能不消耗太多的存储呢,这篇主要讲解如何使用bitmap做精确。 ID-mapping 在使用bitmap需要将的id转换为一串数字,但是我们的通常是一串包含字符的字符串例如设备ID,那么第一步需要将字符串转换为数字,首先可能想到对字符串做hash,但是hash UDF化 为了方便提供业务方使用,同样需要将其封装成为UDF, 由于snowflake算法得到的是一个长整型,因此选择了Roaring64NavgabelMap作为存储对象,由于是按照维度来计算, 关于系列就写到这里,如果您有不同的意见或者看法,欢迎私信。 —END—

    7010

    grep

    grep文本过滤 命令选项: -v: 反向选取 -o: 仅显示匹配的字串,而非字串所在的行 -i: ignore-case,忽略字符大小写 -A # -B # -C # -q 静默模式,不输出任何信息 -P perl 正则 普通过滤 # grep /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin ^: 锚定行首 # grep meminfo SwapCached: 0 kB SwapTotal: 2047996 kB SwapFree: 2047996 kB $: 锚定行尾 # grep

    40240

    腾讯云 AI 视觉产品基于流计算 Oceanus(Flink) 计费数据尝试

    数据复: 相当于调用量多算就会多收用户钱,用户一旦发现肯定会投诉过来。所以是必须要解决的,但是数据量很大,要做到精确比较难。 思路与调研 的触发时机: 数据复的原因主要是各种试:包括上游传输环节的超时试和下游计算环节的系统启导致的数据算。 因为聚合时的数据的顺序和数量在每次计算时不是固定的,所以如果出现启要新计算时并不能生成和上次一样的唯一键,就难以使用键。 这里存储数据的时间长短决定了的数据的范围,如果太大如上所述对存储压力很大,造成 Flink 运行不稳定;但如果太小只能小局部,对于跨度比较大的数据复不能应对,比如跨天的数据也可能复,在离线上报的链路中就可能跨天试的 ,通常在实时上报的链路不会出现,对于这种长时间还有复的,目前想到有 2 个处理的方向(还没具体落地): 使用 Redis 存储处理过的数据(不要求很及时),上报时先这里;问题首先是对存储压力增大不少

    10740

    数组

    也就是将当前元素与他后面的所有元素作比较,只要碰到与当前元素相等的情况,利用j = ++i新开始外层大循环。 直到其后面没有复的元素就push进新数组 <script type="text/javascript"> function distinct(arr){ 1; j < len; j++){ if(arr[i] === arr[j]){ j = ++i;//i和j分别加1,外层大循环新开始 思路:利用对象的属性不能相同的特性.将数组中的每一项当做对象的属性名,属性名是不可以复的。 console.log(b); // [1,4,6] </script> 利用indexOf和push 思路:对于老数组中的每一项,在新数组中进行查找,如果没有(返回-1),push进

    38130

    MySQLdistinct

    在MySQL中需要查询表中不复的记录时,可以使用distinct关键字过滤复记录。 语法: select distinct <字段名1>[,<字段名2>... NULL | 10 | +-------+--------+------------+------+------------+------+------+--------+ 示例1:单个字段 clerk | | salesman | | manager | | analyst | | persident | +------------+ 示例2:多个字段 10 | persident | | 30 | clerk | | 10 | clerk | +--------+------------+ 多个字段时 非复计数: select count(distinct <字段名1>[,<字段名2>...

    74710

    scrapy与scrapy_redis与布隆过滤器

    在开始介绍scrapy的之前,先想想我们是怎么对requests对的。requests只是下载器,本身并没有提供功能。所以我们需要自己做。 scrapy的 scrapy对request不做很简单,只需要在request对象中设置dont_filter为True,如 yield scrapy.Request(url, callback ,如果任务启,会导致内存中所有队列消失 scrapy-redis的 scrapy-redis写了scrapy的调度器和队列,所以需要在settings中修改如下两列 # Enables 该函数的作用是:计算该请求指纹,添加到redis的队列,如果已经存在该指纹,返回True。 : 优点:将内存中的队列序列化到redis中,及时爬虫启或者关闭,也可以再次使用,你可以使用SCHEDULER_PERSIST来调整缓存 缺点:如果你需要的指纹过大,redis占用空间过大。

    1.4K20

    grep note

    单个目录示例 grep -E "http" ./ -R --exclude-dir=.git 多个目录示例 grep -E "http" . grep -w ^vivek /etc/passwd 检索以 ‘foo’ 结尾的文本格式:grep 'foo$' FILENAME 你还可以用下面这样的方式搜索空白行:grep '^$' FILENAME grep 会尝试把 ‘–test–‘ 作为一个选项解析: grep -e '--test--' FILENAME 如何在grep中使用 OR 的逻辑运算 ? 按照下面的语法显示所有包含了单词 ‘word1′ 和 ‘word2′ 的结果: grep 'word1' FILENAME | grep 'word2' 或者可以这样:grep 'foo. 你可以使用下面的语法测试一个字符在序列中的复的次数: {N} {N,} {min,max} 匹配包含两个字母 v 的字符串结果:egrep "v{2}" FILENAME 下面的例子中将检索文件内包含

    18120

    linux grep

    规则表达式 grep 的规则表达式 表达式 描述 ^ 锚定行的开始 如:'^grep'匹配所有以grep开头的行。 $ 锚定行的结束 如:'grep$'匹配所有以grep结尾的行。 . < 锚定单词的开始,如:'<grep'匹配包含以grep开头的单词的行。 > 锚定单词的结束,如'grep>'匹配包含以grep结尾的单词的行。 x{m} 复字符x,m次,如:'0{5}'匹配包含5个o的行。 x{m,} 复字符x,至少m次,如:'o{5,}'匹配至少有5个o的行。 x{m,n} 复字符x,至少m次,不多于n次,如:'o{5,10}'匹配5--10个o的行。 查找指定进程时,不显示grep 本身进程 命令: ps aux | grep uwsgi | grep -v "grep" ps aux|grep [u]wsgi ps aux|grep /[u]wsgi

    10840

    List复——多个复杂字段判断

    List复 ,我们首先想到的可能是 利用List转Set 集合,因为Set集合不允许复。 所以达到这个目的。 如果集合里面是简单对象,例如Integer、String等等,这种可以使用这样的方式复。但是如果是复杂对象,即我们自己封装的对象。用List转Set 却达不到复的目的。 所以,回归根本。 getNoRepeatList(list); } /** * 除List内复杂字段复对象 * @author : shijing * 2017年6月2日上午11:28 ArrayList<>(); if(CollectionUtils.isNotEmpty(oldList)){ for (User user : oldList) { //list复 list.contains(user)){ list.add(user); } } } //输出新集合 System.out.println("复后新集合

    74420

    VB6,VBA数组复项函数(2个一个单,一个含自身)

    ''数组复项包括复项自身 ' 这个函数是移除数组中复的数据,包括自身 '迭代 EF: ArrDelAsMe = dic.Keys '输出复数据的数据 发生未知错误", vbCritical, "vb小源码" End Function Function ArrDel(ByVal arr As Variant) As Variant ''数组复项 vbCrLf Next MsgBox "原数据:Array(1, 2, 2, 3, 4, 5, 5, 5, 6)" & vbCrLf & vbCrLf & "数组复项 (不含自身):" & vbCrLf & tmp & vbCrLf & vbCrLf & "数组复项(含自身):" & vbCrLf & temp, , "VB小源码" End Sub

    3K30

    js数组

    = -1) { //如果包含,先取出该对象,然后遍历查找复对象 mulObj = map["" + obj.id]; //复的对象+obj for(let j=0;j<mulArr.length;j++){ if(ret[i].id == mulArr[j].id){ //说明复 = mulArr[j].name; } } } console.log(ret); 对于形如这种字符串或数字数组

    84700

    js方法

    43060

    JS 高效

    34430

    ECMAScript6 数组

    Unsplash 数组这个问题无论是在面试当中,还是实际项目中,出现的频率都挺多的,而我们以往的解决方式,就是通过新建一个空的数组,通过 indexOf 方法进行新数组和原数组的子元素比较,来得到一个没有复子元素的新数组 运行结果 一共 9 行代码,也不是很多,但在 ES6 中,新增的 Set() 对象和 Array.from() 方法,可以让我们通过两行代码,就能实现数组 Set 对象允许你存储任何类型的唯一值,而

    16530

    相关产品

    • 人体分析

      人体分析

      人体分析包含人像分割、人体识别、行人重识别(Reid)等服务。人像分割可识别视频、图片中的半身人体轮廓,并将其与背景分离;人体检测,可识别行人的穿着、体态、发型等信息;行人重识别(Reid)可实现跨摄像头跨场景下行人的识别与检索。可应用于人像抠图、背景特效、行人搜索、人群密度检测等场景。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券