腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT大咖说

专栏作者

909

文章

1435539

阅读量

98

订阅数

用近乎实时的分析来衡量Uber货运公司的指标

kafka flink 大数据 apache 缓存

◆ 简介虽然大多数人都熟悉Uber，但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台，将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活，为承运人提供一个平台，使其能够浏览所有可用的货运机会，并通过点击一个按钮进行预订，同时使履行过程更加可扩展和高效。为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性，我们需要对承运人透明，让他们知道我们对他们负责的程度，让他们清楚地了解他们的表现，如果需要，他们可以在哪些方面改进。为了实现

2022-09-28

5300

Redis 内存淘汰策略，从根儿上理解

编程算法缓存云数据库 Redis

◆ 前言本文参考源码版本 redis6.2 Redis 基于内存设计，所有数据存放在内存，随着时间推移，内存占用也越来也高 ... 由于内存容量这个物理限制，我们需要在内存使用量达到一定比例后，做一些内存清理工作，以保证有足够的空间来完成正常的处理。在 Redis 中，完成这个工作的就是本文的主角 ------- Redis 内存淘汰机制。一定比例：在 redis 中就是 maxmemory 阈值淘汰策略：在 redis 中目前有两种流行的算法：LRU 与 LFU 算法如果让你来设计一款内存淘汰策

2022-09-22

6640

终于有人把怎么搭建数据指标体系给讲明白了，数据分析师必备

“ 数据岗的核心职能，在于产出数据资产，提升信息的价值密度。” 指标体系就是一个组织最为重要的数据资产。那么：（1）为什么指标体系这么重要？（2）什么是指标体系？（3）指标体系的衡量标准是什么？（4）如何去搭建一套好的指标体系？只要弄清楚了这4个问题，指标体系的搭建工作就迅速地开展、快速地落地，精准地产生业务价值。以上是对于数据同学而言的工作。此外，对于指标体系的使用者而言，例如业务方、管理者等，还有一个重要的问题：（5）指标体系应该怎么用？ ◆ 指标体系为什么这么重要？要搞清楚指标体系

2022-09-20

1.2K0

SQLSERVER backup 命令总结

sql server sql 数据库缓存

◆ 一、概述 SQLSERVER有两个命令用于创建备份，分别是： BACKUP DATABASE BACKUP LOG 这些命令具有可用于创建完整、差异、文件、事务日志备份等的各种选项，以及用于指定备份命令应如何运行以及与备份如何存储的其他选项。 ◆ 二、BACKUP DATABASE BACKUP DATABASE命令提供了许多用于创建备份的选项，这使您可以根据你使用的选项对数据库进行完整备份、差异备份、文件备份等。 ◆ 2.1 创建完整的 SQL Server 备份到磁盘该命令是 BACKUP DAT

2022-09-20

6610

MyBatisPlus又在搞事了！一个依赖轻松搞定权限问题！堪称神器

sql 数据库云数据库 SQL Server mybatis 缓存

◆前言：今天介绍一个 MyBatis - Plus 官方发布的神器：mybatis-mate 为 mp 企业级模块，支持分库分表，数据审计、数据敏感词过滤（AC算法），字段加密，字典回写（数据绑定），数据权限，表结构自动生成 SQL 维护等，旨在更敏捷优雅处理数据。 ◆1. 主要功能字典绑定字段加密数据脱敏表结构动态维护数据审计记录数据范围（数据权限）数据库分库分表、动态数据源、读写分离、数- - 据库健康检查自动切换。 ◆2.使用 ◆2.1 依赖导入 Spring Boot 引入自动依赖注

2022-09-15

1.1K0

领导不懂IT技术，分不清报表和BI，看完这篇文章就懂了

数据分析缓存数据库 sql 开源

国企制造业的IT领导是真的不懂技术，前几天让我做一下工具调研，说想买一套报表工具，让业务人员直接自己做数据分析。我想了很久，报表工具主要是给IT人员使用的，业务人员也就看看数据，哪个公司的业务这么牛还能干起开发了？后来在调研的过程中，我就发现了，他说的是BI工具，能够让业务人员进行自助分析，助力决策。难怪领导搞不懂，这得是接触过两种工具的，才能说清个所以然。这边给大家介绍一下，帮大家分清楚。这里我用FineBI和FineReport来举例说明，两个都是帆软公司的数据分析类工具，侧重点不太一样。用一张图

2022-09-14

1K0

MIT开源协议，一款百分百开源、支持商用的亚马逊ERP系统

开源缓存 erp spring maven

◆ 一、开源项目简介 Wimoor erp是一款基于SpringBoot框架和SaaS模式的ERP，是专业的亚马逊一站式管理系统，系统功能涵盖了采购、发货、运营、广告、财务等各个模块，主要模块有经营分析、广告管理、进销存管理、FBA货件管理、智能利润计算、财务核算等。还有物流跟踪、跟卖监控，广告分时调价等特色功能，拥有库存报表、发货报表、销售周报等各类统计报表。同时对角色和权限进行了细致全面的控制，精确到每个按钮和菜单。 ◆ 二、开源协议使用MIT开源协议本系统100%开源，支持商用，遵守MIT协议，采

2022-09-13

4K1

替代ELK：ClickHouse+Kafka+FlieBeat才是最绝的

jquery es 编程算法 kafka 缓存

一、背景 saas 服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。二、Elasticsearch vs ClickHouse ClickHouse 是一款高性能列式分布式数据库管理系统，我们对 ClickHouse 进行了测试，发现有下列优

2022-09-08

8580

Windows 上最快的复制/备份软件FastCopy|主要是免费

缓存 unix 编程算法

◆ 一、概述前2天分享了2个数据备份的软件freefilesync、DSynchronize，今天再分享一个更小小巧便捷数据复制备份软件-FastCopy。主要特征： FastCopy 是 Windows 上最快的复制/备份软件它支持 UNICODE 和超过 MAX_PATH（260 个字符）的文件路径名。因为它使用多线程进行读/写/验证，重叠I/O，直接I/O，所以它带来了设备的最佳速度。它支持像 UNIX 通配符一样的包含/排除过滤器。它运行速度快并且不占用资源，因为不使用 MFC。（仅使用

2022-09-06

2.6K0

90%的人都做错的用户画像，到底应该怎么做？

大数据缓存数据分析

前几天，有个搞运营的小伙伴向我吐槽，熬了几个夜做出来的用户画像被老板说垃圾。不管是市场人员、运营人员还是产品经理，都躲不开“用户画像”，但经常听到伙伴们抱怨，这个词太大了，根本不知道从哪里下手。老李给大家归纳了一套用户画像学习方法，从理论到实践，教大家怎么做好用户画像。 ◆ 什么是用户画像？简单来说，用户画像=给用户打标签。举个例子，如果你关注老李的头条，每天看的都是数据分析类的内容，那你就会被打上“数据分析”、“职场”等标签，下次打开头条，给你推荐的就是“如何转行数据分析”、“数据分析必备工具”等文章

2022-09-06

6000

开源文件备份同步神器-DSynchronize

缓存 sql 数据库云数据库 SQL Server 腾讯云开发者社区

◆ 概述前几天分享了一个常用的开源文件同步工具-freefilesync，今天分享另一个好用的文件备份同步工具-DSynchronize，不像freefilesync支持多平台，DSynchronize目前只支持windows平台。DSynchronize 是一个独立的实用程序，可让您定期同步硬盘、软盘、 LAN 、USB Key、CD-DVD 和 FTP 服务器上的两个或多个文件夹。主要功能列表：标准和定时器同步。实时同步。双向同步。事务同步（由 NTFS 的日志）。选择性过滤器（您

2022-09-02

4.2K0

程序员必知必会的分布式链路追踪技术：SpringCloudSleuth+Zipkin

spring spring cloud http 缓存 maven

◆ Sleuth与Zipkin技术 Spring Cloud Sleuth为Spring Cloud实现了分布式跟踪解决方案，Sleuth可以结合Zipkin做链路跟踪。Spring Cloud Sleuth的服务链路跟踪功能可以帮助我们快速发现错误根源，以及监控分析每条请求链路上的请求性能。Sleuth的主要工作原理是拦截请求，并在日志中加入额外的Span和Trace的相关信息。从Sleuth 2.0.0开始，Sleuth使用Brave作为调用链工具库。Brave是一个用于捕捉分布式系统之间调用信息的工具

2022-09-02

6420

你有真正了解过国产开源框架APM工具——SkyWalking技术有多牛吗

缓存云数据库 SQL Server sql 数据库

◆ SkyWalking技术 SkyWalking是国内一个开源并提交到Apache孵化器的产品，是用于收集、分析、聚合、可视化来自不同服务和本地基础服务的数据的可视化的平台。SkyWalking提供了一个可以对分布式系统甚至是跨云服务有清晰了解的简单方法。SkyWalking符合OpenTracing规范，同时提供更加现代化、炫酷的UI，可以更加直观地监控应用。SkyWalking的官方架构如下图所示。整个系统分为三部分。 Agent：采集Tracing（调用链数据）和Metrics（指标）信息并上报

2022-08-31

1.2K0

缓存层场景实战读缓存，如何更新缓存+缓存的高可用设计+监控

缓存云数据库 Redis 数据库 sql

◆ 如何更新缓存更新缓存的步骤特别简单，共两步：更新数据库和更新缓存。但这简单的两步中需要考虑很多问题。 1）先更新数据库还是先更新缓存？更新缓存时先删除还是直接更新？ 2）假设第一步成功了，第二步失败了怎么办？ 3）假设两个线程同时更新同一个数据，A线程先完成第一步，B线程先完成第二步怎么办？其中，第1个问题就存在5种组合方案，下面逐一进行介绍（以上3个问题因为紧密关联，无法单独考虑，下面就一起说明）。 ◆ 组合1：先更新缓存，再更新数据库对于这个组合，会遇到这种情况：假设第二步更新数据库失败了，要

2022-08-31

7710

基于 Vue3、TypeScript、Vite2、Pinia 开源的后台管理框架

开源 typescript vue.js 打包缓存

◆ 一、开源项目简介 Geeker Admin，基于 Vue3.2、TypeScript、Vite2、Pinia、Element-Plus 开源的一套后台管理框架。 ◆ 二、开源协议使用0BSD开源协议 ◆ 三、界面展示项目截图 1、登录页： 2、首页： 3、表格页： 4、数据大屏： ◆ 四、功能概述项目功能使用 Vue3.2 开发，单文件组件＜script setup＞采用 Vite2 作为项目开发、打包工具（配置了 Gzip 打包、TSX 语法、跨域代理、打包预览工具……）

2022-08-26

1.2K0

从 CPU 讲起，深入理解 Java 内存模型！

java 编程算法缓存

Java 内存模型，许多人会错误地理解成 JVM 的内存模型。但实际上，这两者是完全不同的东西。Java 内存模型定义了 Java 语言如何与内存进行交互，具体地说是 Java 语言运行时的变量，如何与我们的硬件内存进行交互的。而 JVM 内存模型，指的是 JVM 内存是如何划分的。 Java 内存模型是并发编程的基础，只有对 Java 内存模型理解较为透彻，我们才能避免一些错误地理解。Java 中一些高级的特性，也建立在 Java 内存模型的基础上，例如：volatile 关键字。为了让大

2022-06-29

3180

全新升级的AOP框架Dora.Interception

aop 网络安全缓存编程算法

多年之前利用IL Emit写了一个名为Dora.Interception（github地址，觉得不错不妨给一颗星）的AOP框架。前几天利用Roslyn的Source Generator对自己为公司写的一个GraphQL框架进行改造，性能得到显著的提高，觉得类似的机制同样可以用在AOP框架上，实验证明这样的实现方式不仅仅极大地改善性能（包括执行耗时和GC内存分配），而且让很多的功能特性变得简单了很多。这并不是说IL Emit性能不好（其实恰好相反），而是因为这样的实现太复杂，面向IL编程比写汇编差不多。由于A

2022-06-27

2940

什么是可见性？为什么会出现”不可见“？Java并发

缓存数据分析 java 编程算法

◆ 什么是可见性？为什么会出现”不可见“ 我们已经知道 counter.increment();复制代码编译成字节码为 getfield #2 iconst_1 iadd putfield #2 复制代码上一篇已经说过，这里的字节码的执行过程是在工作内存中，但是getField和putField这二条指令其实是跟主内存有交互的，这里还是以Counter类的increment方法为例。 getField指令会从主存中读取count的值，但是并不是每次都从主存中读，因为C

2022-06-14

2620

技术专家带你彻底掌握线程池

spring linux 缓存 spring boot

◆ 1. 导读线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。线程池线程都是后台线程。说到线程池，几乎是项目中必备的、面试中必问的，但是很多人实际并没有彻底掌握这项技能。如生产如何设置核心线程与最大线程配比、线程池的拒绝策略取舍等等。本文包含以下内容：什么是线程池？线程池相关类讲解 JDK 定义的四类线程池线程池的 7 大参数详解 Spring/Spring Boot 使用线程池根据设备 CPU 动态配置线程池常见面试题精讲 ◆ 2. 什么是线程池？

2022-06-01

4320

Java 工程师相见恨晚的神兵利器和使用技巧

云数据库 Redis ide 缓存数据库 markdown

◆ 开发神器 IDEA 配套资源 IDE Eval Reset 首先呢，对于下图的这个东西想必我们大多数开发人员都特别熟悉，这也就是我们平时吃饭的家伙。结合各种网上的教程，本篇幅提供一套简单省事只需两步就可以一劳永逸的方法解决上述问题。一、话不多说，第一步先下载最新稳定版的插件下载地址。二、我们然后在 IDEA 插件模块选择从桌面上安装，如下图所示。安装好之后要重启我们都 IDEA 可能插件才会生效，然后我们点击 help 此时会看到跟我们插件一样的名字。点击之后，我们把序号1的位置勾上，起

2022-05-30

3720

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态