腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT技术精选文摘

专栏作者

542

文章

766317

阅读量

136

订阅数

面试题:Redis 集群模式的工作原理能说一下么

云数据库 Redis node.js 网络安全大数据缓存

redis 集群模式的工作原理能说一下么？在集群模式下，redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了解一致性 hash 算法吗？

2019-06-11

4K0

Presto内存调优及原理（基础篇）

大数据数据库

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

2018-07-30

1K0

海量之道之弱联网优化

tcp/ip http 大数据数据分析

前言【弱联网优化】作为海量之道2.0系列课题的基础方法论之一，望文生义，想必定是卖弄移动网络信号不佳时如何优化的奇技淫巧。恭喜你，感觉靠谱，不过我们还想多聊一点其它话题。移动互联网颠覆着我们的生活方式，这个每时每刻伴随着我们的网络到底有哪些特点，又是如何影响我们接入信息世界的体验呢。以下场景如似曾相识，敬请对号入座：上班路上收到朋友分享的一张美女图片，缩略图目测衣服用料相当节俭，立马兴奋点开欲详细钻研，却发现怎么脱也脱不下来，不对，是“拖”不是“脱”，仰望苍天，欲哭无泪。进电

2018-06-22

8490

OCR检测与识别技术

在过去的数年中，腾讯数平精准推荐(Tencent-DPPR)团队一直致力于实时精准推荐、海量大数据分析及挖掘等领域的技术研发与落地。特别是在广告推荐领域，团队自研的基于深度在线点击率预估算法及全流程实时推荐系统，持续多年在该领域取得显著成绩。而在用户意图和广告理解上，借助于广告图片中的文本识别以及物体识别等技术手段，可以更加有效的加深对广告创意、用户偏好等方面的理解，从而更好的服务于广告推荐业务。 OCR（Optical Character Recognition, 光学字符识别）是指对输入图像进行分析识

2018-06-22

24.6K1

高并发大容量NoSQL解决方案探索

nosql 大数据存储运维

大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQ

2018-06-22

8270

MySQL的索引是什么？怎么优化？

云数据库 SQL Server 数据库大数据

索引类似大学图书馆建书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。MySQL提供了Explain，用于显示SQL执行的详细信息，可以进行索引的优化。一、导致SQL执行慢的原因： 1.硬件问题。如网络速度慢，内存不足，I/O吞吐量小，磁盘空间满了等。 2.没有索引或者索引失效。（一般在互联网公司，DBA会在半夜把表锁了，重新建立一遍索引，因为当你删除某个

2018-06-22

8200

架构师眼中的高并发架构

缓存压力测试大数据云数据库 Redis 数据库

前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。服务器架构业务从发展的初期到逐渐成熟，服务器架构也是从相对单一到集群，再到分布式服务。一个可以支持高并发的服务少不了好的服

2018-05-30

1.4K0

携程基于大数据分析的实时风控体系介绍

大数据数据分析

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

2018-04-04

9760

大数据查询——HBase读写设计与实践

大数据 hbase hadoop 分布式

背景介绍本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求。下面列一些具体的需求指标：数据量：目前 check 表的累计数据量为 5000w+ 行，11GB；opinion 表的

2018-01-30

1.3K0

深度解析京东个性化推荐系统演进史

大数据机器学习系统架构

在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够，另外一方面京东业务在这一年开始飞速发展，所以传统的方式已经跟不上业务的发展了，为此推荐团队专门设计了新的推荐系统。随着业务的快速发展以及移动互联网的

2018-01-30

2.1K0

MySQL的通用优化方法

数据库云数据库 SQL Server 大数据

本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了。 1、硬件层相关优化 1.1、CPU相关在服务器的BIOS设置中，可调整下面的几个配置，目的是发挥CPU最大性能，或者避免经典的NUMA问题： 1、选择Performance Per Watt Optimized(DAPC)模式，发挥CPU最大性能，跑DB这种通常需要高运算量的服务就不要考虑节电了；

2018-01-30

1.8K0

教你玩转Hadoop分布式集群搭建，进击大数据

hadoop 大数据

终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。 Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备 1、软件版本四台服务器配置，系统：centos6.5、内存：1G、硬盘：20G 四台服务器分配的IP地址：192.168.

2018-01-30

7890

跟着实例学习ZooKeeper的用法： Leader选举

apache 大数据 zookeeper

Leader Election Barriers Queues Locks Two-phased Commit 其它应用如Name Service, Configuration, Group Membership 在实际使用ZooKeeper开发中，我们最常用的是Apache Curator。它由Netflix公司贡献给Apache，目前版本2.7.0。相信你在使用ZK API开发时会遇到让人头疼的几个问题，ZK连接管理、SESSION失效等一些异常问题的处理，Curator替我们解决了这些问题，通过对

2018-01-30

1.1K0

58同城数据库架构设计思路

数据库系统架构 sql 大数据

（1）可用性设计解决思路：复制+冗余副作用：复制+冗余一定会引发一致性问题保证“读”高可用的方法：复制从库，冗余数据，如下图带来的问题：主从不一致解决方案：见下文保证“写”高可用的一般方法

2018-01-30

2.2K0

Hbase 技术细节笔记（上）

hbase 大数据数据库

前言最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hb

2018-01-30

6130

PB级海量数据服务平台架构设计实践

大数据系统架构

基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论：实践背景该数据服务平台架构设计之初，实践的背景可以从三个维度来进行说明：当前现状、业务需求、架构需求，分别如下所示：当前现状收集了当前已有数据、分工、团队的一些基本情况，如下所示：数据收集和基础数据加工有专门的Team在做，我们是基于收集后并进行过初步加工的基础数据，结合不同行业针对特定数据的需求进行二次加工的。数据二次加工

2018-01-30

2.1K0

日活跃数千万,10亿级APP大数据统计分析平台的架构演进

数据库 mongodb 系统架构大数据

美图拥有十亿级用户，每天有数千万用户在使用美图的各个产品，从而积累了大量的用户数据。随着 APP 的不断迭代与用户的快速膨胀，产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果，分析用户

2018-01-30

2.3K0

携程用户数据采集与分析系统

大数据分布式系统架构

一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问

2018-01-30

2.7K0

携程如何从海量数据中构建精准用户画像?

大数据系统架构

用户画像作为“大数据”的核心组成部分，在众多互联网公司中一直有其独特的地位。作为国内旅游OTA的领头羊，携程也有着完善的用户画像平台体系。目前用户画像广泛用于个性化推荐，猜你喜欢等;针对旅游市场，携程更将其应用于“房型排序”“机票排序”“客服投诉”等诸多特色领域。本文将从目的，架构、组成等几方面，带你了解携程在该领域的实践。 1.携程为什么做用户画像首先，先分享一下携程用户画像的初衷。一般来说，推荐算法基于两个原理“根据人的喜好推荐对应的产品”“推荐和目标客人特征相似客人喜好的产品”。而这两条都离不开用

2018-01-30

2.5K0

Kafka Topic架构-复制、故障切换和并行处理

大数据系统架构分布式

本文介绍了Kafka主题的架构，并讨论了分区，如何做故障切换和并行处理。 Kafka Topic，日志和分区回想一下，Kafka Topic是一个命名的记录流。Kafka将Topic存储在日志中。Topic日志被分解成分区。 Kafka将日志的分区扩展到多个服务器或磁盘。将Topic视为类别，流名称或Feed。主题是固有的发布和订阅风格的信息。主题可以有零个或多个用户称为消费者组。主题因速度，可扩展性和大小等因素被分解成多个分区。 Kafka Topic分区 Kafka将Topic日志分解成分区

2018-01-30

2.4K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态