腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
IT技术精选文摘
专栏成员
举报
542
文章
799899
阅读量
136
订阅数
订阅专栏
申请加入专栏
全部文章(542)
数据库(89)
java(70)
编程算法(56)
云数据库 Redis(52)
分布式(48)
系统架构(46)
sql(45)
云数据库 SQL Server(42)
存储(41)
spring(33)
其他(31)
缓存(30)
大数据(29)
微服务(26)
jvm(19)
zookeeper(19)
数据结构(18)
nginx(16)
kafka(16)
linux(14)
网络安全(14)
apache(13)
容器(13)
node.js(12)
api(12)
机器学习(11)
http(11)
微信(11)
容器镜像服务(10)
人工智能(10)
kubernetes(10)
jdk(10)
架构设计(10)
tcp/ip(9)
dubbo(9)
数据处理(9)
xml(8)
android(8)
开源(8)
运维(8)
安全(8)
php(7)
消息队列 CMQ 版(7)
mongodb(7)
游戏(7)
压力测试(7)
文件存储(6)
hadoop(6)
mybatis(6)
dns(6)
网站(5)
hashmap(5)
rpc(5)
socket编程(5)
负载均衡(4)
ios(4)
memcached(4)
打包(4)
tomcat(4)
深度学习(4)
aop(4)
rabbitmq(4)
https(4)
网站建设(4)
hbase(4)
面试(4)
html(3)
nosql(3)
mvc(3)
自动化(3)
spark(3)
udp(3)
小程序(3)
数据分析(3)
腾讯云开发者社区(3)
innodb(3)
synchronized(3)
优化(3)
区块链(2)
NLP 服务(2)
自动驾驶(2)
javascript(2)
git(2)
github(2)
云直播(2)
访问管理(2)
黑客(2)
爬虫(2)
shell(2)
正则表达式(2)
spring boot(2)
kernel(2)
spring cloud(2)
nest(2)
Elasticsearch Service(2)
int(2)
io(2)
nio(2)
select(2)
semaphore(2)
磁盘(2)
前端(2)
线程(2)
线程安全(2)
线程池(2)
硬件(2)
原理(2)
源码(2)
云点播(1)
弹性伸缩(1)
人脸识别(1)
DNS 解析 DNSPod(1)
c 语言(1)
c++(1)
c#(1)
go(1)
lua(1)
.net(1)
servlet(1)
react(1)
css(1)
ajax(1)
webview(1)
qt(1)
oracle(1)
postgresql(1)
access(1)
ide(1)
maven(1)
unix(1)
负载均衡缓存(1)
神经网络(1)
mapreduce(1)
实时音视频(1)
互动直播(1)
命令行工具(1)
TDSQL MySQL 版(1)
短信(1)
腾讯云测试服务(1)
es 2(1)
图像处理(1)
数据备份(1)
日志数据(1)
在线旅游(1)
出行(1)
devops(1)
html5(1)
图像识别(1)
强化学习(1)
gui(1)
yum(1)
jdbc(1)
推荐系统(1)
自动化测试(1)
cdn(1)
敏捷开发(1)
jenkins(1)
zabbix(1)
机器人(1)
物联网(1)
nat(1)
图片加速(1)
云计算(1)
任务调度(1)
虚拟化(1)
mvcc(1)
数据脱敏(1)
即时通信 IM(1)
bug(1)
client(1)
count(1)
cron(1)
db(1)
ddd(1)
equals(1)
feed(1)
feign(1)
handler(1)
input(1)
integer(1)
mobile(1)
output(1)
ribbon(1)
server(1)
simpledateformat(1)
spi(1)
tcp(1)
token(1)
volatile(1)
编程语言(1)
编码(1)
并发编程(1)
操作系统(1)
插件(1)
登录(1)
对象(1)
多线程(1)
服务端(1)
高可用(1)
工具类(1)
工作(1)
后端(1)
计算机科学(1)
架构(1)
架构师(1)
监控(1)
解决方案(1)
接口(1)
客户端(1)
框架(1)
链表(1)
论文(1)
内核(1)
前后端分离(1)
认证授权(1)
设计(1)
设计模式(1)
生命周期(1)
视频(1)
事务(1)
数据(1)
数学(1)
同步(1)
网关(1)
效率(1)
异步(1)
搜索文章
搜索
搜索
关闭
面试题:Redis 集群模式的工作原理能说一下么
云数据库 Redis
node.js
网络安全
大数据
缓存
redis 集群模式的工作原理能说一下么?在集群模式下,redis 的 key 是如何寻址的?分布式寻址都有哪些算法?了解一致性 hash 算法吗?
用户1263954
2019-06-11
4.1K
0
Presto内存调优及原理(基础篇)
大数据
数据库
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。Presto以分析师的需求作为目标,他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择,要么使用速度快的昂贵的商业方案,要么使用消耗大量硬件的慢速的“免费”方案。
用户1263954
2018-07-30
1.1K
0
海量之道之弱联网优化
tcp/ip
http
大数据
数据分析
前言 【弱联网优化】作为海量之道2.0系列课题的基础方法论之一,望文生义,想必定是卖弄移动网络信号不佳时如何优化的奇技淫巧。恭喜你,感觉靠谱,不过我们还想多聊一点其它话题。 移动互联网颠覆着我们的生活方式,这个每时每刻伴随着我们的网络到底有哪些特点,又是如何影响我们接入信息世界的体验呢。以下场景如似曾相识,敬请对号入座: 上班路上收到朋友分享的一张美女图片,缩略图目测衣服用料相当节俭,立马兴奋点开欲详细钻研,却发现怎么脱也脱不下来,不对,是“拖”不是“脱”,仰望苍天,欲哭无泪。 进电
用户1263954
2018-06-22
914
0
OCR检测与识别技术
大数据
在过去的数年中,腾讯数平精准推荐(Tencent-DPPR)团队一直致力于实时精准推荐、海量大数据分析及挖掘等领域的技术研发与落地。特别是在广告推荐领域,团队自研的基于深度在线点击率预估算法及全流程实时推荐系统,持续多年在该领域取得显著成绩。而在用户意图和广告理解上,借助于广告图片中的文本识别以及物体识别等技术手段,可以更加有效的加深对广告创意、用户偏好等方面的理解,从而更好的服务于广告推荐业务。 OCR(Optical Character Recognition, 光学字符识别)是指对输入图像进行分析识
用户1263954
2018-06-22
24.7K
1
高并发大容量NoSQL解决方案探索
nosql
大数据
存储
运维
大数据时代,企业对于DBA也提出更高的需求。同时,NoSQL作为近几年新崛起的一门技术,也受到越来越多的关注。本文分享两大方向内容:一、公司在KV存储上的架构演进以及运维需要解决的问题;二、对NoSQ
用户1263954
2018-06-22
845
0
MySQL的索引是什么?怎么优化?
云数据库 SQL Server
数据库
大数据
索引类似大学图书馆建书目索引,可以提高数据检索的效率,降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降,虽然官方文档说500~800w记录,所以大数据量建立索引是非常有必要的。MySQL提供了Explain,用于显示SQL执行的详细信息,可以进行索引的优化。 一、导致SQL执行慢的原因: 1.硬件问题。如网络速度慢,内存不足,I/O吞吐量小,磁盘空间满了等。 2.没有索引或者索引失效。(一般在互联网公司,DBA会在半夜把表锁了,重新建立一遍索引,因为当你删除某个
用户1263954
2018-06-22
838
0
架构师眼中的高并发架构
缓存
压力测试
大数据
云数据库 Redis
数据库
前言 高并发经常会发生在有大活跃用户量,用户高聚集的业务场景中,如:秒杀活动,定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验,我们需要根据业务场景预估达到的并发量等因素,来设计适合自己业务场景的高并发处理方案。 在电商相关产品开发的这些年,我有幸的遇到了并发下的各种坑,这一路摸爬滚打过来有着不少的血泪史,这里进行的总结,作为自己的归档记录,同时分享给大家。 服务器架构 业务从发展的初期到逐渐成熟,服务器架构也是从相对单一到集群,再到分布式服务。 一个可以支持高并发的服务少不了好的服
用户1263954
2018-05-30
1.4K
0
携程基于大数据分析的实时风控体系介绍
大数据
数据分析
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
用户1263954
2018-04-04
1K
0
大数据查询——HBase读写设计与实践
大数据
hbase
hadoop
分布式
背景介绍 本项目主要解决 check 和 opinion2 张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询。原实现基于 Oracle 提供存储查询服务,随着数据量的不断增加,在写入和读取过程中面临性能问题,且历史数据仅供业务查询参考,并不影响实际流程,从系统结构上来说,放在业务链条上游比较重。本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求。下面列一些具体的需求指标: 数据量:目前 check 表的累计数据量为 5000w+ 行,11GB;opinion 表的
用户1263954
2018-01-30
1.3K
0
深度解析京东个性化推荐系统演进史
大数据
机器学习
系统架构
在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集。2013年,国内大数据时代到来,一方面如果做的事情与大数据不沾边,都显得自己水平不够,另外一方面京东业务在这一年开始飞速发展,所以传统的方式已经跟不上业务的发展了,为此推荐团队专门设计了新的推荐系统。 随着业务的快速发展以及移动互联网的
用户1263954
2018-01-30
2.2K
0
MySQL的通用优化方法
数据库
云数据库 SQL Server
大数据
本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了。 1、硬件层相关优化 1.1、CPU相关 在服务器的BIOS设置中,可调整下面的几个配置,目的是发挥CPU最大性能,或者避免经典的NUMA问题: 1、选择Performance Per Watt Optimized(DAPC)模式,发挥CPU最大性能,跑DB这种通常需要高运算量的服务就不要考虑节电了;
用户1263954
2018-01-30
1.9K
0
教你玩转Hadoop分布式集群搭建,进击大数据
hadoop
大数据
终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 基础环境 环境准备 1、软件版本 四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G 四台服务器分配的IP地址:192.168.
用户1263954
2018-01-30
820
0
跟着实例学习ZooKeeper的用法: Leader选举
apache
大数据
zookeeper
Leader Election Barriers Queues Locks Two-phased Commit 其它应用如Name Service, Configuration, Group Membership 在实际使用ZooKeeper开发中,我们最常用的是Apache Curator。 它由Netflix公司贡献给Apache,目前版本2.7.0。 相信你在使用ZK API开发时会遇到让人头疼的几个问题,ZK连接管理、SESSION失效等一些异常问题的处理,Curator替我们解决了这些问题,通过对
用户1263954
2018-01-30
1.2K
0
58同城数据库架构设计思路
数据库
系统架构
sql
大数据
(1)可用性设计 解决思路:复制+冗余 副作用:复制+冗余一定会引发一致性问题 保证“读”高可用的方法:复制从库,冗余数据,如下图 带来的问题:主从不一致 解决方案:见下文 保证“写”高可用的一般方法
用户1263954
2018-01-30
2.3K
0
Hbase 技术细节笔记(上)
hbase
大数据
数据库
前言 最近在跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hbase的理解,对相关知识点做了笔记,并在组内进行了Hbase相关技术的分享,由于Hb
用户1263954
2018-01-30
645
0
PB级海量数据服务平台架构设计实践
大数据
系统架构
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论: 实践背景 该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示: 当前现状 收集了当前已有数据、分工、团队的一些基本情况,如下所示: 数据收集和基础数据加工有专门的Team在做,我们是基于收集后并进行过初步加工的基础数据,结合不同行业针对特定数据的需求进行二次加工的。 数据二次加工
用户1263954
2018-01-30
2.2K
0
日活跃数千万,10亿级APP大数据统计分析平台的架构演进
数据库
mongodb
系统架构
大数据
美图拥有十亿级用户,每天有数千万用户在使用美图的各个产品,从而积累了大量的用户数据。 随着 APP 的不断迭代与用户的快速膨胀,产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果,分析用户
用户1263954
2018-01-30
2.4K
0
携程用户数据采集与分析系统
大数据
分布式
系统架构
一、携程实时用户数据采集系统设计实践 随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问
用户1263954
2018-01-30
2.8K
0
携程如何从海量数据中构建精准用户画像?
大数据
系统架构
用户画像作为“大数据”的核心组成部分,在众多互联网公司中一直有其独特的地位。 作为国内旅游OTA的领头羊,携程也有着完善的用户画像平台体系。目前用户画像广泛用于个性化推荐,猜你喜欢等;针对旅游市场,携程更将其应用于“房型排序”“机票排序”“客服投诉”等诸多特色领域。本文将从目的,架构、组成等几方面,带你了解携程在该领域的实践。 1.携程为什么做用户画像 首先,先分享一下携程用户画像的初衷。一般来说,推荐算法基于两个原理“根据人的喜好推荐对应的产品”“推荐和目标客人特征相似客人喜好的产品”。而这两条都离不开用
用户1263954
2018-01-30
2.6K
0
Kafka Topic架构-复制、故障切换和并行处理
大数据
系统架构
分布式
本文介绍了Kafka主题的架构,并讨论了分区,如何做故障切换和并行处理。 Kafka Topic,日志和分区 回想一下,Kafka Topic是一个命名的记录流。Kafka将Topic存储在日志中。Topic日志被分解成分区。 Kafka将日志的分区扩展到多个服务器或磁盘。将Topic视为类别,流名称或Feed。 主题是固有的发布和订阅风格的信息。主题可以有零个或多个用户称为消费者组。主题因速度,可扩展性和大小等因素被分解成多个分区。 Kafka Topic分区 Kafka将Topic日志分解成分区
用户1263954
2018-01-30
2.5K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档