11.11光棍节已经过去,12.12促销又要到来,回望双十一的疯狂与激情,哪些人在买小米、哪些人在买华为,哪些人在买林志玲,哪些人在买杜蕾斯,都将是有趣的话题。11月27日,在京东举办的《京东技术解密》新书发布会上,笔者获得了不少11.11京东商城的趣闻大数据,京东网友的性福指数羞答答出炉,卖出80万块香皂、900万卷手纸,大北京的区县性福对比让我惊讶异常。 《京东技术解密》这本书讲述了京东技术团队从30人到4000人的发展历程,详细介绍了京东在海量订单处理、庞大却高效的供应链管理、大型技术团队管理等方面干
英明,携程数据研发专家,负责支付离线数据仓库建设及BI业务需求,对并行计算、大数据处理及建模等有浓厚兴趣。
使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示:
这里的后端基础设施主要指的是应用在线上稳定运行需要依赖的关键组件或者服务。开发或者搭建好以上的后端基础设施,一般情况下是能够支撑很长一段时间内的业务的。此外,对于一个完整的架构来说,还有很多应用感知不到的系统基础服务,如负载均衡、自动化部署、系统安全等,并没有包含在本章的描述范围内。
点击关注公众号,Java干货及时送达 来源:https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如
11月10日,2017第五届中国(广州)国际智慧城市论坛暨云计算大数据物联网应用大会在广州萝岗会议中心隆重开幕,本次大会以“云合物联、数聚力量、智引创新、产城融合”为主题。安恒信息高级副总裁兼首席安全
概要 为什么要做监控 线上发布了服务,怎么知道它一切正常,比如发布5台服务器,如何直观了解是否有请求进来,访问一切正常。 当年有一次将线上的库配置到了Beta,这么低级的错误,排错花了一个通宵,十几个人。 某个核心服务挂了,导致大量报错,如何确定到底是哪里出了问题。 SOA带来的问题,调用XX服务出问题,很慢,是否可以衡量? 由于业务系统数量大,每天都会产生大量的系统日志和业务日志,单流式业务的一台服务器产生的日志达400M 想直接查看内容打开可能几分钟,而且内容之多根本无法查看,给开发和运维带来诸多不便,
作者 CDA 数据分析师 前言 2017年7月29日,由CDA数据分析师主办,以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天,除了引人眼球的主会场以外,当天同步开放11个分论坛,我们将逐一推送每个分论坛的盛况,以及演讲嘉宾速记稿整理,给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会下午的大数据与金融分论坛中,来自IBM、诸葛io、民生银行等六位专家与教授,分享了大数据在金融领域的实践和应用 人工智能助
随着人工智能技术的广泛深入应用,给信息安全行业带来全新的挑战,但同时也带来前所未有的发展机遇。数据泄漏给企业造成的损害日益严重,加强企业数据资产的管理与保护已经刻不容缓。1月12日,由中国信息通信研究院、电子科技大学、企业数据安全技术联盟(筹)联合主办的“2018中国企业和个人数据安全技术大会”在北京国家会议中心隆重召开。来自全国各地的500余位信息化主管部门领导、权威院士、知名专家学者以及国内企业代表汇聚一堂,安恒信息参与协办本次会议,公司高级副总裁、首席安全官刘志乐就数据安全技术实践主题分享了精彩的演讲
日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
原文:http://www.enmotech.com/web/detail/1/735/1.html (复制链接,打开浏览器即可查看)
作者:飒然Hang 原文:www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ (点击文末阅读原文即可前往) 本文更新于2016.12.06,
2017首届粤港澳大湾区新型智慧城市高峰论坛于11月2日在美丽的花城广州召开。本次会议由中国信息协会主办,广州信息协会承办,中国信息协会副会长朱玉,国家工信部杨东日,广州市工信委总工程师胡志刚等领导发
Seren,智行资深研发经理,负责业务系统架构升级和优化,跟踪行业趋势和技术发展方向,
墨墨导读:本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交流讨论。
2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会 (Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第三天的大数据分析及生态系统分论坛中,来自Hortonworks、IBM、京东、百度、eBay、银联智惠和南京大学的七位专家
微博热搜以娱乐为主,头条的热搜更偏向民生与时事。今天,我们先分析分析微博一整年的热搜。
10月12日,由中央网信办网络安全协调局及公安部网络安全保卫局指导,中国计算机学会主办的第32次中国计算机安全学术交流会在苏州隆重举行。本次交流会以“协作·共赢·开创”为主题,中国工程院院士沈昌祥、公
如果公司使用有一个多版本的项目,由于特殊需求,数据库必须放在他们本地,但是公司又需要汇总整个的数据做数据分析,这样就要实时更新每一服务器上的数据库来保证他们的数据为最新的并且要提取他们数据到总部来做数据分析。以前在这上面浪费大量的人力物力,贵公司出一款实时同步数据以及占用资源低,并且支持多个数据库互相同步的的解决方案。所以满心欢喜的来试用本产品。
入侵排查中,如何攻击溯源是一个很关键的环节,是一个收尾阶段,如何做到自动化攻击溯源,则更是技术能力的体现点。
前言 又到一年一度的读书日了,其他节日我们都会过一过,作为一名作者,在这个特殊的时候理应也有点仪式感。所以决定送大家几本签名书(文末有赠书方式)。 最近很多地方受疫情的影响,都在居家办公,居家办公最好的一点就是省去了通勤时间,在北上广这样的城市,一天的通勤时间大概得2个小时,而2个小时其实可以阅读不少书的,所以我们应该利用好这段特殊的时间,多读两本书。 刚好最近京东和当当都在搞活动,要比平常便宜不少,可以趁机囤一波书,不知道买什么书的可以看看我之前列的《一份数据分析师专属的书单》。 如果想要学数据分析工具,
日志分析在入侵检测中的应用越来越广泛,合适的使用日志,使日志产生巨大的价值,本文旨在探讨如何让日志的价值在安全领域发挥作用。
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能,通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
2018年刚刚过去了,在这2019年的开始,我要以一个数据分析er的身份通过我记录了一整年的5个APP,来看看我这一年到底过得怎么样!
2016年初,京东在印尼正式落地了第一个海外本土站点;今年11.11,京东印尼站当天单量同比增长845%,连续三年保持超高速增长。
前段时间写了一篇日志收集方案,Kubernetes日志收集解决方案有部分读者反馈说,都是中小企业,哪有那么多资源上ELK或者EFK,大数据这一套平台比我自身服务本身耗费资源还要多,再说了,现阶段我的业务不需要格式转换,不需要数据分析,我的日志顶多就是当线上出现问题时,把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上,pod可能被调度到不可预知的机器上,如果把日志存储在当前计算节点上,难免会出现排查问题效率低下,当然我们也可以选用一些共享文件服务器,比如GFS、NFS直接把日志输出到特定日志服务器,这种情况对于单副本服务没有任何问题,但是对于多副本服务,可能会出现日志数据散乱分布问题(因为多个pod中日志输出路径和名称都是一样的),下面我介绍通过CNCF社区推荐的fluentd进行日志收集。
数据是企业和社会发展的重要动力,AI从边缘发展到主流,未来十年信息技术将带来巨大“红利” | 大咖周语录
问题 我之前面试一些公司的机器学习或者数据挖掘工程师的职位。感觉自己准备的不够充分。想了解下一般会问哪些问题,考察哪些方面的东西。 我面试过5-6家互联网公司的数据挖掘和分析、机器学习相关职位的工程师。被问到下面一些问题: SVM的原理,SVM里面的核 K-means,如何用hadoop实现k-means naive bayes和logistic regression的区别 LDA的原理和推导 做广告点击率预测,用哪些数据什么算法 推荐系统的算法中最近邻和矩阵分解各自适用场景 用户流失率预测怎么做(
<数据猿导读> 实现数据驱动有两个关键环节:一是数据采集,二是数据分析。对于传统企业来说,往往是这两点都不太具备条件。本文将给大家分享传统企业在数据采集和数据分析上的痛点以及如何解决 来源:数据猿 作
本文由CDA数据分析师小编整理自帆软软件总经理陈炎在2015中国数据分析师行业峰会上的演讲,如需转载请注明出处。 今天,我要跟大家分享的是“管理数据化”。 联想的柳传志先生说过,管理三要素:建班子,
7月17日,由沪苏浙皖四地大数据联盟共同主办的“2018长三角数据智能合作(上海)峰会”在国家会展中心上海洲际酒店成功举办。大会汇集了超过100名数字经济工作相关部门、企事业单位、产业集群与集聚区管委会、行业协会等相关领导,还有500多家龙头企业、独角兽和行业优秀企业代表,共有超过1500人参与了本次峰会。
很多同学在问:数据分析有没有标准思路,有没有分析思维模式。答案当然是:有。但绝不是大家日常在公众号看到的各种炫酷名字。什么SOWT,PEST,二八法、切割法、多维法、业务法……这些名字炫酷有余,可解决真实商业问题的时候没一个靠谱的。今天我们正本清源,一次性跟大家解释清楚:哪些数据思维的常见误区。
注:本文的主要内容是在迅雷公司内部做了分享《大数据成为生产力》 ,150页的PPT,内容太多,讲的速度有些快。删减掉一些敏感信息,汇总主要观点浓缩成为此文,或许对大家构建企业的大数据运营体系有些参考作用。
7月22日电 综合美国《世界日报》报道,全球大数据(big data)时代来临,很多民众感受到大数据带来的便利和好处,由于巨量数据需要分析,分析员则成为很多企业和公司必备的职位,连一些看上去和数据毫不相关的企业,也用分析员进行数据分析并提出改善建议。由此而产生的数据分析以及统计等大学相关专业则成了“香饽饽”、“金饭碗”,很多赴美中国留学生争相申请,这类专业收入高,水涨船高,入学竞争越来越激烈。 两年前“海归”中国的王先生说,他回国后一次到商场买了两条烟,当他刷信用卡结账的瞬间,立刻收到银行打来的电话,问
FTP是一个文件传输协议,用户通过FTP可以从客户机程序向远程主机上传或下载主机,常用于网站代码维护,日常源码备份等。如果攻击者通过FTP匿名访问或者弱口令获取FTP权限,可直接上传webshell,进一步渗透提权,直至控制整个网站服务器。
当我们在开源日志分析系统的领域,谈及 ELK 架构可谓是家喻户晓。然而,这个生态系统并非 Elastic 有意为之,毕竟 Elasticsearch 的初衷是作为一个分布式搜索引擎。其广泛应用于日志系统,实则是一种意料之外,这是社区用户的推动所致。如今,众多云服务厂商在推广自己的日志服务时,往往以 ELK 作为参照标准,由此可见,ELK 的影响力之深远。
采集页面被浏览器加载展现的记录,这是最原始的互联网日志采集需求,也是一切互联网数据分析得以展开的基 础和前提。
搜索:百度,网站的站内搜索,IT系统的检索 数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;新闻网站,最近1个月访问量排名前3
9月25日,iPhone 6s迎来首发,排队、黄牛、晒图再次成为新闻媒体的关键词,但排队的人少了,黄牛也赚的没那么多了,唯有晒图的一如既往的撒欢。中国人买iPhone已经成为一种“现象级”的存在,毫无疑问。 腾讯用一组大数据揭示了国人买iPhone 6s的“真相”(调查样本8182人),结果显示: 1、六成用户不会买老款iPhone,格外喜新厌旧;大约有60%的用户明确表示,不会购买老款iPhone。 2、女人们更加喜新厌旧,明确不买的女性高达60.9%。 3、不出意外,女人更“败家”,超过4成女性明确表示
因为我实习的工作是游戏后端开发,所以难免会遇到游戏领域的一些专业知识,就比如游戏数据分析。因为之前从未接触过游戏这一块,所以很多东西得去学,在之前老大给我一个任务:统计一下XX款游戏近三个月的留存情况、Guide分布、付费情况,当时接到任务脑袋里是蒙的,留存??Guide分布??付费的指标有哪些??这些我都不知道,这些都属于游戏数据分析的内容,本文就记录一下我近期学习的游戏数据分析吧。
岗位:数据分析师【如果有小伙伴也是这个岗位,可以加我微信(xuqiugui_)大家以后一起交流,备注:牛客】 时间:3-22 现场笔试+两轮技术面+hr面/3-26 VP面试 状态:4-3日邮件收到o
清华的小伙伴们看过来,听说校内有一个能力提升项目备受各院系师生推崇,因为它: 群星璀璨——项目吸引了25个院系的名师加盟; 人气超高——历年报名同学累计超3000人,几乎涵盖校内所有院系; 校企联动——知名企业深度参与,提供各种资源和实践机会; 没错,它就是清华大学大数据能力提升项目~ 通过项目学习,同学们将进阶为具有跨学科交叉应用能力的复合型人才!非信息类同学将更具数据思维和跨学科交叉能力,信息类同学将更具产品营销思维和业务管理能力! 2022年秋,大数据能力提升项目全新升级为“3+X”培养方案,
「每天一个数据分析师」新一期内容奉上,请享用~ 人物档案 茹志强,数据分析与挖掘老兵,有6年的通讯行业数据分析工作经验。曾因为备考研究生,通过人大经济论坛接触到数据分析行业,从此入行。闲时喜欢阅读和
综上所述,Elasticsearch之所以这么快,由于其运用多项高效技术,提升数据存储、查询、处理效率,构筑快捷搜索体验。
数据猿导读 最近十来年,国内互联网企业取得了飞速的发展,除了自身实力以外,很大程度上是时代红利推波助澜的作用。人口红利、流量红利和资本红利,这三大红利催生了中国独有的增长模式,『买』 的模式:买流量、
在《网络安全法》正式实施的大背景下,11月8日,为期两天的“2017国际反病毒大会”在天津隆重召开。此次国际反病毒大会以“万物互联背景下反病毒的新挑战”为主题,旨在积极推进技术革新,阐明我国在网络安全
漂亮的平均数并不是数据分析的最优解,只是用数据造出来的虚幻景象,会运营决策造成误导。数据不会说谎,只是做数据的人没有做到精准的分析而导致对数据呈现的错误解读。在用户生命周期各个环节中,用户的转化率和留存率是各不相同的,如果是用各个环节转化率的加权平均来代表整个周期的转化率显然是不正确的;当然如果仅对于留存阶段的留存率来说,新用户进入产品的第一、三、七、十四天的留存率也是各不相同的,显然取平均也是不科学的。
<数据猿导读> SAP推出最新数据仓库应用,帮助企业实现实时数字化运营;“麦谷科技”获同创伟业领投5000万元融资;财新传媒首席技术官黄志敏宣布离职……以下为您奉上更多大数据热点事件 来源:数据猿
8月18日上午,由清华大学研究生院和软件学院共同开设的大数据能力提升项目实践模块必修课——《大数据实践课》在线上进行了期末答辩和成果展示。 授课教师、软件学院闻立杰副教授首先对实践课近八周以来的项目进展情况进行了整体回顾,肯定了同学们在期中答辩时的表现,同时感谢各合作单位和企业导师们提供的真实数据、系统、算力以及对同学们耐心细致的指导,最后预祝同学们答辩顺利。 本次课程的12个实践项目均为企业提供的真实项目,涉及电力、石化、建筑、医疗等行业,来自土木水利学院、环境学院、经管学院等24个院系的同学们依次以小
领取专属 10元无门槛券
手把手带您无忧上云