作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，当天同步开放11个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会下午的大数据与金融分论坛中，来自IBM、诸葛io、民生银行等六位专家与教授，分享了大数据在金融领域的实践和应用 人工智能助
英明，携程数据研发专家，负责支付离线数据仓库建设及BI业务需求，对并行计算、大数据处理及建模等有浓厚兴趣。
点击关注公众号，Java干货及时送达 来源：https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如
8月18日上午，由清华大学研究生院和软件学院共同开设的大数据能力提升项目实践模块必修课——《大数据实践课》在线上进行了期末答辩和成果展示。 授课教师、软件学院闻立杰副教授首先对实践课近八周以来的项目进展情况进行了整体回顾，肯定了同学们在期中答辩时的表现，同时感谢各合作单位和企业导师们提供的真实数据、系统、算力以及对同学们耐心细致的指导，最后预祝同学们答辩顺利。 本次课程的12个实践项目均为企业提供的真实项目，涉及电力、石化、建筑、医疗等行业，来自土木水利学院、环境学院、经管学院等24个院系的同学们依次以小
随着人工智能技术的广泛深入应用，给信息安全行业带来全新的挑战，但同时也带来前所未有的发展机遇。数据泄漏给企业造成的损害日益严重，加强企业数据资产的管理与保护已经刻不容缓。1月12日，由中国信息通信研究院、电子科技大学、企业数据安全技术联盟(筹)联合主办的“2018中国企业和个人数据安全技术大会”在北京国家会议中心隆重召开。来自全国各地的500余位信息化主管部门领导、权威院士、知名专家学者以及国内企业代表汇聚一堂，安恒信息参与协办本次会议，公司高级副总裁、首席安全官刘志乐就数据安全技术实践主题分享了精彩的演讲
使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示：
众志成城，共抗疫情。腾讯安全联合腾讯云大学、腾讯课堂启动「网安夜校」，为大家提供限时优惠的网络安全课程。欢迎网络安全从业者和信息安全专业学生报名参加学习，快速充电提升自我。
这里的后端基础设施主要指的是应用在线上稳定运行需要依赖的关键组件或者服务。开发或者搭建好以上的后端基础设施，一般情况下是能够支撑很长一段时间内的业务的。此外，对于一个完整的架构来说，还有很多应用感知不到的系统基础服务，如负载均衡、自动化部署、系统安全等，并没有包含在本章的描述范围内。
墨墨导读：本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历，这里先抛砖引玉，欢迎大家一起交流讨论。
作者：飒然Hang 原文：www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ （点击文末阅读原文即可前往） 本文更新于2016.12.06,
10月12日，由中央网信办网络安全协调局及公安部网络安全保卫局指导，中国计算机学会主办的第32次中国计算机安全学术交流会在苏州隆重举行。本次交流会以“协作·共赢·开创”为主题，中国工程院院士沈昌祥、公
hackread 资讯网站消息，两台配置错误的 ElasticSearch 服务器共暴露了约 3.59（35 9019902）亿条记录，这些记录在 SnowPlow Analytics 开发的数据分析软件帮助下收集而来。
问题 我之前面试一些公司的机器学习或者数据挖掘工程师的职位。感觉自己准备的不够充分。想了解下一般会问哪些问题，考察哪些方面的东西。 我面试过5-6家互联网公司的数据挖掘和分析、机器学习相关职位的工程师。被问到下面一些问题： SVM的原理，SVM里面的核 K-means，如何用hadoop实现k-means naive bayes和logistic regression的区别 LDA的原理和推导 做广告点击率预测，用哪些数据什么算法 推荐系统的算法中最近邻和矩阵分解各自适用场景 用户流失率预测怎么做（
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第三天的大数据分析及生态系统分论坛中，来自Hortonworks、IBM、京东、百度、eBay、银联智惠和南京大学的七位专家
导读：马云说996是“修来的福报”；刘强东给你讲了“地板闹钟的故事”；李国庆认为“管理者提高决策科学性比员工加班更有价值”；经济学家林采宜直接怼马云，说“996是一种洗脑文化”。
11月10日，2017第五届中国（广州）国际智慧城市论坛暨云计算大数据物联网应用大会在广州萝岗会议中心隆重开幕，本次大会以“云合物联、数聚力量、智引创新、产城融合”为主题。安恒信息高级副总裁兼首席安全
概要 为什么要做监控 线上发布了服务，怎么知道它一切正常，比如发布5台服务器，如何直观了解是否有请求进来，访问一切正常。 当年有一次将线上的库配置到了Beta，这么低级的错误，排错花了一个通宵，十几个人。 某个核心服务挂了，导致大量报错，如何确定到底是哪里出了问题。 SOA带来的问题，调用XX服务出问题，很慢，是否可以衡量？ 由于业务系统数量大，每天都会产生大量的系统日志和业务日志，单流式业务的一台服务器产生的日志达400M 想直接查看内容打开可能几分钟，而且内容之多根本无法查看，给开发和运维带来诸多不便，
注：本文的主要内容是在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，讲的速度有些快。删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。
前段时间写了一篇日志收集方案，Kubernetes日志收集解决方案有部分读者反馈说，都是中小企业，哪有那么多资源上ELK或者EFK，大数据这一套平台比我自身服务本身耗费资源还要多，再说了，现阶段我的业务不需要格式转换，不需要数据分析，我的日志顶多就是当线上出现问题时，把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上，pod可能被调度到不可预知的机器上，如果把日志存储在当前计算节点上，难免会出现排查问题效率低下，当然我们也可以选用一些共享文件服务器，比如GFS、NFS直接把日志输出到特定日志服务器，这种情况对于单副本服务没有任何问题，但是对于多副本服务，可能会出现日志数据散乱分布问题（因为多个pod中日志输出路径和名称都是一样的），下面我介绍通过CNCF社区推荐的fluentd进行日志收集。
日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
采集页面被浏览器加载展现的记录，这是最原始的互联网日志采集需求，也是一切互联网数据分析得以展开的基 础和前提。
原文：http://www.enmotech.com/web/detail/1/735/1.html （复制链接，打开浏览器即可查看）
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办的2015中国大数据技术大会（Big Da
虽然我们栏目名字叫“每天一个数据分析师”，但本期C君采访了可不止一位，他们有的是从业几年甚至十几年的老兵，有的是从零开始想要转型的准数据分析师。但他们不久前做了同一件事儿，那就是参加了第三届CDA数据
2017首届粤港澳大湾区新型智慧城市高峰论坛于11月2日在美丽的花城广州召开。本次会议由中国信息协会主办，广州信息协会承办，中国信息协会副会长朱玉，国家工信部杨东日，广州市工信委总工程师胡志刚等领导发
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能，通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
中国科学院动物研究所灵长类生态学研究组与德国灵长类研究中心等国内外多家科研机构合作，利用比较基因组、种群基因组及其细胞学功能实验，揭示了乌叶猴属中的石山叶猴种组物种适应喀斯特特殊生境的遗传机制，发现石山叶猴的钙离子通道蛋白（CAV1.2）具有有效减少钙离子内流的作用，从而保证了石山叶猴物种在高钙环境中的正常生活。
作者：兰军 迅雷产品总监，原腾讯、YY语音高级产品经理。“在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，讲的速度有些快。删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。” 推荐关注兰军公众号：BLUES【公众号ID：bluemidou】 本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。例如创业型公司，在缺乏数据研发实力的时候，多数会借助第三方平台进行数据上报与分析。
注：在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。 本文将企业大数
本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。例如创业型公司，在缺乏数据研发实力的时候，多数会借助第三方平台进行数据上报与分析。 下面一张图，是本文的精华概括，后面一一展开与大家探讨。 ◆ ◆ ◆ 数据基础平台 基础的数据平台建设工作，包含数据平台建设，数据规范，数据仓库、产品数据规范，产品ID，用户ID，统一SDK等。 很多公司的数据无法有效利用，就是缺乏统一规范，产品数据上报任由开发按照自己的理解和习惯上报，没有标准化的SDK和上报
综上所述，Elasticsearch之所以这么快，由于其运用多项高效技术，提升数据存储、查询、处理效率，构筑快捷搜索体验。
人民网北京9月24日电 (冯亚涛)中秋、“十一黄金周”即将到来,一大波游客正准备前往各地旅游。业内人士分析,黄金周旅游规模或创历史新高。根据各大在线旅行社的大数据分析,今年长假会出现两个出行高峰；丽江、三亚、北京、厦门等地预计为最受欢迎的国内旅游目的地。有出行计划的游客尽量提前预订门票,避峰出行。 双节将出现两个出行高峰 10月1日为峰值 携程旅行网的数据显示,今年黄金周旅游将呈现三大特点:约50%的游客选择拼假出游,最长休假16天；黄金周转战海外,出境游人数超国内游；中秋国庆档期相撞,今年长假罕见出现了两
为培养高素质大数据分析与应用型人才，提升企业服务地方产业转型升级的能力。12月12日上午，商丘学院副校长单伟龙，商学院院长于世良，副院长袁凯，经济系主任孙双利与CDA数据分析师副总经理刘进，CDA北方区院校事业部总监任重开于商丘学院进行签约授牌仪式。
即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据，可以获知许多对网站运营至关重要的信息。采集的数据越全面，分析就能越精准。
如果公司使用有一个多版本的项目，由于特殊需求，数据库必须放在他们本地，但是公司又需要汇总整个的数据做数据分析，这样就要实时更新每一服务器上的数据库来保证他们的数据为最新的并且要提取他们数据到总部来做数据分析。以前在这上面浪费大量的人力物力，贵公司出一款实时同步数据以及占用资源低，并且支持多个数据库互相同步的的解决方案。所以满心欢喜的来试用本产品。
入侵排查中，如何攻击溯源是一个很关键的环节，是一个收尾阶段，如何做到自动化攻击溯源，则更是技术能力的体现点。
文：傅志华 大数据的产业链从整体上可以分为四大层，包括IT基础层、数据基础层、数据应用层和数据安全层。个人认为在中国市场对于创业者来说，数据应用层的创业机会最多，想象空间也最大。 本文将重点介绍数据应
清华的小伙伴们看过来，听说校内有一个能力提升项目备受各院系师生推崇，因为它： 群星璀璨——项目吸引了25个院系的名师加盟； 人气超高——历年报名同学累计超3000人，几乎涵盖校内所有院系； 校企联动——知名企业深度参与，提供各种资源和实践机会； 没错，它就是清华大学大数据能力提升项目~ 通过项目学习，同学们将进阶为具有跨学科交叉应用能力的复合型人才！非信息类同学将更具数据思维和跨学科交叉能力，信息类同学将更具产品营销思维和业务管理能力！ 2022年秋，大数据能力提升项目全新升级为“3+X”培养方案，
可以看出有能力，能力1，其实在Excel表中是有两个进攻能力的，但是在导入Tableau时，为了区分方便，自动转换成上图所示
日志分析在入侵检测中的应用越来越广泛，合适的使用日志，使日志产生巨大的价值，本文旨在探讨如何让日志的价值在安全领域发挥作用。
你的书架，由我承包 上次的回血送书活动大家热情十分高涨哇！ 宠粉狂魔——博文菌决定要把这个活动长期搞下去 本次主题【数据分析】，活动清单可不止有书哦 本次内容包括 8本新上市的热销好书以及2门爆款视频课 下面是详情介绍，参与方式可直接拉至文末哦～ 当当网图书暑期阅读季开始啦，博文菌为你送上一份【实付满200减50】的优惠码，可以和当前的【每满100减50】活动叠加使用！遇到喜欢的书放肆地入手吧！ 具体怎么用 步骤一，进入当当APP 步骤二，挑选心仪的图书至购物车点击结算 步骤三，点击优惠券/码处
👆点击“博文视点Broadview”，获取更多书讯 在日常的公司运营中，除了设计贴合业务的系统功能，更重要的事情便是决定业务发展走势。要做到这些，我们依赖的一个重要工具便是数据。 例如，我们需要用日活来反映产品当前的客户数，需要用订单中商品的实际销量来分析年初计划中的核心品类销售进度是否健康。 那么，如何在一款产品背后搭建一套完整的数据分析体系，来支撑日常的产品数据需求，便是摆在所有产品经理面前的又一项挑战，当然中台负责人也不例外。 在一家公司中，中台负责人至少需要具备两个技能： 从 0 到 1 设计
参考： https://www.kancloud.cn/java-jdxia/big-data/606445 https://www.cnblogs.com/rmxd/p/11455810.html
Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内，也诞生了一系列专注于企业数据分析业务的明星初创公司，如GrowingIO，神策数据，诸葛IO等。Growth Hacking简单的来说就是用数据驱动的方式来指导产品的迭代改进，以实现用户的快速增长，可以看看上面几家数据分析公司披露的客户就知道它有多流行了： GrowingIO客户：有赞，豆瓣，36Kr等 神策数据客户：秒拍，AcFun，爱鲜蜂，pp租车等 诸葛IO客户：Enjoy，罗辑思维等 我司的一个主要产品是面向中小诊所的运营S
| 导语 在会员服务的极简公式：收入=付费用户数*客单价，上面玩来玩去也绕不开客单价的问题。今天就近期的有效实战经验来分享下调整会员定价提高客单价的几个关键作者：swanshi腾讯高级产品 一、准备调价策略—新价格框架搭建 1.1为什么要调价？ 如果你产品的会员服务价格已经运行了很久，看起来一起都自然而然，但很可能还不在最佳定价上！ 为什么？来看看下面但分析图谱： 上图是一个我在做定价实验时的回收数据，通过不同定价策略，购买用户数量和实际收益会有对应变化 当价格最低的时候，付费人数因价格冲动
还记得去年人满为患的推荐系统论坛吗？没错，就是那个挤都挤不进去的推荐系统论坛。2017年12月9日，在2017中国大数据技术大会上，该论坛将再次重装上阵！ 推荐系统论坛向来是中国大数据技术大会上最受关注的论坛之一，去年，推荐系统论坛给大家带来了《基于大数据的个性化出行服务与公共资源协同分配》、《易到大数据的过去、现在和将来》、《滴滴交通大数据实战》、《综合交通运行感知体系构建与监测大数据统筹应用》、《携程Spark 算法平台及其应用》等精彩内容。 而在今年的推荐系统论坛上，论坛主席AdMaster技术副总裁
性能场景中的业务模型建立是性能测试工作中非常重要的一部分。而在我们真实的项目中，业务模型跟线上的业务模型不一样的情况实在是太多了。原因可能多种多样，这些原因大大降低了性能测试的价值。
Python 可以做任何事情。无论是从入门级选手到专业级数据挖掘、科学计算、图像处理、人工智能，Python 都可以胜任。或许是因为这种万能属性，周围好更多的小伙伴都开始学习 Python。 那Python 现在到底有多热呢？微软开启了一个针对 Excel 功能的话题，用以收集用户的反馈。随后有用户提议让 Python 成为 Excel 的一种脚本语言，不仅可以作为 VBA 的替代品，而且也可以作为字段函数（= SUM（A1：A2））的替代方案。该提议得到了众多用户的支持，得票支持率高于排名第二的提议的
博文视点程序员读书节 第二日 ● 精彩继续 持续关注每日推送 > 更多精彩活动享不停 < 行业大咖私房书单 领域专家精彩联播 十日荐书计划 百份大厂联名福袋 学院课程全场超值秒杀 学院超级会员1元抢 …… 限定活动不间断进行 整整十天高密度福利轰炸 给你安排上了！ ▼ 博文视点程序员读书节 10月15日-10月24日 十日好书&惊喜不间断 一波带走十重满足！我可以！ 第 一 弹 十日荐书计划 第二日 荐书官：张俊红 数据分析师 擅长Python、SQL、Excel 数据科学领域实践分享者 推
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
