最近几年，我跟很多创业者交流，发现创业最艰难的地方，莫过于创业项目难以实现商业价值。很多时候技术实现了、产品做好了，然后千辛万苦做运营，各种补贴、各种宣传，但是用户就是不买账，活跃度差、留存率低。 很多时候，我们不是不够努力，可是如果方向错了，再多努力似乎也没有用。阿里内部有句话说的是“方向对了，路就不怕远”，雷军也说过“不要用你战术上的勤奋，掩盖你战略上的懒惰”。这两句话都是说，要找好方向、找准机会，不要为了努力而努力，要为了目标和价值而努力。而王兴则更加直言不讳：“很多人为了放弃思考，什么事情都干得出来
对于企业而言，坐拥庞大的数据资源，想要实现大数据分析，首要的就是要搭建起自身的大数据系统平台，而每个公司都有自己特定的业务场景，因此在大数据平台上的需求是不一样的。今天我们仅从通用的角度，来聊聊大数据分析需要什么技术架构？
大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式，很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚，但我们可能却是对大数据应用最好的了代表了。前些时候有分享了一个大数据技术在智慧人社上面的应用案例，最近也一直看一些人力资源方面大数据解决方案的案例，比较集中的都是围绕智慧人社的。
腾讯云大数据技术已经从第一代的离线计算，第二代的实时计算，第三代的机器学习，发展到如今以隐私计算、数智融合以及云原生为代表的第四代。 腾讯云今天在首届大数据峰会上公布，其大数据平台算力规模已经突破千万核，日实时计算量达百万亿级、日运行容器数超亿级，日计算数据量数百 PB，服务的企业客户数超 2 万家，开源社区代码贡献量超 800 万行，进一步呈现了自身在大数据领域的顶级实力。 腾讯云副总裁黄世飞表示，基于全新的技术架构、数据治理理念以及产品能力，从底层的大数据基础引擎、中层的一站式大数据开发治理平台, 再到
我们做政企客户的解决方案支撑工作，一直在跟客户提到“大数据”，通过大数据就能将数据转化成推动精准营销、精准管理的利器。但实际，我们对大数据的理解有多少，今天我们用几张图帮助建立对大数据的技术理解。
10月18日，星环科技正式登陆科创板，成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就，也标志着在当前数字化转型以及信创建设持续推进的背景下，国产大数据基础软件已驶入了发展的快车道。
Google大数据“三驾马车”的第一驾是GFS（Google 文件系统），而Hadoop的第一个产品是HDFS（Hadoop分布式文件系统），可以说分布式文件存储是分布式计算的基础，由此可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。 厨师来来往往，食材进进出出，各种菜肴层出不穷，而不变的则是那口大锅，大数据也是如此。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDF
本文由数元灵科技CEO朱亚东撰写并投递参与“数据猿年度金猿策划活动——2023大数据产业年度趋势人物榜单及奖项”评选。
双十一余韵未歇，刚处理完一波售后及退件等“剁手后遗症”的各方人马也已经为再战双十二做好了准备。截至 12 日零点，天猫双十一成交额达 2135 亿元。与此同时，据国家邮政局监测数据显示，主要电商企业 11 日全天共产生快递物流订单 13.52 亿件，各邮政、快递企业共处理 4.16 亿件，再创历史新高——这一系列庞大的数字背后，是否也包含了你的战绩？随手滑开购物界面，是否曾被“猜你喜欢”中的某样单品达成取向狙击，看穿你的心意？
数据猿导读 本文聚焦背后，从“艰难辛路历程”的角度入手，就是期望能与行业从业者一起找到些许共同点。启发大家的同时，也能换位思考，从另一个侧面了解你的“合作伙伴”，共同推进行业的进步；在商业合作关系中，
关注微信公众号“数据派THU”，后台回复“20210918”可获取《工业安全大数据蓝皮书》。 安全生产一直是经济发展过程中的关键问题。针对我国工业安全大数据领域研究和应用的现状，清华大学-中国人寿财产保险股份有限公司工业安全大数据联合研究中心充分利用其在技术、人才、实践等方面的积累，对工业安全大数据的各个方面开展系统性研究，初步研究成果汇编成这本《工业安全大数据蓝皮书》。本蓝皮书首先给出工业安全大数据的定义和边界，分析工业安全大数据的主要应用领域，给出典型的工业安全大数据技术架构和应用架构，提出工业安全大数
网址：https://www.huodongjia.com/event-1100998594.html
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，腾讯已经成为中国实时数据计算量最大的公司。并且，随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源最全面的公司。
本文介绍了大数据在交通旅游领域的应用，包括旅游交通大数据平台建设、交通旅游大数据应用、交通大数据应用平台构建等方面。同时，还分享了同程旅游大数据在旅游交通领域的应用实践以及南京智慧旅游大数据分析应用实践。
👆点击“博文视点Broadview”，获取更多书讯 伙伴们，你们期待的重磅新书来啦！ 有小伙伴向博文菌反馈说最近是不是没什么新书？ 这怎么可能呢？ 为了满足如饥似渴的大家，博文菌今天就先给大家带来9本近期重磅新书，这其中既有经典书的全新续作，又有行业领军著作，既有让你变得越来越牛的技术书，又有让你变得越来越富的财经书，是不是很期待？ ---- 01 ▊《剑指Offer（专项突破版）：数据结构与算法名企面试题精讲》 何海涛 著 百万程序员圆梦面试皇冠书再续新篇 本书代码用语言已从经典版的C/C
本文系投稿作品 作者 | 杜圣东 大数据文摘欢迎各类优质稿件 请联系tougao@bigdatadigest.cn 前段时间有报道称，有学者质疑“大数据”理论，也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关于BI（Business Intelligence）应用70%-80%都失败的一个调查结论（这里的fail是夸张的说法，更确切地讲应该是没有达到预期效果），本文就来谈谈为什么会出现这样的问题，大数据应用落地的瓶颈是什么？为什么大数据应用容易失败？为什么大数据应用需要敏捷？敏捷
海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。
01 十亿人都在用的健康码运维体系如何设计？ 随着疫情防控模式的迭代，健康码访问DAU逐渐趋于下跌，意味着健康码将逐步完成历史使命，见证着疫情的结束。本文特邀腾讯研发工程师李雄政将从技术架构、可观测体系、运营保障体系等运维体系多方面，总结回顾健康码业务运营过程中的保障技术手段。 原文链接： | 十亿人都在用的健康码运维体系怎么设计？ 更多运维主题文章推荐： | 发布变更又快又稳？腾讯运维工程师经验首发 | 欢乐斗地主平稳运行的运维妙计 02 算法工程师深度解构ChatGPT技术 ChatGPT以令人惊
大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种论坛、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫“街词”，不跟风说两句“大数据长，大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲，大数据这个“圈”太乱了，一点不比“贵圈”好。
<数据猿导读> 在《魔方大数据（10）：大数据预测技术的应用与发展》活动上，数据猿记者零距离对话Dell中国解决方案事业部高级顾问忽林安，他告诉数据猿记者，数据能够支撑企业发展的作用是毋庸置疑的，而数
牛津大学职业研究分析报告可以看到，大数据智能时代首先取代的是比较有规则的职业，如重复性、机械性的会被淘汰，终身学习、人文沟通、信息化与数字化、智能协作等方面的能力将越来越重要。
一直以来，大数据和云计算就好比是马车上的两个轮子，架着海量信息朝着安全与智能化的目标前进。如今，腾讯大数据平台已经成立十三年，数据计算量日均可达到百万亿级，如此庞大的数据计算下，技术平台架构的重要性也是不言而喻。 无论是由自研到开源的一站式海量数据集成框架—Apche Inlong、还是通用的分布式shuffle服务—Firestorm 0.2.0，亦或是大数据计算底座语言模型—腾讯SuperSql等，这些产品都见证了腾讯大数据这些年在自研之路上的成长与发展，也获得了行业内外的关注与支持。 3月7日19点，
👆点击“博文视点Broadview”，获取更多书讯 最近有不少小伙伴在问有没有架构类的书单，博文菌收到了大家的需要，这就安排上！ 俗话说：不想当架构师的程序员不是好程序员。成为架构师几乎是每位开发者入行初期的共同理想。 如何站在架构的视角去看代码世界，如何依托企业业务需求搭建可高用架构，云端架构的设计原则有哪些…… 本期书单为你带来今年出版的10本架构类好书，希望能够帮你建立架构思维，解开架构谜团！ ---- 01 ▊《业务架构・应用架构・数据架构实战（第2版）》 温昱 著 国内知名架构专家创新
导语：在云计算时代，云原生将成为一种新的常态。IDC曾预测，到2023年，将有超5亿的应用和服务以云原生的方式进行开发和部署，这一数字与过去40年以来人们开发的应用总数相当。 而数据湖作为数据存储与治理的新范式，也势必将在云原生趋势下迎来又一轮应用热潮，成为企业在云上开展数据治理的重要抓手。 基于腾讯多年海量数据处理经验，腾讯大数据团队打造了领先的云原生数据湖解决方案——以对象存储COS为数据湖统一存储，以容器服务为云原生资源调度，以DLF元数据管理为统一元数据纽带，整合多个大数据产品，为腾讯云用户提供专
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
日前由西安弈聪信息技术有限公司(简称:弈聪软件)自主开发的的“BDS大数据公共服务平台”通过中国版权保护中心审核并取得国家软件著作权登记证书。
2014年12月12-14日，作为大数据领域最具影响、规模最大的IT盛会——2014中国大数据技术大会暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店圆满落幕。大会历时三天，以国际化的视野，分享了海内外大数据技术的发展趋势；从技术与实践角度探讨“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据基础设施 ”等新技术应用和实践经验；通过创新大赛和培训课程等特色活动，解密大数据创业热点，分享行业实战经验。2014中国大数据技术大会已经成为大数据技术与应用深度结合的新起点，产业界、科技界与政府部
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 10月23日数据湖高峰论坛上，阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人李飞飞表示:“云原生作为云计算领域的关键技术与基础创新，正在加速数据分析全面进入数据库大数据一体化时代”。 △ 阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人李飞飞 他表示，随着数字化转型进程深入推进，企业的数据存储、处理、增长速度发生了巨大的变化，传统数据分析系统在成本、规模、数据多样性等方面面临很大的挑战。云计算的发展正在加
2022年，搜狐智能媒体完成了迁移腾讯云的弹性计算项目，其中大数据业务整体都迁移了腾讯云，上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果，达到了预期的降本增效目标。
最近，谷歌爸爸又收购了一家公司。长期以来，谷歌致力于推动围绕 GoogleCloud 的企业业务，但在这方面的表面一直被亚马逊和微软吊打，这次的收购正是为了弥补自身的短板。
生活不可能像你想象得那么好，但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时，我们可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。 本文转载自：鹅厂技术派 人们常说，腾讯因为微信，拿到了进入移动互联网时代的一张站票，但是在互联网数据像火山一样爆发的前夕，大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。 去年9月份，腾讯云对外宣布其大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过十万亿维度的数据训练
大数据概念想必大家都不陌生，毕竟是近年来最热门的话题之一。在计算机以及互联网如此普及的今天，我们所有人每天都会在互联网上产生大量的数据，例如在淘宝浏览商品时会产生数据，使用社交app进行即时通讯时也会产生数据，每天股市的上涨下跌及交易量也是数据......如此可见，每天互联网上产生的数据是有多庞大，数据可谓是无处不在：
目前大数据已经成为了各家互联网公司的核心资产和竞争力了，其实不仅是互联网公司，包括传统企业也拥有大量的数据，也想把这些数据发挥出作用。在这种环境下，大数据技术的重要性和火爆程度相信没有人去怀疑。
还记得去年人满为患的推荐系统论坛吗？没错，就是那个挤都挤不进去的推荐系统论坛。2017年12月9日，在2017中国大数据技术大会上，该论坛将再次重装上阵！ 推荐系统论坛向来是中国大数据技术大会上最受关注的论坛之一，去年，推荐系统论坛给大家带来了《基于大数据的个性化出行服务与公共资源协同分配》、《易到大数据的过去、现在和将来》、《滴滴交通大数据实战》、《综合交通运行感知体系构建与监测大数据统筹应用》、《携程Spark 算法平台及其应用》等精彩内容。 而在今年的推荐系统论坛上，论坛主席AdMaster技术副总裁
项目背景 大数据及其应用迅速发展，已经渗透到各个行业和业务职能领域，成为重要的生产因素，2015年8月国务院印发《促进大数据发展行动纲要》，将大数据提升为国家战略。在未来的5-10年，我国将把大数据作
据报告显示到2025年，全球将产生180ZB的数据。这些海量的数据正是企业进行数字化转型的核心生产因素，然而真正被有效存储、使用和分析的数据不到百分之十。如何从ZB级的数据中寻找分析有价值的信息并回馈到业务发展才是关键。11月30日UCan技术沙龙大数据专场（北京站）邀请了5位资深大数据技术专家分享他们对大数据的探索和应用实践。
又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。
大数据安全风险伴随大数据应用而生。随着互联网、大数据应用的爆发，数据丢失和个人信息泄漏事件频发，地下数据交易黑灰产造成数据滥用和网络诈骗，并引发恶性社会事件，甚至危害国家安全。 2015年5月，美国国税局宣布其系统遭受攻击，约71万人的纳税记录被泄露，同时约39万个纳税人账户被冒名访问； 2016年8月，犯罪团伙利用非法获取得到的数万条高考考生信息实施诈骗，山东女孩徐玉玉因学费被骗出现心脏骤停，最终抢救无效死亡； 2016年12月，雅虎公司宣布其超过10亿的用户账号已被黑客窃取，相关信息包括姓名、邮箱口令、
来源：五分钟学大数据 本文约10000+字，建议阅读10+分钟 本文将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析。 随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。 但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？ 本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/数
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：
一般情况下，大数据平台指的是使用了Hadoop、Spark、Storm、Flink、Blink等这些分布式、实时或者离线计算框架，并在上面运行各种计算任务的平台。
大家好，我是梦想家 Alex 。在上一篇文章 简单介绍 HDFS，MapReduce，Yarn 的 架构思想和原理，收获和反响还不错，那本篇内容，我们继续，本篇文章，我来为大家介绍 Hive 架构思想和设计原理。
网购、叫车、订外卖、看电影...... 移动互联网各种场景的背后都离不开大数据技术。经过十几年的发展，大数据技术已经成为互联网企业的基础设施。
大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！
数字化转型浪潮是现在进行时，在企业数字化转型的过程中，我们看到一个普遍的趋势，企业对“海量、实时、在线”的数据需求变得更加迫切。数字化转型并不是互联网公司的专利，人工智能、大数据、物联网这些技术也不仅仅是互联网公司才会使用。事实证明，越来越多的传统企业正在应用这些新兴技术进行业务的创新。每一项新技术的应用都需要一定的技术积累，互联网公司也许会配备很多工程师来支持一个数据体系架构。但对于传统公司来说也许不具备这样的实力，他们会发现自己很难驾驭大数据技术栈。此外，传统大技术栈已经慢慢开始难以应对日新月异的业务需求和爆炸性的数据增长。企业的很多业务对数据实时性的要求越来越高，比如风控、反欺诈等，更早地识别和阻断风险可以让企业减少损失；在物流行业，更实时的数据让物流企业可以更实时地调配行车路线和各类资源，以达到更好的运营效率；公共服务也会对实时数据产生要求，如果去柜台办理一个业务，需要等很久才能查到刚刚办的上一个流程的数据，这对于用户体验来说是非常糟糕的。
在《什么的是用户画像》一文中，我们已经知道用户画像对于企业的巨大意义，当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢？
在软件研发从业者的视角里，创新分为两种：一种是与软件研发技术相关的创新，特别是在大数据和AI这种快速发展的领域，需要保持与技术进步的同频；而另一种创新，是与公司业务相关的，不断运用技术实现自动化、智能化、规范化，提高业务服务能力与用户体验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
