展开

关键词

【阳光私塾】告密者,一种历史幽灵的闪现

文章摘自“文化先锋”(微信ID: iwenhuaxianfeng) 【告密】与【举报】:在中国的特殊语境中,这两者不仅有语文上的褒贬之分,而且有宪政方面的本质差异,应警惕有人蓄意混淆。 “举报”通常指平民百姓针对公务员(官员)的职务犯罪(如贪渎等)所进行的检举行为,而“告密”则针对平民和知识分子的意识形态言行。前者基于社会正义,而后者则是国家专制的产物,但往往会打着政治正确的旗号。 在我的个人生命记忆里,告密者曾是一种规模盛大的文化形态,朋友、同事、亲戚和亲人之间互相检举,罗织罪名,俨然一场经久不息的互虐式狂欢,而他们的每一种指控,都会成为政治迫害的重大依据。 据官方数据统计,仅1967年8~9两月的北京,就有1772人被造反学生打死,其中绝大部分是教师。 【栏目介绍:大数据文摘·阳光私塾】 阅读,是一种生活。 有这么一个地方,让我们在普及数据思维,传播数据文化之余,与大家分享一些正能量的文化情愫。

54940

JuiceFS 在搜车数据平台的实践

搜车已经搭建起比较完整的汽车产业互联网协同生态。 在这一生态中,不仅涵盖了搜车已经数字化的全国 90% 中大型二手车商、9000+ 家 4S 店和 70000+ 家新车二网,还包括搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司 , 与搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商,以及与中石油昆仑好客等产业链上下游的合作伙伴。 基于这样的生态布局,搜车数字化了汽车流通链条上的每个环节,进而为整个行业赋能。 说到大数据,对于每个公司都不陌生。 大数据集群现状 搜车目前大数据集群分为离线计算集群和实时计算集群,离线计算基于 Hive 和 Spark,实时计算基于 Flink,这两类集群分别基于 HDP 和 CDH 两套管理方式。

17550
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    58数据平台架构演进-图

    70820

    数据调度平台分类对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)

    数据调度系统,是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的,具有丰富的任务管理功能以及高性能,高可用等特点的轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务,同时支持大数据平台任务调度:MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process 可以通过对用户进行资源、项目、数据源的访问授权。支持,可视化管理文件,及相关udf函数等。

    43820

    快DKH大数据基础数据平台的监控参数说明

    2018年国内大数据公司50强榜单排名已经公布了出来,快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。 本篇承接上一篇《DKM平台监控参数说明》,继续就快的大数据一体化处理架构中的平台监控参数进行介绍和说明。 DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。 今天就把剩下的一些监控参数一起介绍完,关于快大数据处理平台监控参数的介绍就完整了。 kill的应用程序 图片6.png 监控 yarn资源管理中被杀死的应用程序数量 纵轴表示应用程序数量,单位个 横轴表示时间,单位分钟 2、Spark监控界面 注意:(spark 运行任务后才有监控数据

    28620

    美国大数据智能理财平台的5模式

    不过,世易时移,近年来美国出现了智能投资市场,涌现出很多基于大数据分析的智能理财平台,大大降低了财富管理的门槛,让原先处于“服务真空区”的中产阶级也能享受同等的财富管理服务。 ? 智能理财平台为什么会成功? 现在看来,有两因素促成了这些智能理财平台的成功。 首先,ETF基金的出现大大降低了投资成本。 第1种:基于大数据分析给出投资建议 这种类型的平台根据客户在其他理财交易平台的行为数据,全面了解客户的财务状况和投资现状,帮助客户对过去的投资决策做出回顾。 这种模式利用大数据分析技术,让客户在咨询投资顾问之外,有了另一种渠道可以获取投资顾问提供的服务,比如分析需求、解读投资报告和调整投资方案等。 第2种:基于大数据分析购买投资组合 这种类型的平台基于客户的财务状况和风险承受能力,为客户推荐或购买相应的交易型指数基金。 ETF成为这类型平台的首选基金,因为它的周转率低,降低了交易成本。

    51660

    勿谈,且看Bloomberg的中数据处理平台

    时至今日,高核心数、SSD以及海量内存已并不稀奇,但是当下的大数据平台(通过搭建商用服务器集群)却并不能完全利用这些硬件的优势,存在的挑战也不可谓不大。 但是这里仍然存在一个非常的缺点,在任何给定时间,到给定region的读写操作只被一个region服务器控制。如果这个region挂掉,故障将会被发现,故障转移会自动的进行。 通过使用开源平台,我们认真思索来自多个提供商的意见,在中型数据处理上,我们可以看到很大的发展空间。 更重要的是,我们的收获不只是性能一个特性,我们更可以通过开源技术连接到一个更广泛的发展空间。 使用HBase,用户可以在的Portfolio文件上做拆分,并且分配到集群中的多个主机上进行处理。 这就意味着,Java当下已经成为很多高fan out计算系统的基础,其中包括Hadoop、HBase、Spark、SOLR等,同步进行垃圾回收将解决非常的问题。

    52760

    中通大数据平台促中的进化

    而经过这些年的发展,促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的促场景,对包括数据库在内的基础软件提出了很多新挑战 整个快递的生命周期、转运周期可以用五个字来概括——收、发、到、派、签: [在这里插入图片描述] 而支撑整个快递生命周期的平台就是中通大数据平台。 中通从离线到实时的数据兼容再到数仓,有着一套比较完善的大数据平台体系。 ETL 建模也会依托该大数据平台,最终通过大数据平台对外提供数据应用的支持以及基于离线 OLAP 分析的支持,整个数据建模的频率可以支持到半小时级别。 在这个完善的大数据平台基础上,中通开始更多地思考如何增强实时多维分析能力。 [在这里插入图片描述] 中通与 TiDB 的结缘是在 2017 年调研分库分表场景时开始的。

    16440

    5架构:细数数据平台的组成与扩展

    数据处理平台已不集中于传统关系型数据库,各种其他平台层出不穷,也各有其适用范围。 从哪些角度去理解各种数据处理平台的设计思想及发展演进呢? 这种方式有一个弊端是存储的数据量受限于内存的大小,数据量一,索引也增大,数据就饱和了。 2)第二种方式是把的索引结构,拆成很多小的索引来存储。 列式存储尤其适用于表扫描,求均值、最大最小值、分组等聚合查询场景。 列式存储在MPP数据库里面应用广泛,例如RedShift、Vertica及hadoop上的Parquet等。这种结构适合需要表扫描的数据处理问题,数据聚合类操作(最大最小值)更是他的主战场。 列式存储特别适合需要加载数据块,且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中,然后随着时间的推移逐步把这些数据迁移到读优化的存储中。

    47180

    主流大数据采集平台架构分析

    今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台数据采集 任何完整的大数据平台,一般包括以下的几个过程 在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。 在Splunk提供的软件仓库里有很多成熟的数据采集应用,例如数据库(DBConnect)等等,可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。 总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。利用分布式的网络连接,大多数平台都能实现一定程度的扩展性和高可靠性。

    22820

    深度解析快DKM大数据运维管理平台功能

    深度解析快DKM大数据运维管理平台功能 之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。 关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把快DKM大数据运维管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。 DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用,DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。 DKM 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过DKM ,可以方便地部署,并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程,从而减少了部署集群的时间。 2.提供实时的集群概况,例如节点,服务的运行状况; 3.提供了集中的中央控制台对集群的配置进行更改; 4.包含全面的报告和诊断工具,帮助优化性能和利用率; 基本功能:DKM的基本功能主要可以分为四模块

    57450

    干货 | StarRocks在携程住宿智能数据平台的应用

    作者简介 Wenjun,携程资深软件工程师,负责住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣。 一、平台现状 住宿数据智能平台(简称HData)是一个为携程住宿业务提供数据可视化的平台。 让权限的用户通过Clickhouse请求数据,这样可以引流很大一部分用户。 离线T+1数据主要使用Zeus平台,通过Stream load的方式导入,以使用明细模型为主。 T+1数据我们通过携程自研的数据同步平台Zeus进行ETL和导入: 六、DR和高可用 携程对DR有着很高的要求,每隔一段时间都会有公司级的DR演练。

    28620

    腾讯数据平台部总监刘煜宏:这5产品平台,展示了腾讯大数据的核心能力

    腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式,并向在场嘉宾介绍了“腾讯慧聚”的5产品平台。 ? 十年磨一剑,砺得梅花香。 据刘煜宏介绍,腾讯慧聚当前共包括五平台:Dmaster(大数据一站式平台)、Tbase(海量事务处理平台)、TDbank(实时接入平台)、Hermes(实时多维分析平台)、TDinsight(机器学习基础平台 这五平台除了Dmaster是一个一站式、覆盖全流程的平台外,其他四个平台各有侧重。这也是腾讯根据多年服务不同类型客户的经验,所挖掘出的不同需求。 作为实时接入平台,TDbank具有的“高灵活、高可用、高吞吐、低延时”的核心优势,可以从业务数据源获取数据分发给离线/在线处理平台,构建数据源和数据处理系统间的桥梁,将数据处理系统同业务侧的数据源解耦。 实时多维分析平台Hermes,是腾讯针对交互式海量数据分析需求自主研发的数据多维分析平台,是腾讯处理千亿级海量数据用户画像和多维分析的核心技术与经验的积累。

    2.1K90

    洞察|618促,大数据看三电商平台哪家最适合“剁手”?

    618年中促进程过半,天猫、京东商城、苏宁易购促销方式各有不同,都希望借助新品爆品吸引流量,配合促期间的满减打折,提高转化率。 ? ? ? ? ? ? 来源:中国大数据

    42030

    【推荐收藏】六主流大数据采集平台架构分析

    任何完整的大数据平台,一般包括以下的几个过程: 数据采集–>数据存储–>数据处理–>数据展现(可视化,报表和监控) ? 在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。 在Splunk提供的软件仓库里有很多成熟的数据采集应用,例如AWS,数据库(DBConnect)等等,可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。 总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。利用分布式的网络连接,大多数平台都能实现一定程度的扩展性和高可靠性。

    44020

    主流大数据采集平台架构分析

    今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台数据采集 任何完整的大数据平台,一般包括以下的几个过程 在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。 总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。利用分布式的网络连接,大多数平台都能实现一定程度的扩展性和高可靠性。 Splunk作为一个优秀的商业产品,它的数据采集还存在一定的限制,相信Splunk很快会开发出更好的数据收集的解决方案。 来源:36数据 END 投稿和反馈请发邮件至hzzy@hzbook.com。

    27540

    主流大数据采集平台架构分析

    今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台数据采集 任何完整的大数据平台,一般包括以下的几个过程 在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。 在Splunk提供的软件仓库里有很多成熟的数据采集应用,例如AWS,数据库(DBConnect)等等,可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。 总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。

    5.5K81

    【推荐收藏】六主流大数据采集平台架构分析

    任何完整的大数据平台,一般包括以下的几个过程: 数据采集–>数据存储–>数据处理–>数据展现(可视化,报表和监控) ? 在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。 在Splunk提供的软件仓库里有很多成熟的数据采集应用,例如AWS,数据库(DBConnect)等等,可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。 总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。利用分布式的网络连接,大多数平台都能实现一定程度的扩展性和高可靠性。

    67740

    相关产品

    • 大数据处理套件

      大数据处理套件

      腾讯大数据处理套件(TBDS)是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。你可以根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务,来构建您的大数据应用服务……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券