学习
实践
活动
工具
TVP
写文章

关于想做大数据 或者转行做大数据

从08年开始,大数据就成为互联网信息领域大热门。由此而来,大数据企业像雨后春笋般层出不穷。纯粹做大数据服务公司,全国就有数百家之多。 另外,更有成千上万家企业是主要利用大数据来驱动业务发展公司。 其次,大数据人才需求量大,薪资相比其他行业遥遥领先。数万家企业都把大数据当做企业业务发展制高点,都在不惜代价抢滩大数据人才。 我举个例子来说,一位读材料工科本科生,个人对计算机软件很感兴趣,在校期间也曾经编写过一些JAVA程序,对大数据也充满好奇,其朋友公司也刚好有大数据岗位需求,那么他就完全可以安排好大数据学习计划,去从事大数据技术研发工作 那么,好,你一定也可以转行做大数据,只要你想。 大数据是一项技术领域工作,需要掌握技术非常多,你是否有恒心不怕苦、不怕挫折去学 习,把自己欠缺基础完整补回来,比如做大数据研发需要你去学习JAVA基础编程、SQL数据库、Hadoop生态组 件等等

33021

最近做大数据面试官感想

时间是不可逆,我们不可能经历之后,然后再返回来修正自己过去行为,但是我们可以通过观察不同时间段相同职业人现状来修正自己。 ? 面试者工作经验有十年以上,有五六年,还有两三年,每个年龄段都有自己优点和缺点(这是句废话,每个人都是优缺点参半,实际上强调是技术实力优缺点),在这里,其实我想表达事情是通过不同年龄段的人在技术及经验方面的表现 比如,今晚面试(简历就不贴出来了,怕是我粉丝),简历写很大,很强,面试时候架构画还行很流畅,表述还流畅,可以看出确实做了些事情,从数据采集到最终报表展示都做了,由于他数据量比较小,每天才十几个 GB,没怎么问关于数据流调优,算子调优,代码调优等内容,简单问了一下如何保证数据不丢失,如何保证数据处理后结果不重复输出,数据格式等答都是马马虎虎,由于是从java转过来,没有系统学习,我就将就了 提供一次半小时左右电话面试机会,帮助你了解自己弱点,给出学习方案。 一个人学习是寂寞,没效率,一群气味相投之人,在过来人指导下,这样学习才是最有效,最有意思

89440
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    谁能做大数据工程师?

    点击标题下「大数据文摘」可快捷关注 [今日3篇文章] 1.回顾:十大重要脑科学研究 2.谁能做大数据工程师? 3.机不可失,阿里招聘啦! 正因为如此,很多公司会针对自己业务类型和团队分工,给这群与大数据打交道的人一些新头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现Title,我们将其统称为 目前国内数据应用多集中在互联网领域,有超过56%企业在筹备发展大数据研究,“未来5年,94%公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关公司人可以考虑转型。 比如,腾讯数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整数据信息进行梳理,总结出可供查询特征,来支持公司各类业务对数据需求,包括广告投放、游戏开发、社交网络等。 大公司可能按照应用领域维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略互联网公司则会另设最高职位—如阿里巴巴首席数据官。

    25680

    三百云许伟:「做大公司,不断「走出舒适圈」 | 镁客·请讲

    简单理解,监控车贷、车险全流程反欺诈之外,如今三百云还能够同时帮助银行、保险机构数字化管理渠道和业务,并通过数据分析等手段帮助他们开展金融业务、挖掘数据价值再利用等等。 而围绕“数据合规”,三百云也从4个方面入手进行部署: 获得公安部、工信部等国家级权威信息安全认证 聘请专业律师事务所团队进行定期合规指导 成立专门数据安全小组定期给员工进行培训 在技术上进行专门匿名和加密处理 而谈及三百云在赛道内竞争壁垒,许伟则总结到2点: 第一点是自2014年成立公司以来所积累数据。 第二点则是算法,“算法有很多细枝末节东西,它们往往会很大程度上影响结果,就像一个精密齿轮。 截至目前,除了南京大本营,三百云在北京、上海和成都也已经设立分公司,分别承担研发、商务等职责。同时,公司也通过聚焦,在汽车金融市场做到了头部,自2017年就实现了“自我造血”。 但是许伟表示,还是有一点遗憾,遗憾“还没有能够做成一家大公司”。 在他看来,聚焦是一个正确方向,但是仅仅聚焦二手车市场还是相对有一点“狭隘”了,尤其是在当前已经占领相当规模前提下。

    7930

    谁能做大数据工程师?

    于是每家公司对大数据工作要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关经验、有些是希望能找到懂得产品和市场应用型人才。 正因为如此,很多公司会针对自己业务类型和团队分工,给这群与大数据打交道的人一些新头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现Title,我们将其统称为 目前国内数据应用多集中在互联网领域,有超过56%企业在筹备发展大数据研究,“未来5年,94%公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关公司人可以考虑转型。 比如,腾讯数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整数据信息进行梳理,总结出可供查询特征,来支持公司各类业务对数据需求,包括广告投放、游戏开发、社交网络等。 大公司可能按照应用领域维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略互联网公司则会另设最高职位—如阿里巴巴首席数据官。

    38750

    流式数据 | 天天在做大数据,你时间都花在哪了

    数据做了这许多年,有没有问过自己,大数据中,工作量最大和技术难度最高,分别是什么呢? 01 大数据时代 我每天都在思考,思考很重要,是一个消化和不断深入过程。 大数据到底是在做什么,为什么我做了这么多年数据,总是做不完呢? 大数据本质是: 随着科学技术发展,更多数据能够被存储了,能被分析了。所以有了大数据概念。 机器学习本质是: 随着数据变多了,量变导致质变,数据足够大后其内部隐含规律会越来越精确和完整。机器学习则是将数据内存存在这种隐含关联给挖掘出来一项技术。 如何收集 数据要怎么进行清洗 无效数据太多,如何去除 而让我们心灰意冷是 当一个新需求来临时,现有的数据形态似乎不能满足需求,我们又要在现有的数据堆里,重新走数据收集,清理,校验流程。 现在各种存储格式慢慢开花结果: Parquet, 数砖公司大力发展一个存储技术 ORC, Hive 常见一种存储格式 CarbonData, 华为推出一套可支持PB级别的数据格式 总之,我们似乎没有找到一个奇妙技术解决查询问题

    66460

    天天在做大数据,你时间都花在哪了

    数据本质是: 随着科学技术发展,更多数据能够被存储了,能被分析了。所以有了大数据概念。 机器学习本质是: 随着数据变多了,量变导致质变,数据足够大后其内部隐含规律会越来越精确和完整。 机器学习则是将数据内存存在这种隐含关联给挖掘出来一项技术。 大数据最消耗工作量地方是哪里呢? 目前百分之八十工作量都在于数据收集 清理和校验。 这个工作本身并不难,但是真的很繁琐,很费力。 如何收集 数据要怎么进行清洗 无效数据太多,如何去除 而让我们心灰意冷是:当一个新需求来临时,现有的数据形态似乎不能满足需求,我们又要在现有的数据堆里,重新走数据收集,清理,校验流程。 现在各种存储格式慢慢开花结果: Parquet, 数砖公司大力发展一个存储技术 ORC, Hive 常见一种存储格式 CarbonData, 华为推出一套可支持PB级别的数据格式 总之,我们似乎没有找到一个奇妙技术解决查询问题 让所有的计算流动起来,就会让下面的事情变得简单: 我们可以在已经流动数据任何一个环节引入一个新支流。当我要获取数据时,我做本质其实就是 连接两个或者多个节点,并且在其中对数据进行转换。

    15820

    前端如何做大数据校验?json schema配置详解

    场景一: 几年前我在我老东家做发布业务,每天开发表单,对于用户输入各种数据都要进行校验,校验逻辑写了一堆,特别繁琐。 图1 如图1所示,左侧是schema,右侧是需要验证数据(也被称为实例)。type是关键字,代表数据类型,此处我们验证数据是不是字符串,发现结果是ok。 咱们还可以限制字符串长度,如下: ? 图4 图4中,multipleOf属性代表数据只能是这个属性值倍数,比如上图1.2是0.62倍,验证通过,如果数据是1.3,校验就会失败。 最复杂就是描述一个对象,类型是object,如下: ? 图7 如图7所示,可以在properties属性中定义数据key-value,required代表必须存在属性。 图中因为a数据是b,所以res数据必须是bbb,反之就是ccc。 此语法没有if else语句,所以如果想要进行多个条件判断可以和allOf配合使用如下: ?

    1.7K20

    天天在做大数据,你时间都花在哪了

    数据到底是在做什么,为什么我做了这么多年数据,总是做不完呢? 大数据本质是: 随着科学技术发展,更多数据能够被存储了,能被分析了。所以有了大数据概念。 机器学习本质是: 随着数据变多了,量变导致质变,数据足够大后其内部隐含规律会越来越精确和完整。机器学习则是将数据内存存在这种隐含关联给挖掘出来一项技术。 大数据最消耗工作量地方是哪里呢? 目前百分之八十工作量都在于数据收集 清理和校验。 这个工作本身并不难,但是真的很繁琐,很费力。 我们天天感叹: 数据在哪里? 如何收集 数据要怎么进行清洗 无效数据太多,如何去除 而让我们心灰意冷是 当一个新需求来临时,现有的数据形态似乎不能满足需求,我们又要在现有的数据堆里,重新走数据收集,清理,校验流程。 现在各种存储格式慢慢开花结果: Parquet, 数砖公司大力发展一个存储技术 ORC, Hive 常见一种存储格式 CarbonData, 华为推出一套可支持PB级别的数据格式 总之,我们似乎没有找到一个奇妙技术解决查询问题

    26730

    什么才是真正未来数据产业?如何去做大数据创业呢?

    如何把数据大变成大数据,如何把大数据变成数字产业经济已经成为一轮科技革命,那么最近有不少做大数据公司被查,又是为何? 一、国家一边发展大数据,一边不断有大数据公司被查,背后原因是什么? 根据《中国管理科学研究院商业模式研究所数字经济研究中心》2019年公布中国大数据公司top排行榜如下: 排名 公司名 主要业务服务领域 1 talkingdata 移动端用户行为数据挖掘分析等(金融、 从这份2019年大数据排行榜企业涉及主要业务特点我们可以看出,传统数据公司主要其实是服务金融风控行业。 所以国家比较清理掉之前传统那种非法获取数据数据泛滥传播企业。这也就是最近大家频频看到各种曝光某某大数据公司高管被抓等事件。 其实就是为我们后面创新数据产业化发展清理障碍,促进大数据形成健康生态发展。 三、什么才是真正未来数据产业?如何去做大数据创业呢?

    40530

    做大数据再不用提心吊胆了!

    前几天,家住北京市朝阳区程序员诸葛建国非常郁闷,他突然接到客户电话,说公司网站没法正常工作了,登上服务器一看,他大吃了一惊——服务器硬盘满了!! 当时诸葛建国真是怒从心头起,恶向胆边生,马上就想找cloudera客服开喷。这服务器都用了JDT 来监控各种服务运行状态了,怎么硬盘满了没有报警? 在cloudera manager中查看了一番之后发现,clouderaagent只关心自己目录,对主机里其他目录则麻木不仁,正所谓,各人自扫门前雪,莫管他人瓦上霜! 如果想在cloudera集群中监控其他硬盘,则需要利用cloudera提供触发器。在主机上找到图表库,下面有现成一些图表,这样轻轻松松就找到了想监视硬盘 ? 千里之堤毁于蚁穴,千里之行始于足下,有了触发器做监控预警,做大数据再不用提心吊胆了!

    47660

    做大螺丝钉

    工作稳定、分工明确、工具和组件化程度高。 这样带来好处是:组织效率高。 但组织效率高,并不意味着你能有成长。 这就是专业化分工高效性。” 任何一家公司,从老板角度肯定是提高效率、多赚钱。 所以公司必然走向专业化分工,一个工作切成很多块。 每个人都终日重复其中某一块,以提高效率、降低风险和对人依赖。 越大公司,这种现象越明显,但是,这对个人发展是灾难性。 你在大企业里可能成为了一个“人才”,但是,只是企业定制化人才,被体制化了。 说几点避免成为螺丝钉破解方法吧。 ---- — 1 — 跳出舒适区 身边有不少在大厂工作多年遭遇天花板朋友。 有一些想跳到小一点公司或创业公司去拼一把,我都会非常支持。 在大厂积累了一定实力,了解了规范管理、团队运作之后。 去创业公司hold更大职责,可以高速提升认知和能力。 也算是强迫自己从安逸环境中走出一种方式。

    34820

    【答疑解惑】做大数据过程中遇到13个问题

    1、最早数据分析可能就报表 目前很多数据分析后结果,展示形式很多,有各种图形以及报表,最早应该是简单几条数据,然后搞个web页面,展示一下数据。 有些数据时业务积累,像交易订单数据,每一笔交易都会有一笔订单,之后再对订单数据作分析。 目前我接触过,方案是这样,业务数据在写入数据时候,这里数据库mysql,在数据机器上安装一个程序,类似JMS系统,用于监听binlog变更,收到日志信息,将日志信息转换为具体数据,然后以消息形式发送出来 需要做分析,第一步就是先要把经纬度添加到数据中(如果添加经纬度,这个可以搞http请求来通过地图服务提供商来或者,或者是根据测绘公司基础数据来进行文本切割分析),之后空间数据是二维,但是我们常见代数是一维 类似,不过由于是内存中计算,所以速度快了很多,底层可以介入HDFS文件系统,具体我没有使用过,但是公司内部一个团队目前已经用spark来进行分析了。

    34540

    做大数据工程师需要掌握哪些技能呢?

    于是每家公司对大数据工作要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关经验、有些是希望能找到懂得产品和市场应用型人才。 正因为如此,很多公司会针对自己业务类型和团队分工,给这群与大数据打交道的人一些新头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现Title,我们将其统称为 目前国内数据应用多集中在互联网领域,有超过56%企业在筹备发展大数据研究,“未来5年,94%公司都会需要数据科学家。” ,到最后工作中也不常用,我还没看到谁做大数据处理用到这两个东西,当然你精力很充足的话,可以学学Hibernate或Mybaits原理,不要只学API,这样可以增加你对Java操作数据理解,因为这两个技术核心就是 其实把Hadoop这些组件学明白你就能做大数据处理了,只不过你现在还可能对"大数据"到底有多大还没有个太清楚概念,听我别纠结这个。

    90500

    使用 gravity 做大分表操作

    数据库地址:192.168.2.4 超级账号: dts 密码: dts 假设业务用普通账号叫rd ,密码无所谓。 到dest端是使用replace into方式插入全量数据。 然后再根据启动时候监听binlog 实现增量数据追平操作。 个分表数据同步都配好了,我们可以再插入几条数据测试下。 ; flush tables; 2、通知业务方发版,切换数据库连接到4个新表 3、切换完成后,dba再执行一次删除各个分表脏数据操作, delete from t1_shard1 where user_id

    41850

    聚合数据CEO左磊:我们要做大数据交易行业“天猫”

    简而言之,聚合数据平台今后要继续做大数据领域 “天猫”,是以数据撮合交易为基础服务,并提供创新增值数据服务为一体数据平台。 但这种全面开花状态也造成了大量数据孤岛出现,大数据行业极大丰富与个体数据相对匮乏业已成为大数据交易行业主要矛盾。 以聚合数据为例,2017年,聚合数据将继续夯实平台提升服务质量,布局大数据产业链上下游,在平台做大、做深、做强三个方面进行提升,持续引入高质量数据接口,提升数据服务质量同时;投入更多研发对平台进行优化升级 注:文章部分信息来源于国家十三五大数据产业规划 — 关于作者 — 左磊,毕业于南京航天航空大学计算机科学与技术专业,之后在美国斯坦福大学获得高级网络安全认证,2010年从斯坦福肄业归国创业,2010年在苏州创立新科兰德科技有限公司 公司旗下聚合数据平台,是国内首创互联网专业数据服务平台,为国内最大基础数据API服务平台。

    83260

    【观点】冯军:BAT做大是因为大数据做得好

    2014中国绿公司年会“改变年代:现实与远见”于20日至22日在广西南宁举行。 爱国者公司董事长冯军在“大数据”变革企业经营与管理圆桌论坛上表示,BAT怎么做大,三个企业都是针对它目标客户群,用大数据去提供服务,做精致,做好。 以下为冯军发言实录。 我理解,通俗一点讲,企业家容易理解,其实特别简单,就像BAT怎么做大,三个企业都是针对它目标客户群,用大数据去提供服务,做精致,做好。 比方说百度怎么起来,百度就是专心服务网民,网民想从数据里搜谁查谁,点一下刘积仁老师就可以查出一大堆东西,方便了网民,这就是百度做大原因,就理解大数据了。 既然分析清楚了这几位老大怎么做大,我们作为不管中小企业还是实体经济,现在很清晰该干吗。

    37850

    【推荐阅读】BAT、网易、京东等是怎么做大数据风控

    此外,一直以做大额融资标的著称红岭创投面临转型压力,其董事长周世平最近也表示,随着网贷监管办法出台,限额让网贷生存空间受限制,今后将重点关注智能投顾,金融IT等金融科技,金融大数据解决方案等。 大公司与互金创业企业都在做大数据风控,但商业策略有所不同 以上大数据领域新动作是互金公司发力大数据风控缩影。 近年以来,互金公司对大数据风控布局热情满满,从大公司到创业企业,都在大数据风控上下功夫。 大公司纷纷做大数据风控技术输出 在大公司方面,一个共同特征是,都在开发自己数据体系,利用技术打造风控能力,且将这种能力开放给业界。 目前做大数据风控公司可以分为两派,一派是在数据或技术方面有优势大型企业,一派是近些年在竞争中兴起互金创业公司。大家都在做比较类似的事情,未来行业会有怎样格局?

    80470

    扫码关注腾讯云开发者

    领取腾讯云代金券