随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。
文|Slaytanic 随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。 关于Hadoop版本的选择？ 目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是选择Hadoop 1.x用。可能很多人会说，Hadoop都出到2.4，为啥还用1.x呢，说这话一听就没玩过hadoop。 理由一： Hado
我们发现网页内容是通过post请求得到的，返回数据是json格式，那我们直接拿到json数据即可。
0x00 前言 最近发现身边有不少小伙伴想转行做数据工程师，聊天的过程中发现大家对该如何入门有很多迷茫的地方，周末写篇博客记录一下。 哪些人适合继续阅读 数据工程师该如何入门？话题有点大，而且每个人的理解都很不一样，因此我们会先限定一下会对这个话题感兴趣的人群： 做了几年其它软件开发，发现大数据方向更有前景 在校的童鞋，毕业后想搞数据开发，但是学校没相关课程 没搞过软件开发，对之前的工作没信心想搞互联网，发现大数据方向挺不错 本文结构 前面已经限定了一个大致的话题范围，下面介绍一下主要的文章结构： 数据工程
知乎上的如何看待 2019 年 JAVA 开发就业「爆炸」现象引发了热议，结合最近自己的招聘面试，谈谈感想
1.数据挖掘主要是做算法还是做应用？分别都要求什么？ 这个问题太笼统，基本上算法和应用是两个人来做的，可能是数据挖掘职位。做算法的比较少，也比较高级，其实所谓做算法大多数时候都不是设计新的算法（这个可以写论文了），更多的是技术选型，特征工程抽取，最多是实现一些已经有论文但是还没有开源模块的算法等，还是要求扎实的算法和数据结构功底，以及丰富的分布式计算的知识的，以及不错的英文阅读和写作能力。但即使是这样也是百里挑一的，很难找到。绝大读书数据挖掘岗位都是做应用，数据清洗，用现成的库建模，如果你自己不往算法或者
Linux 基金会和在线求职招聘网站 Dice 发布了一份关于开源招聘的调查结。结果显示，相对于其他类型的 IT 工作者，67% 的管理人员更希望雇佣在开源技术方面有所专长的技术人员。
本文以Python爬虫、数据分析、后端、数据挖掘、全栈开发、运维开发、高级开发工程师、大数据、机器学习、架构师这10个岗位，从拉勾网上爬取了相应的职位信息和任职要求，并通过数据分析可视化，直观地展示了这10个职位的平均薪资和学历、工作经验要求。
昨晚在公司留下来主动加班，不是为了赶项目进度，也不是为了改bug，说起来原因让人吃惊：我竟与一位来自北京的粉丝聊了一宿，晚上11点才打车回了住的地方。
看到Boss直聘发布《2017互联网人才趋势白皮书》，只想说新的一年，希望大家火得像Python一样，根本停不下来。接下来，我们一起解读《2017互联网人才趋势白皮书》！
Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了第一名。但排在前四名的语言 Python、C、Java 和 C++都拥有广大的用户群体，并且他们的用户总量也十分相近。实际上，Diakopoulos 在对公司招聘所要求的基本语言分析中，C 语言的需求甚至还要在 Python 之前。 下面是日常Python在公司的一些基础应用： 1、验证算法：就是对公司一些常见设计算法或者公式的验证，公式代码化。 2、快速开发：这个大家应该都比较熟悉，快速开发，就是用成熟框架，更少的代码来开发网站，Py
链接：https://mp.weixin.qq.com/s/gwZtzuw1QXRIDApSPaIDag
近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员，风光背后的危机”，在Java程序员圈子里引起了广泛关注和热议。 2017年，Java 程序员面临更加激烈的竞争。 不得
随着大数据时代的到来，【这次国~家~教~育~部的改革要动真格了】，JAVA程序员们仅有的一点点竞争力很快就不复存在，为什么这么说呢？
本文是春节经典文章回顾专题第一弹。转载自简说Python，作者XksA，详情可以扫描下方二维码关注该公众号
作为一名渣硕，找工作陆陆续续从今年的三月份开始断断续续的刷一些题，看基础到八月份的猛攻阶段，到此，算是得到了一个不错的收获，也拿到了几个offer，算是对自己的一个交代了。 首先，找工作的方向，运维
看到About云中很多成员，特别是初级入门Hadoop成员，当然也包括已经工作的成员，经常会遇到Cloudera的问题。About云邀请了鸟叔，一线资深大数据工程师，任职于某知名直播、免费电子书平台、具有5年的大数据开发经验，从事过开发、大数据架构设计等。下面给大家介绍了企业为什么使用Cloudera及在企业的作用。 1.为什么许多企业使用Cloudera Manager Cloudera Manager的设计目的就是针对企业，为了方便企业数据中心的管理简单和直观，在一定程度上降低了公司的成本 ①人员成本：减少了搭建集群的人员和维护人员； ②时间成本：在一定程度上较Apache版本减少搭建时间，小白式安装,维护时间，任务运行时间， ③提高了公司的资源使用，设置了资源池，有利于任务的高效处理，解决了大数据技术栈中各组件间的兼容性。同时Cloudera Manager提供了一系列的报告和诊断工具，有利于集群性能优化，提供了中央控制器对集群配置统一处理修改。 在功能上 Cloudera Manager 宕机也不会影响到其他组件的任务运行，配置存放于sql数据库，避免了运维人员误操作导致的集群运行失败，主要得益于Cloudera Manager的架构设计。 在组件配置中类window操作，不需要写命令，看到即得到，同时他也提供了对应的Api功开发者使用。 对于权限也分完全管理员和一般管理员，提高了集群的安全性，当集群出现警告会第一时间通过邮件通知，有效的降低了集群宕机的风险。 2.Cloudera Manager 在企业的作用 企业需要的就是这种能高效处理，把更多时间投入到开发的工具上，所以许多企业都会选择基于Cloudera Manager 监控的CDH版本的集群， （1）有效的监控集群的健康状态 （2）有效的解决了hadoop生态圈中各组件及版本的兼容性。
DevOps 到底是 Dev还是Ops？答：属于研发工程师序列，偏向研发域，而不是运维域。
也许在大部分人的眼里，提到IT、计算机或者互联网从业者，想到的都是“程序员”、“技术宅”等title，但其实互联网行业的职业类型很多，每一个方向都有自己的工作职责和职业发展。
如今，大数据的潜入已经开始在日益的改变着各行各业以及我们的生活，同时大数据已经开始广泛的应用于电网运行及优质服务等等各大领域，并且它也正在日益改变着各行各业的生产生活，最重要的是它还引领了大部分大数据人才的变革。但是，对于我们来讲，大数据这个行业就业前景怎么样呢？这对于迷茫的我们来说其实是一个非常重要的信息。
随着大数据时代的到来，有很多JAVA程序员想要转行大数据。 不得不说，大数据行业可以说是为JAVA程序员量身打造的一个朝阳行业？为什么要这么说呢？
我经常会收到读者关于一系列咨询运维方面的事情，比如：杰哥，运维到底是做什么的呀？运维的薪资水平/ 待遇怎么样呢？杰哥帮忙看下这个岗位的招聘需要对于小白来说，能否胜任的了呢？等等。
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。
根据场主了解，Linux高级运维工程师的起薪在8-10K，1-3年工作经验能拿12-16K，3-5年工作经验能拿年薪30-50W。
都说程序员钱多靠谱话稳重，那么我们身边的程序员究竟月薪高到什么程度呢？本文将以Python爬虫、数据分析、全栈开发、运维开发、机器学习、架构师这7个岗位，从某招聘网上爬取了相应的职位信息和任职要求，并通过数据分析可视化，直观地展示了这10个职位的平均薪资和学历、工作经验要求。手把手用代码实现！
本文由马哥教育Python自动化实战班导师wayne撰写，内容略经小编改编和加工，观点跟作者无关，最后感谢作者的辛苦贡献与付出。 你觉得Python真的好吗？或许你在漫天的宣传中看到了这些： 接近英语的简单语法； 开发环境简单，能打字就能写代码； 众多的第三方库； 解释执行，不需要编译； 跨平台，方便移植； 但是作为一个负责任的假程序媛，要跟你说的是：就算再简单的语言，也得学才会会，不要在好不好，真的好不好这些事情上下功夫，要在怎么学如何学上下功夫。 那么，言归正传，我们来看看Python这个神奇的语
内容来源：2018 年 09 月 08 日，携程大数据平台技术总监张翼在“2018开源数据库论坛暨首届MariaDB中国用户者大会”进行《大数据平台在携程的实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
运维部门要保障产品业务稳定性，开发部门要想随时随地快速上线新功能，而线上的故障往往是由新的变更导致的——不管是新发布了版本，还是修改配置，或者是改变了用户某些行为导致流量负载产生变化，传统意义上这两个部门在本质目标上是相对的。所以运维部门往往会要求开发部门对变更或发布做控制，并且规定要走一些繁琐的流程；而开发部门会想法设法绕过这些繁琐步骤，以支持新功能更快上线。
大家都知道， 计算机软件系统离开人通常是无法自主运行的。那么，究竟应该如何去运维一个日趋复杂的大型分布式计算系统呢？雇佣系统管理员（sysadmin）运维复杂的计算机系统，是行业内一直以来的普遍做法。而Google 的做法是——SRE。
SRE，Site Reliability Engineering，中文翻译为站点可靠性工程师，这个词诞生于谷歌内部。将这个词语展开来说：首先，SRE的关注点在于可靠性；其次，SRE中的"S"指的是google.com网站(站点)。简单的从这个词来看，SRE就是负责维护google.com运行可靠性的工程师，当然随着时间的推移，SRE的维护对象不再局限于单一的网站服务，也包括非网站类的基础设施和系统。从以上解释来看，这不就是我们平常说的运维工程师嘛！那么SRE与我们传统认知的运维工程师有什么不同呢？
运维的发展日新月异，曾几何时，运维仅仅是被认知为跑机房，装系统，设计网络，给开发擦屁股。但是现在运维变得极度重要，运维职责也更加细化，譬如稍大点的公司就将运维划分为基础运维，网络运维，DBA, 应用运维，架构师。其实我个人认为系统架构师应该都安排在运维里，开发团队应该率属于运维团队才好。
记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题，对于一个新手来说这这的是个头疼的问题，可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里，可以说对于hadoop的理解一直都是停留在相对较肤浅的层面。后来随着自己的不断摸索以及向圈内的前辈大神请教交流（主要是向大神请教学来的），自己对于hadoop的认识以及应用也就更加娴熟。
随着 Uber 的业务持续增长，我们用了 5 年时间扩展 Apache Hadoop（本文中称为“Hadoop”），部署到了 21000 多台主机上，以支持多种分析和机器学习用例。我们组建了一支拥有多样化专业知识的团队来应对在裸金属服务器上运行 Hadoop 所面临的各种挑战，这些挑战包括：主机生命周期管理、部署和自动化，Hadoop 核心开发以及面向客户的门户。
新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体、3D打印机、物联网……在互联网时代，各种新词层出不穷，令人应接不暇。 这些新的技术、新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。另一方面，云计算和大数据乃至其他助推各个行业发展的IT基础设施的新一轮部署与运维，都将带来更多的IT职位和相关技能技术的要求。 毫无疑问，这些新趋势的到来，会诞生一批新的工作岗位，比如数据挖掘专家、移动应用开发和测试、算法工程师，商业智能分析师等，同时，也会强化原有岗位的新生命力
【编者按】本文作者Raymie Stata是Hadoop即服务公司Altiscale的创始人兼CEO，也是雅虎前任CTO，协助雅虎完成开源策略，并参与Apache Hadoop项目的发起。Hadoop的扩展和运维是非常复杂的过程，在其具体的实施过程中隐藏着潜在的危机，Raymie根据经验罗列了7项危机信号和相应的解决方案，帮助使用者提前避免灾难的发生。 以下为译文： Hadoop扩展是一个非常复杂的过程，这里罗列了7种常见问题和解决方案。 所有Hadoop实施都存在着潜在的危机，包括一些非常棘手的
7 月 28 日，在袋鼠云 2022 产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台 EasyMR」发布。
一、背景介绍 生产环境中，hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。 Apache Hadoop：Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。称为社区版Hadoop。 第三方发行版Ha
Python 现在是越来越火了。 IEEE 发布的 2017 年编程语言排行榜，Python 排第一。 百度指数的搜索趋势，Python稳步上升。 （此趋势图上有个小亮点：那些搜索量骤减的极低值，猜猜
最近遇到了一些朋友在群里讨论数据有哪些工作内容，看了一些讨论后总感觉不是很全面。今晚就顺便整理一波居士自己对数据工作内容的理解，这次会从数据团队的角度出发有哪些工作内容，希望能帮助大家理清思路。
大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。
林元庆离开百度三个多月后（戳这里看大数据文摘此前报道），他的新公司Aibee拿到了1.65亿元的天使轮融资。 作为曾经的百度研究院院长、深度学习实验室（IDL）主任，林元庆这番创业选择了传统行业，与他的前同事、百度前首席科学家吴恩达（Andrew Ng）的选择不约而同（戳这里了解吴恩达新公司landing.ai）。 Aibee（爱笔）寓意AI2B，意即用AI技术对传统行业赋能升级。 对于一家AI创业公司来说，最重要的工作可能是“抢人”——精干的AI团队将成为公司最大的资产。目前，Aibee有近20名员工，其
新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体、3D打印机、物联网……在互联网时代，各种新词层出不穷，令人应接不暇。 这些新的技术、新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。另一方面，云计算和大数据乃至其他助推各个行业发展的IT基础设施的新一轮部署与运维，都将带来更多的IT职位和相关技能技术的要求。 毫无疑问，这些新趋势的到来，会诞生一批新的工作岗位，比如数据挖掘专家、移动应用开发和测试、算法工程师，商业智能分析师等，同时，也会强化原有岗位的新生
在我30岁生日那天的文章中，我在文末给技术新人的几点建议中，第一点就提出来了“技术要先广后精”这个想法，今天我想针对这一点来谈谈我的看法。
在近期的 Kylin Data Summit 上，好买财富平台架构总监王晔倞在互联网专场上分享了好买财富在中间件运维分析平台的演进过程。好买财富为什么选择从广泛应用的 ELK 转向 Apache Kylin 呢？
世界格局在进入 21 世纪之后风云变幻，软件领域同样风起云涌。从硬件到软件，从单机到分布式，从孤岛到互联，程序员的创造力无比强大。但究其本质，软件工程和土木工程其实没有太大的区别，只不过一个是在码字母，一个是在码砖头。至于建筑的主体，设计缺陷，或者地基没打好，一样会垮塌，不管是楼塌了还是软件崩了，都可能成为整个世界都能感知到的大事件。 本文作者刘星先后经历安全行业和大数据领域，2011 年加入淘宝，参与了当时全球最大的 Hadoop 集群的开发和运维，在阿里先后担任数据开发平台研发负责人、研发效能 Aone 研发负责人。本文中，他将从 2003 年淘宝网成立那年开始，回顾总结这些年来软件工程体系的主线技术，探讨变化和趋势，并从自己的视角给出一些观点和思考。
大家好，我是 myh0st ，目前我在拉勾网负责安全相关的工作，包括但不限于：安全建设、等保测评、渗透测试、安全培训等工作，目前我们所在是拉勾下面技术工程部运维中心下面的安全组，直接领导是运维老大，算是比较传统的组织架构吧。目前安全组内有两个人，现在需要招募一个小伙伴来补充我们的不足，我们有自己擅长的东西也有不擅长的，所以这个不擅长的方面就需要一个小伙伴来补充。我来拉勾网工作也就三个月左右，上周刚刚转正，下面就谈一谈我在拉勾工作的一些感想！
本篇文字分享下个人的一些观点,仅代表个人想法，和公司产品及技术没有任何关系；个人说话比较直接，所以不喜勿喷；有些观点除非你有明确的数据或证据，不然大家权当听下就好^_^。 先自我介绍下，sina微博北
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
