一、大数据技术基础 1、linux操作基础 linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum软件安装 linux防火墙配置 linux高级文本处理命令cut、sed、awk linux定时任务crontab 2、shell编程 shell编程–基本语法 shell编程–流程控制 shell编程–函数 shell编程–综合案例–自
近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛，很多人都想要从事大数据技术开发工作，但是，请问要怎么做，路线是什么？从哪里开始学？学哪些？这是一个大问题。对于我自己来说，最近也在学一些大数据开发相关的技术，所以之前整理了一份《大数据技术学习路线》，希望对你有所帮助。
开始安装: 警告:在安装之前先安装JDK,JDK要求JDK5以上 Linux安装: 运行安装包 sh Install_TW6.1.5.15_Standard_Linux.bin -i console
本文是《Python开发实战案例之网络爬虫》的第二部分：7000本电子书下载网络爬虫开发环境安装部署。配套视频课程详见网易云课堂
昵称：院长 性别：男 爱好：羽毛球，乒乓球，嗨歌，钻研技术 技能：在下方 职位：落魄技术
具有一到五年开发经验，需要学习内容很多,JVM/分布式/高并发/性能优化/Spring MVC/Spring Boot/Spring Cloud/MyBatis/Netty源码分析等. 01、透彻理解Tomcat原理手写动静态资源的实现 02、分享能源领域的分布式监测系统架构 03、分布式系统关键技术Rpc框架详解与实现 04、自己写一个SpringMVC框架 05、使用Jsoup实现网页爬虫功能 06、JAVA高级进阶之NIO通信架构原理详解 07、高手必过之路透彻理解Spring容器IOC的原理分析
一 安装部署 1， 下载 http://archive.apache.org/dist/phoenix/ 本文下载的是apache-phoenix-4.12.0-HBase-1.2-bin.tar.gz 2， 安装 解压之后将phoenix-4.12.0-HBase-1.2-server.jar复制到hbase/lib目录下。 在hbase-site.xml中，添加如下配置 <property> <name>hbase.regionserver.wal.codec</name> <value>or
脱产班Linux周末内容 日期 主题 内容 1 Linux入门 "计算机硬件、操作系统概述 物理服务器、机房、云服务器 GNU/GPL、开源协议 Linux发行版 VMware虚拟机安装CentOS 7.x Xshell优化 ssh远程连接详解 Linux文件目录结构详解 Linux绝对相对路径 Linux环境变量、系统/用户配置文件 " 2 常用命令与服务 "Linux开发常用命令详解 目录管理 pwd、cd、tree、mkdir、touch、ls、cp、mv、rm 文本查看 echo、cat、more、less、head、tail、grep 三剑客 grep、sed、awk 搜索查找 find 文本编辑 vim/vi快捷键技巧 压缩工具zip、unzip、tar、gzip、xz 系统资源管理ps、pstree、top、iotop、free、fdisk、ifconfig、df
自从 2020 年开始，我就发觉网上使用 Ambari 的同学多了很多，随着 cloudera 收购 hdp 并进入收费模式，越来越多的企业选择了 Ambari 来管理大数据平台，Ambari 集成第三方服务的需求也就变得越来越常见。
今天继续分享下Manila系列文章知识，之前两篇博文一个是Manila详解，一个是Manila for Centos的安装部署，今天呢我们采用Python Virtualenv的模式来安装Manila服务:) 。
2.2、登录vSphere Client 新建虚拟机选择 vSphereDataProtection.ova模板安装部署 一直 【下一步】、最后一步输入IP地址、网关、DNS、子网掩码。等待导入部署完成
[Docker]是一个用于开发，交付和运行应用程序的开放平台。Docker 使您能够将应用程序与基础架构分开，从而可以快速交付软件。借助 Docker，您可以与管理应用程序相同的方式来管理基础架构。通过利用 Docker 的方法来快速交付，测试和部署代码，您可以大大减少编写代码和在生产环境中运行代码之间的延迟。
上一篇介绍了安装CNA主机的详细过程。已经安装部署好两台CNA虚拟主机。链接如下： 【FusionCompute】使用VMware Workstaion安装部署CNA(二)_xyb的博客-CSDN博客
本实验使用的版本：VMware® Workstation 16 Pro 16.2.3
时下流行的两款IDE工具多为idea，Eclipse等产品，相比之下，idea更便捷，以页面样式，快捷性赢得了市场大部分开发者的喜爱。
◆概述 提到系统启动U盘，大家可能想到大白菜、 Rufus等。今天推荐一个新一代多系统启动U盘解决方案-Ventoy，它是一个制作可启动U盘的开源工具。有了Ventoy你就无需反复地格式化U盘，你只需要把 ISO/WIM/IMG/VHD(x)/EFI 等类型的文件直接拷贝到U盘里面就可以启动了。你可以一次性拷贝很多个不同类型的镜像文件，Ventoy会在启动时显示一个菜单来供你进行选择。 Ventoy支持同一个U盘多种不同的模式，如x86 Legacy BIOS、IA32 UEFI、x86_64 UEFI、A
如果有不会安装部署以上服务的，请参考公众号往期文章，这里不再赘述了。更多关于构建企业自动化运维平台系列的学习文章，请参阅：企业级自动化运维平台，本系列持续更新中。
本文是通过ansible-playbook的roles功能实现二进制批量自动安装部署Kubernetes集群服务。本想做成离线版本，但由于coredns,ingress,dashboard插件需要拉取镜像，（这里把flannel做成非容器安装版）如需容器版去https://github.com/flannel-io/flannel中获取yaml文件
Docker的思想来自于 集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的，那我就可以用一艘大船把他们都运走。
JDK.TomCat.Mysql安装部署 JDK安装部署 TomCat安装部署 Mysql安装部署 JDK安装部署 1、软件包的上传大到/export/soft 2、加压安装包到/export/servers tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers/ 3、修改系统配置 创建vi /etc/profile.d/java.sh文件，添加一下内容，保存并退出 export JAVA_HOME=/export/server
作为一名Oracle DBA，工作中无可避免的需要安装部署Oracle数据库，例如生产建库，恢复测试，容灾搭建等等。众所周知，Oracle从零开始安装部署一套数据库需要花费大量的时间和精力。往往有时候因为粗心敲错代码就导致安装部署失败的情况时有发生，那么如何能够快速，稳定且轻松的实现Oracle数据库的安装部署呢？
安装部署说明 1、需要的ISO镜像文件： VMware-VCSA-all-6.5.0-8307201.iso 2、安装部署VCSA 6.5，不需要提供额外的虚拟机作为宿主机。 3、本次将VCSA 6.5 部署在esxi主机上。内存至少需要12GB以上。
在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。
这是一个笔记，最近在搞GPU服务器的安装部署，遇到很多问题，把过程记录下来。相关文章：
对于很多企业而言，使用SSL证书加密网站已经显得尤为重要，这不仅仅是关乎企业的网站安全，同时也关系着企业的形象以及用户的信赖。既然使用https协议已经众多企业认可，那么我们该如何给自己的网站申请以及安装SSL证书？
在工作中接触到了redis,Redis是一个非常高效的key-value的数据库，在项目中广泛使用，但是redis很明显的缺点是对于内存的处理，在项目上线之初，必须对内存规划合理，否则很容易出现内存爆了的现象，一般较合理的内存大小为电脑物理内存的3/5。
上一篇中介绍和讲解、分享了Wireshark在Windows系统上安装部署，今天就介绍和讲解、分享Wireshark在MacOS系统上安装部署。Wireshark不仅是Windows系统网络协议分析软件也是一款mac网络协议分析软件，任何负责的网络分析人员都对这个软件情有独钟。如今，几乎没有哪种产品像它这样拥有如此持久的魅力，很容易看出其中的原因。网管员如果想知道自己的网络上到底在发生着什么，不妨用这款软件来捕获数据包，然后用一种易于使管理员跟踪计算机之间的会话和数据流的方式显示这些数据包。这款软件拥有大量的排序和过滤选项，供用户查找正在苦苦寻找的确切信息。
ThinkSNS(简称TS)，一款全平台综合性社交软件系统，10年来为国内外大中小企业和创业者提供社交化软件研发及技术解决方案。目前有ThinkSNS V4、ThinkSNS+两个并行系统。
简介 Nginx是一个web服务器也可以用来做负载均衡及反向代理使用，目前使用最多的就是负载均衡， 具体简介我就不介绍了百度一下有很多，下面直接进入安装步骤，一点要说的是Nginx的安装还是在宿主机比较好， 不建议安装在Docker内 下载Nginx及其组件 选择相对应的Nginx安装包：http://nginx.org/download/ wget http://nginx.org/download/nginx-1.15.2.tar.gz 安装依赖 wget http://www.openssl.o
数据中台已经被很多公司应用，数据中台资料也不少，可是作为程序员更关心的是该如何代码实现。下面是中台相关代码实现及说明。
1、首先上官网下载Redis 压缩包，地址：http://redis.io/download 下载稳定版3.0.7即可。
有的同学会觉得安装部署应该是很容易的一件事情，其实应该是这样的，但是在实际工作中会发现有很多的因素导致安装部署成为了一种耗时的工作。主要的原因在于数据库本身的安装部署是技术可控的，在这些因素之外，其实还有很多流程的贯通，这些是需要花费不少的时间的，从性价比来说，一次构建，持续改进，效果还是很不错的。
使用VS自带的打包模块可以很方便的对项目进行打包部署，同时我们也可以在安装部署时操作注册表实现开机启动软件。具体实现如下： 创建安装部署这部分就不用说了，添加安装部署项目后，鼠标右键安装项目->视图->注册表， 要使软件在开机就运行，可以在HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run中添加键值保存软件目录。在这里我们依次添加以上的项，然后在Run中添加键值，键名可以自己起，value要填软件的物理路径。物理路径是客户在部署确
1. 方案1：bios->advance ->2.4G Decode. -------------【证实无效】
在开源堡垒机领域, 很多人都知道jumpserver, 但是jumpserver安装相对较复杂, 新手容易出现各种坑。
Robot Framework是一款Python编写的功能自动化测试框架。具备良好的可扩展性，支持关键字驱动，可以同时测试多种类型的客户端或者接口，可以进行分布式测试执行。主要用于轮次很多的验收测试和验收测试驱动开发（ATDD）。
有输入必定有输出，输入效率越高，涉猎范围越广，产出内容越优质。优质的内容 + 优质的输出平台 = 好的个人名片。
1、 准备环境 1， 软件准备 Java-- jdk-8u121-linux-x64.tar.gz Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错) Hive-- apa
说明：本文汇总Oracle安装部署，版本升级，应用补丁等相关内容，方便快速查阅。 其中参考随笔是汇总我自己总结的原创作品，参考文章是汇总其他作者的相关优秀作品。
Teleport 是一款简单易用的堡垒机系统，具有小巧、易用、易于集成的特点，支持 RDP 和 SSH 协议的跳转和管理。
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 从官网的介绍来看Kylin是一个OLAP的数据查询引擎，其特点就是快。公司最近准备引入Kylin做数据分析，原来也听说过 但一直没有接触，现在正好可以验证下Kylin是否是传说中那么NB，今天我们先来看看如何安装部署Kylin。 由于Kylin本身只是一个Server，所以安装部署还是比较简
最近在研究hdfs，hive与ranger配合完成ACL访问控制，本文总结下遇到的问题。
写在第8期特辑 “大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及。为了满足众多同学学习和工作的需要，后面社区根据情况逐渐推出专门的分类集锦，希望大家喜欢！ 特别提醒，文末有惊喜！ 以下是专门NoSQL集合正文，限于众编辑水平有限，不保证大家都喜欢。 1 高性能Redis Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value类型的NoSQL数据库。 http://dwz.cn/78OTPp 2 Hbase的架构及设计 阐述了HBas
前面Fayson有很多篇文章介绍CDH各个版本的安装部署，在安装部署的前置条件中说明需要在统一的操作系统版本进行部署。部分用户早期在RedHat7以下版本部署CDH集群，在后续集群扩容时使用了RedHat7版本的操作系统，对于这种跨操作系统安装部署或扩容CDH集群如何解决？本篇文章Fayson主要介绍如何跨操作系统扩容CDH集群。
工欲善其事，必先利其器，对于老司机而言，更多是喜欢自己安装部署使用得心应手的工具集，每个老司机都有自己的工具集和操作系统，但是对于初学者而言，使用的工具很少，也不知道哪些工具适合自己，而且每个工具的部署所依赖的环境和基础组件都有所不同，很容易耗费大量精力在工具的安装部署上，所以这些集成黑客系统就变成了初学者的首选。
Teleport是一款简单易用的开源堡垒机系统，具有小巧、易用的特点，支持 RDP/SSH/SFTP/Telnet 协议的远程连接和审计管理。
很多人都不知道堡垒机的具体作用是什么，说到堡垒机的作用，就是保障信息的不泄露。严格来说，堡垒机就相当于一个防御网，抵御外部的入侵，防止信息被非法分子窃取等等，因此企业使用堡垒机是很有必要的。下面为大家简单介绍堡垒机需要前置服务器的相关知识。
安装过 hadoop 集群的人都应该清楚，hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装 hadoop 可能就需要几天时间，运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统，目的就是简化 hadoop 生态集群的安装、配置，同时提高 hadoop 运维效率，以及对 hadoop 集群进行监控。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
