一、大数据技术基础 1、linux操作基础 linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum软件安装 linux防火墙配置 linux高级文本处理命令cut、sed、awk linux定时任务crontab 2、shell编程 shell编程–基本语法 shell编程–流程控制 shell编程–函数 shell编程–综合案例–自
近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛,很多人都想要从事大数据技术开发工作,但是,请问要怎么做,路线是什么?从哪里开始学?学哪些?这是一个大问题。对于我自己来说,最近也在学一些大数据开发相关的技术,所以之前整理了一份《大数据技术学习路线》,希望对你有所帮助。
https://github.com/torvalds/linux/blob/master/arch/x86/entry/syscalls/syscall_64.tbl
收到个读者的问题,他在面试鹅厂的时候,被搞懵了,因为面试官问了他这么一个网络问题:
与 InfoQ 相识的时间不算短了,2017 年 10 月 22 日加入,但 2020 年 9 月才在平台上发布第一篇文章,11 月后才开始连载。
上一篇博客 【Linux 内核 内存管理】分区伙伴分配器 ① ( 分区伙伴分配器源码数据结构 | free_area 空闲区域数组 | MAX_ORDER 宏定义 | 空闲区域的页最大阶数 ) 中 ,
如何成为一名优秀的程序员 要尽量接触代码,能看到代码,能写代码 如何快速成长 要写代码先看代码 好的代码让人看到时可以快速了解,并且能够抓住主要设计精髓 公共库代码 核心系统的代码: 用到的设计,原理 多看代码,保持代码的敏感度 写代码时,多做总结 写的代码要体现设计的思想 如何提升技术 了解项目中架构方面的相关知识,尤其是封装的组件 架构师工作内容简要介绍: 搭建高可用的框架: 搭建数据库时,要考虑如果一台MySQL服务宕机,如何保证业务切换到另一台机器上 要考虑高并发因素: 需要会用ngin
AutoLine采用了Apscheduler库来实现AutoLine的测试用例的执行任务的调度管理
前言 最近主要是做了一些开源项目的源码分析工作,有c项目也有python项目,想提升一下内功,今天分享一下tinyhttpd源码分析的成果。tinyhttpd是一个非常轻量型的http服务器,c代码500行左右,可以帮助我们了解http服务器运行的实质。在分析之前,我们先说一下http报文。 HTTP请求 http请求由三部分组成,分别是:起始行、消息报头、请求正文 Request Line<CRLF> Header-Name: header-value<CRLF> Header-Name: header
Opcache Preloading Opcache 预加载 新增 Opcache 预加载支持。预加载是在模块初始化的时候,将库和框架加载到 OPCache 中的过程
相信大家都遇到过Error: read ECONNRESET这个错误,本文分享针对该错误的分析过程。虽然通过ECONNRESET错误码我们很容易查到这个错误意味着什么,但是通过源码和分析工具进行一次彻底的分析,会让你更加了解这个错误的产生和原理。更让人神清气爽。 本文分为两个部分,首先通过nodejs源码分析这个错误产生的原因,然后通过网络工具抓包的方式捕获这个错误。 1 源码分析 我们从建立一个tcp连接成功后,nodejs执行的操作开始分析(net.js)。
上篇文章 一个有关tcp的非常有意思的问题 中我们讲到,在tcp建立连接后,如果一端关闭了连接,另一端的第一次write还是可以写成功的,文章中也分析了造成这种现象的具体原因。
关于 select, poll, epoll,网络 IO 演变发展过程和模型介绍 这篇文章讲得很好,本文就不浪费笔墨了。
牛客,知乎,开源中国,CSDN,思否,掘金,InfoQ,简书,博客园,慕课,51CTO,helloworld,腾讯开发者社区,阿里开发者社区
Linux内核源码分析方法 一、内核源码之我见 Linux内核代码的庞大令不少人“望而生畏”,也正因为如此,使得人们对Linux的了解仅处于泛泛的层次。如果想透析Linux,深入操作系统的本质,阅读内核源码是最有效的途径。我们都知道,想成为优秀的程序员,需要大量的实践和代码的编写。编程固然重要,但是往往只编程的人很容易把自己局限在自己的知识领域内。如果要扩展自己知识的广度,我们需要多接触其他人编写的代码,尤其是水平比我们更高的人编写的代码。通过这种途径,我们可以跳出自己知识圈的束缚,进入他人的知识圈,了解更
GPIO名为"General Purpose Input/Output",通用目的输入/输出,就是常用的引脚。
在 【Linux 内核 内存管理】物理分配页 ② ( __alloc_pages_nodemask 函数参数分析 | __alloc_pages_nodemask 函数分配物理页流程 ) 博客中 , 分析了 __alloc_pages_nodemask 函数分配物理页流程如下 :
在上一篇博客 【Linux 内核 内存管理】引导内存分配器 bootmem ① ( 引导内存分配器 bootmem 工作机制 | 引导内存分配器 bootmem 的描述 bootmem_data 结构体 ) 引入了 " 引导内存分配器 bootmem " 其作用是在 Linux 内核启动阶段 , 进行内存管理 ;
上一篇博客 【Linux 内核】实时调度类 ① ( 进程分类 | 实时进程、普通进程 | Linux 内核 SCHED_FIFO、SCHED_RR 调度策略 | 实时调度实体 sched_rt_entity ) 引入了 实时调度实体 sched_rt_entity 结构体源码 , 在 Linux 内核源码的 linux-5.6.18\include\linux\sched.h 头文件中 ;
今天给大家分享一个经典的TCP源码分析 PDF (文末有获取方式),基于比较新的内核版本-Linux 4.4.0,从用户态 TCP 编程,到 TCP RFC 协议,TCP 收发路径,TCP 三次握手和四次挥手,TCP 拥塞控制等方方面面的 Linux 实现进行分析注释。
通过此次实验,我将近花了一周的时间去弄懂操作系统linux-2.4.22内核的代码,由于确实在上万行代码的浏览中有些乏力所以写了大量的注释,参考了部分博客,也查阅了大量的资料,回答了实验六要求的六个问题,并提出自己的改进策略:
环境:jdk1.7,slave节点为linux,主节点为Windows。主节点通过ssh方式连接(launch slave agents on unix machines via ssh)。
wgethttp://pkg.jenkins-ci.org/redhat/jenkins-2.39-1.1.noarch.rpm sudo rpm --importhttp://pkg.jenkins-ci.org/redhat/jenkins.io.key sudo yum -y install jenkins-2.39-1.1.noarch.rpm安装完后防火墙放行端口
很简单呀,因为我做了实验和看了 TCP 协议栈的内核源码,发现要增大这两个队列长度,不是简简单单增大某一个参数就可以的。
以太坊源码分析---go-ethereum之MPT(Merkle-Patricia Trie)
在上一篇 《Jetson 中的 zram 技术详解》中已经介绍了相关 Zram 的技术部分以及如何在 Jetson 设备上使用 Zram,本篇文章将着重介绍下 Linux 内核中关于 Zram 的源码部分。
周末的时候,有位读者疑惑为什么 Linux man 手册中关于 netstat 命令中的 tcp listen 状态下的 Recv-Q 和 Send-Q 这两个信息的描述跟我的图解网络写的不一样?
Lambda表达式讲解 接口新特性 函数式接口 方法引用 Stream流 Optional工具类介绍 新的日期时间工具类介绍 注解的增强
个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址:
在 memblock_add 函数 中 , 调用 memblock_add_range 函数 插入了一块内存 ;
command_executor: 表示远程服务器url字符串或自定义的remote_connection.RemoteConnection对象。默认值为:http://127.0.0.1:4444/wd/hub
文章地址:https://oneda1sy.gitee.io/2020/05/13/qzsy-1/
ffplay是一个很简单的播放器,但是初次接触仍会感到概念和细节相当繁多,分析并不容易。深入理解一项技术需要足够的时间和大量的实践,由浅入深逐步迭代,没有时间就成了最大难题。本次分析过程断断续续持续了挺久,先是边读代码边加注释,后面才整理了笔记,再加上理解浅薄很难精简语言,因此行文比较啰嗦。笔记记录仓促,错误难免,欢迎指正交流。后续若有时间继续研究,将持续修正错误完善文档。
本文主要介绍webelement.py模块源码,该模块提供了WebElement类,主要用于操作web DOM元素,提供的常用API有:
随着应用Android系统的手机、平板电脑等产品层出不穷,以及智能硬件大潮的兴起,Android开发人才缺口仍在扩大,Android工程师前景依旧明朗。
某大型企业云计算架构师,多年Zabbix,Python,Linux使用经验,社区群活跃核心成员之一
本小节,我们将 《精尽 Dubbo 源码解析》 和 《Dubbo 用户指南》 做一次映射,方便大家直接找到感兴趣的功能的具体源码实现。当然,如果有整理不到位的地方,欢迎大家给我留言斧正。
在上一篇文章《系统调用分析(2)》中介绍和分析了32位和64位的快速系统调用指令——sysenter/sysexit和syscall/sysret,以及内核对快速系统调用部分的相关代码,并追踪了一个用户态下的系统调用程序运行过程。
大家好,最近有小伙伴们建议我把源码分析文章及源码分析项目(带注释版)放到github上,这样小伙伴们就可以把带中文注释的源码项目下载到自己本地电脑,结合源码分析文章自己本地调试,总之对于学习开源项目源码会更方便。
状态之间的转换 , 参考 【Linux 内核】进程管理 ( Linux 中进程的 CPU 资源调度 | 进程生命周期 | 创建状态 | 就绪状态 | 执行状态 | 阻塞状态 | 终止状态 | 进程生命周期之间的转换 ) 博客 ;
JNI(Java Native Interface)是一种编程框架,使得Java虚拟机中的Java程序可以调用本地应用/或库,也可以被其他程序调用。 说得直白一点,就是Java提供的与其他语言的互相调用的机制。
" 内存区域 " 的类型 在 Linux 内核中使用 enum zone_type 枚举类型进行描述 , zone_type 枚举定义在 Linux 内核源码的 linux-4.12\include\linux\mmzone.h#293 位置 ;
BlockingQueue线程安全的队列, 作为caffe训练时数据同步的重要数据结构,本文做简要分析。
上一篇分析了SpringBoot源码结构及各个模块pom之间的关系后,那么此篇开始就开始解开SpringBoot新特性之一--自动配置的神秘面纱了。因为SpringBoot自动配置原理是基于其大量的条件注解ConditionalOnXXX,因此,本节我们先来撸下Spring的条件注解的相关源码。
回想做开发的这八年多,获得了很多,技术能力、培训、出国、大公司的,还记得刚刚出来第一年那段时间,太多东西不懂的,都是一切听从老大的安排,敲敲代码,看看数据库,测试自己和别人的代码;这样干了一年
一开始打算用一篇文章来写的,结果写着写着,发现内容实在太多了,一篇文章显得很乱,有很多地方不知道先写哪个好,经过一段时间的构思后,决定用一个系列来写,分多个部分,这样稍微让内容清楚一些。
领取专属 10元无门槛券
手把手带您无忧上云