首页
学习
活动
专区
工具
TVP
发布

python3

专栏作者
11919
文章
14079366
阅读量
238
订阅数
Python Numpy-基础教程
a function that performs element-wise operations on data in ndarrays
py3study
2020-01-19
3670
hadoop2.7第一个python实例
没有任何基础,第一次跑hadoop实例,遇到不少问题,记录下来以便自查和帮助同样情况的hadoop学习者。
py3study
2020-01-13
5730
Python为什么这么厉害?我给大家解析
Python的特点之一在于,使用简单的语法,就能处理大量复杂问题。这使得初学者能够专注于学习编程概念,同时不必担心太多的细节,还可以节省大量时间。比如以编程中最常见的程序“ Hello ,World ”代码为例:
py3study
2020-01-13
4230
Python基础:网络编程socket基
因为socket是一个类,所以只导入模块需要使用socket.socket()创建一个socket对象。
py3study
2020-01-10
6860
Python海量数据处理之_Hadoop
 前两篇分别介绍了Hadoop的配置方法和基本原理,本篇将介绍如何让程序借助Hadoop调用服务器集群中的算力。Hadoop是Java语言实现的,它不仅支持Java,还支持C++,Python等程序的分布计算。下面以Python为例介绍如何使用Hadoop的MapReduce功能。
py3study
2020-01-09
9500
java转python记录 一
前提条件:本人从事java工作3年左右,由于大数据形势的驱动下,准备从事大数据行业,以python作为起点向大数据进军。
py3study
2020-01-09
5350
spark集群更换python安装环境
ln -s /opt/modules/anaconda3/bin/python /usr/bin/python3 3修改root环境变量 /root/.bashrc /root/.bash_profile 修改hdfs用户环境变量,因为集群操作大多有hdfs用户完成。 su - hdfs ~/.bashrc export PATH="/usr/bin:$PATH" 4修改pyspark2命令 vi /usr/bin/pyspark2 修改spark2-submit命令 vi /usr/bin/spark2-submit 修改PYSPARK_PYTHON这个变量 几个节点都要修改,之后spark更换到新的python,常用的包都有了。
py3study
2020-01-08
7750
python学习计划大全(从入门到放弃)
第一阶段-语言基础(15天) python基础语法 python字符串解析 python时间和日历 python文件操作,数据处理 python界面编程 python面向对象高级语法 命名空间和作用域应用案例分析 项目:图形界面实现数据查询、python实战2048、语音对话开发、语音控制开发 第二阶段-语言高级(15天) python处理txt,csv,pdf,jsons python平台迁移linux python常用第三方库 python发送邮件 python发送短信 python高级语法 python正则表达式 python网络编程 python系统编程 python pyGame python Office办公自动化 python 数据库开发 jpython简介 项目:高并发数据查询、简单邮箱爬虫、多线程网络爬虫、python飞机大战 第三阶段-全栈前段(20) HTMP-HTML5 CSS-CSS3 JavaScript JQuerry JQuerry EasyUI jQuery Mobile Bootstrap PhotoShop 第四阶段-全栈后端(35天) linux网站配置 Python Github 项目代码管理和项目开发流程敏捷、代码重构、测试驱动开发、自动化 Python网站框架Django开发 Python网站框架Flash开发 Pythonn web server框架Tornado开发 RESTful接口开发 Python全栈后端项目:学校管理系统、移动Twitter、聊天室 第五阶段-linux自动化(14天) linux指令实战 linux shell指令实战 linux运维自动化实战 系统基础信息模块 业务服务监控 定制业务质量报表 python与系统安全 运维常见工具 python运维阶段项目 linux系统安全审计 第六阶段-KaliLinux(3天) Klilinux简介 Kliliux信息收集 Kalilinux漏洞分析 Kalilinux数据库评估 Kalilinuxweb评估 Kalilinux密码破解 Kali linux无线安全 Kali linux嗅探欺骗 Kali linux权限维持 Kali Linux社会工程学 项目:Python FTP 网络,ZIP等等密码破解 , Python密码字典生成 第七阶段-数据分析(14天) numpy数据处理 pandas数据分析 matplotib数据可视化 scipy数据统计分析 python金融数据分析 项目:美国各州人口数据分析、美国大候选人政治献金解密、天气数据分析与可视化 第八阶段-人工智能(7天) 机器学习基础知识简介 KNN算法 线性回归 逻辑斯蒂回归算法 决策树算法 朴素贝叶斯算法 支持向量机 聚类k-means算法 项目:预测年收入、自动脸补全、使用聚类手写数字识别 第九阶段-大数据(7天) Hadoop HDFS Hadoop Mapreduce python Spark编程 spark推荐系统引擎 spark Mlib 项目:IMDB电影大数据分析、漫威英雄关系分析、巴尔的磨房产数据分析 第十阶段-项目实战(25天) 分布式爬虫+elasticsearch打造搜索引擎 微信公众号平台 在线教育平台 1688电商网站 清华大学ERP系统 链家房产网 B/S自动化运维平台 大数据分析 人工智能深度学习tensorflow项目
py3study
2020-01-08
1.1K0
1、Python大数据应用——部署Had
简介:目前业界主流存储与分析平台以Hadoop为主的开源生态圈,MapReduce作为Hadoop的数据集的并行运算模型,除了提供Java编写MapReduce任务外,还兼容了Streaming方式,可以使用任意脚本语言来编写MapReduce任务,优点是开发简单且灵活。
py3study
2020-01-07
4480
Hadoop3.x新特性
Hadoop3.x中增强了很多特性,并且也改进了很多地方。需要注意的是,在Hadoop3.x中,不能再使用jdk1.7,而是需要升级到jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是Hadoop3.x。Hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。
py3study
2020-01-06
2.3K0
Streaming执行Python版Wo
hadoop jar /home/hadoop/hadoop-2.6.0-cdh5.5.2/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.5.2.jar  -input /user/hadoop/aa.txt -output /user/hadoop/python_output -mapper "python mapper.py" -reducer "python reducer.py" -file mapper.py -file reducer.py
py3study
2020-01-06
4320
spark入门框架+python
不可否认,spark是一种大数据框架,它的出现往往会有Hadoop的身影,其实Hadoop更多的可以看做是大数据的基础设施,它本身提供了HDFS文件系统用于大数据的存储,当然还提供了MR用于大数据处理,但是MR有很多自身的缺点,针对这些缺点也已经有很多其他的方法,类如针对MR编写的复杂性有了Hive,针对MR的实时性差有了流处理Strom等等,spark设计也是针对MR功能的,它并没有大数据的存储功能,只是改进了大数据的处理部分,它的最大优势就是快,因为它是基于内存的,不像MR每一个job都要和磁盘打交道,所以大大节省了时间,它的核心是RDD,里面体现了一个弹性概念意思就是说,在内存存储不下数据的时候,spark会自动的将部分数据转存到磁盘,而这个过程是对用户透明的。
py3study
2020-01-06
1.4K0
Python3 操作 HDFS
【第三方包】 pyhdfs(pypi,github,支持HA) 【功能】 重命名 hdfs 文件或目录 # encoding: utf-8 # author: walker # date: 2018-03-17  # summary: 利用 pyhdfs 重命名 hdfs 文件或目录 import os, sys, time from pyhdfs import HdfsClient SrcPath = '/test/xxx' DstPath = '/test/yyy' NameNode = 'nn1
py3study
2020-01-03
1K0
小白零基础怎么系统的学习 Python
小白零基础怎么系统的学习 Python?这个话题相信困扰很多想学习python的人,今天主要给大家说下一个零基础的小白,应该如何系统化的学习python编程语言,然后找到工作,在学习的过程不浪费时间少走弯路。首先我们要了解python是什么,是一种面向对象的解释性的计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。语法简洁清晰,具有丰富和强大的库。在设计上坚持清晰划一风格,使得它成为一门易读、易维护,并且被大量用户所欢迎的、用途广泛的语言。
py3study
2020-01-03
4530
python介绍
python是一门优秀的综合语言,python的宗旨是简明,优雅,强大,在人工智能,云计算,金融分析,大数据开发,web开发,自动化运维,测试等方向应用广泛,已是全球第4大最流行的语言
py3study
2018-08-02
7670
python简介
1.系统编程:提供API(Application Programming Interface,应用程序编程接口),能方便地进行系统维护和管理,Linux下标志性语言之一,是很多系统管理员理想的编程工具
py3study
2018-08-02
6490
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档