腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

赵俊的Java专栏

专栏作者

174

文章

222695

阅读量

44

订阅数

Java 爬知乎某个问题下的所有图片

java 爬虫 python

前言网上有许多关于知乎的爬虫，但都是用 Python 来实现的，由于我的主语言是 Java 所以想用 Java 来实现下。本次用到了一个国人开发的优秀的爬虫框架：WebMagic 。思路首先打

一份执着✘

2018-06-04

1.6K0

用 Python 分析 YouTube 百万条数据

python 数据分析

前言之前 Python 写了一个简单的 WordCount 的程序，这里我们处理一些相对大点的数据，即对 YouTube 的百万条视频数据集进行处理。该数据集是有格式的，各个字段的具体含义如下：字段名解释及数据类型 video ID 视频ID：每个视频均有唯一的11位字符串 uploader 上传者用户名：字符串类型 age 视频年龄：整数值，代表视频上传时间与2007年2月15日（Youtube创立日）的时间间隔 category 分类：由上传者选择的视频分类，字符串类型 length 视频长度：

一份执着✘

2018-06-04

1.2K0

Python 版 WordCount

python mapreduce 分布式

前言本章介绍如何使用 Python 借助 Hadoop Streming 来完成 MapReduce 任务。其实 Hadoop Streming 很简单，但是我在网上搜索学习的时候，发现好多文章内容都是类似的，而且还有些晦涩难懂，故自己记录下完整的过程，以便能帮到更多学习的人。本次是基于 Hadoop 伪分布式环境搭建这篇文章中的环境来操作的。 Hadoop Streming Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本

一份执着✘

2018-06-04

1.2K0

使用 Python 操作 HDFS

前言本文是在 Hadoop 伪分布式环境搭建的基础上运行的，请先安装 Hadoop 环境。注：文本中的代码块中的 >>> 表示的是输入的 Python 语句，其他的语句是运行后输出。安装这里使用的是 pip 安装，很方便： 1 pip install hdfs Client—创建连接 12 >>> from hdfs import *>>> client = Client("http://127.0.0.1:50070") 其他参数说明： classhdfs.client.Client(ur

一份执着✘

2018-06-04

1.8K0

Python Numpy 快速入门

环境介绍本次使用的 Python 版本是 2.7.14，Numpy 版本是 1.13.3：安装 Numpy： 1 pip install numpy 常用操作常用属性首先创建一个普通的 list，然后转换成 numpy 的 array，并获取常用属性： 12345678910 #coding : utf-8import numpy as nparr = np.array([[1,2,3], [4,5,6], [6,7,8]])print

一份执着✘

2018-06-04

5150

Python 文件操作

前言文件的读写在软件开发中也会经常用到，Python 对文件的支持也很强大，所以今天讲讲如何用 Python 来操作文件。打开/关闭 open 打开文件很简单，只需要执行： 1 open('file_name', 'r') 第一个参数是文件路径，第二个参数是权限（如不指定权限，则默认为 r）。权限说明：访问模式说明 r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。 w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。 a 打开一个文件用于追

一份执着✘

2018-06-04

7110

Python 数据类型

python 数据结构

前言 Python 的数据类型有以下几种，数值类型这里就不再介绍了，本章主要介绍 List、Tuple、Dictionary、Set。列表 List List 是一种有序的集合，可以随时添加和删除其中的元素。创建定义 List 只需要将元素用 [ ] 包含进来即可，元素之间用 , 分割。 1 classmates = ['Michael', 'Bob', 'Tracy'] 由于Python是动态语言，所以 List 中包含的元素并不要求都必须是同一种数据类型，我们完全可以在 List 中包含各种数

一份执着✘

2018-06-04

5870

python 人工智能

定义函数在 Python 中，定义一个函数要使用 def 语句，依次写出函数名、括号、括号中的参数和冒号:，然后，在缩进块中编写函数体，函数的返回值用 return 语句返回。我们以自定义一个求绝对值的 my_abs 函数为例： 12345 def my_abs(x): if x >= 0: return x else: return -x 如果没有 return 语句，函数执行完毕后也会返回结果，只是结果为 None。 return None 可以简写为

一份执着✘

2018-06-04

1.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态