高级算法工程师

LhWorld哥陪你聊算法

从部署到实践，即刻拥有你的专属龙虾助手

OpenClaw开发者专区🦞🦞🦞

自行/邀约他人一键搬运博客，享价值百万资源包

腾讯云自媒体同步曝光计划

往期视频·干货材料·成员作品 最新动态

腾讯技术创作特训营知识专栏

新邀入驻腾讯云开发者社区，福利多多！

Tensorflow由Google Brain谷歌大脑开源出来的，在2015年11月在GitHub上开源，2016年是正式版，2017年出了1.0版本，趋于稳定。谷歌希望让优秀的工具得到更多的去使用，所以它开源了，从整体上提高深度学习的效率。在Tensorflow没有出来之前，有很多做深度学习的框架，比如caffe，CNTK，Theano，公司里更多的用Tensorflow。caffe在图像识别领域也会用。Theano用的很少，Tensorflow就是基于Theano。中国的百度深度学习PaddlePaddle也比较好，因为微软、谷歌、百度它们都有一个搜索引擎，每天用户访问量非常大，可以拿到用户海量的数据，就可以来训练更多的模型。

大白话5分钟带你走进人工智能-第36节神经网络之tensorflow的前世今生和DAG原理图解(4)

这样来导入神经网络这个模块，如果做分类，就是MLPClassifier，它和神经网络什么关系？它叫做多层感知机。这里是用它做分类的一个算法。

大白话5分钟带你走进人工智能-第35节神经网络之sklearn中的MLP实战(3)

maven 线上部署的话会出现一些问题比如java.lang.ClassNotFoundException或者no main manifest attribute的话，是因为maven 配置里面的问题，本文就这问题给出常用配置。

【Maven篇】---解决Maven线上部署java.lang.ClassNotFoundException和no main manifest attribute解决方法

前提是安装好redis具体可参考http://www.cnblogs.com/LHWorldBlog/p/8463269.html

【Redis篇】Redis集群安装与初始

Redis是当前比较热门的NOSQL系统之一，它是一个key-value存储系统。和Memcache类似，但很大程度补偿了Memcache的不足，它支持存储的value类型相对更多，包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。在此基础上，Redis支持各种不同方式的排序。
 和Memcache一样，Redis数据都是缓存在计算机内存中，不同的是，Memcache只能将数据缓存到内存中，无法自动定期写入硬盘，这就表示，一断电或重启，内存清空，数据丢失。所以Memcache的应用场景适用于缓存无需持久化的数据。而Redis不同的是它会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，实现数据的持久化。

【Redis篇】初始Redis与Redis安装

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>//定义yarn的机制
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name//集群Id
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

Yarn篇--搭建yarn集群

Azkaban是一个工作流调度工具，因为需要各个任务之间有依赖关系，传统的Crontab 任务已经不能满足。

【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用

AttributeError: module 'nltk' has no attribute 'word_tokenize'

【常见错误】--Nltk使用错误

一。导入数据
import pandas as pd
unrate = pd.read_csv('unrate.csv')
unrate['DATE'] = pd.to_datetime(unrate['DATE'])
print(unrate.head(12))
 结果如下：
        DATE  VALUE
0  1948-01-01    3.4
1  1948-02-01    3.8
2  1948-03-01    4.0
3  1948-04-01    3.9
4  1948-05-0

Python可视化库Matplotlib的使用

一。request库
import json
import requests

from io import BytesIO
#显示各种函数相当于api
# print(dir(requests))


url = 'http://www.baidu.com'
r = requests.get(url)
print(r.text)
print(r.status_code)
print(r.encoding)
结果：

 二。BeautifulSoup库
html:举例如下
<html><head><titl

Python爬虫知识点二

1.1.HTTP简介
HTTP = HyperText Transfer Protocol
URI = Uniform Resource Identifier
URL = Uniform Resource Locator
URI和URL的区别：URI强调的是资源，而URL强调的是资源的位置。
1.2常用请求类型
OPTIONS: 返回服务器针对特定资源所支持的http请求方法。
HEAD: 向服务器索要与get请求相一致的响应，只不过响应体将不会被返回。
GET: 向特定资源发出请求 
PUT: 向指定资源位置上传其最新内容
POST: 向指定资源提交数据进行处理请求
DELETE: 请求服务器删除指定URI所标识的资源
PATCH: 用来将局部修改应用于某一资源
1.3HTTP常见状态码
200/OK： 请求成功
201/Created: 请求已被实现，且一个新资源已根据请求被建立，URI跟随Location头信息返回。
202/Accepted: 服务器已接受请求，但尚未处理。
400/Bad Request: 请求无法被服务器理解
401/Unauthorized: 当前请求需要用户验证
403/Forbidden: 服务器已理解请求，但拒绝执行。
404/Not Found


Python爬虫知识点一

今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。

从0到1搭建spark集群---企业集群搭建

本来有套好好的集群，可是不知道为什么虚拟机镜像文件损坏，结果导致集群不能用。所以不得不重新搭套集群，借此机会顺便再重新搭套吧，顺便提醒一句大家，自己虚拟机的集群一定要及时做好快照，最好装完每个东西后记得拍摄快照。要不搞工具真的很浪费时间，时间一定要用在刀刃上。废话不多说，开始准备环境搭建，本集群搭建完全基于企业思想，所以生产集群亦可以参照此搭建。

hadoop集群篇--从0到1搭建hadoop集群

rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 

Spark算子篇 --Spark算子之aggregateByKey详解

上次讲完MapReduce的输入后，这次开始讲MapReduce的输出。注意MapReduce的原语很重要：

Hadoop源码篇---解读Mapprer源码outPut输出

Reduce文件会从Mapper任务中拉取很多小文件，小文件内部有序，但是整体是没序的，Reduce会合并小文件，然后套个归并算法，变成一个整体有序的文件。

Hadoop源码篇--Reduce篇

Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。

【Spark篇】---Spark资源调度和任务调度

Spark执行应用程序时，Spark集群会启动Driver和Executor两种JVM进程，Driver负责创建SparkContext上下文，提交任务，task的分发等。Executor负责task的计算任务，并将结果返回给Driver。同时需要为需要持久化的RDD提供储存。Driver端的内存管理比较简单，这里所说的Spark内存管理针对Executor端的内存管理。

【Spark篇】---Spark中内存管理和Shuffle参数调优

          Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。

【Spark篇】---SparkSQL初始和创建DataFrame的几种方式

转变为如下图：先构造奖励，达到5，即能够走得5的action则说明奖励比较高设置成100，没有达到5说明奖励比较低，设置成0。

【强化学习篇】--强化学习案例详解一

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云开发者社区推出了LhWorld哥陪你聊算法专栏，为你提供了LhWorld哥陪你聊算法的相关文章，致力于帮助开发者快速成长与发展。

LhWorld哥陪你聊算法

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐