最近一直在干的活其实说起来也蛮水的,就是做一些简单的数据工作,现在还是最基础的写SQL语句,然后刷数据,然后导出csv,再放进Excel里面做数据透视的处理。 原来开发小哥还在的时候原来都是他在写SQL语句,在虚拟机上连接的远程数据库(为何要这么做....略费解),然后他走后,因为虚拟机上还在跑着另一个流程的引擎,所以我默默决定在本地的机子上安装plsql,但是在下并没有玩过oracle啊...然后就开始了简单的安装配置之路。 首先,本地并没有安装过oracle的客户端,所以我们需要先有一个oracle的客户端。 我们到oracle的官网,下载了instantclient,根据PC的位数来选择客户端,我用的是64位的client。 下载后的包解压到路径下,比如D:oracleclient。然后新建一个文件夹,命名为network,再新建一个下级文件夹命名为admin,然后新建一个文件命名为tnsnames.ora,这个文件提供了客户端服务名到指定的oracle服务器提供的数据库服务名的映射。 那么这个文件里面写什么呢?
当我们写程序写的多一些时,自然就会使用第三方库,在使用过程中注意规避掉一些坑即可。
本系统是博客+论坛于一体的系统。支持用户注册,写博客与发帖子。 采用的技术栈也简单,前后端都是 JS, 数据库只有 mysql。 Nodejs+ nextjs + reactjs + koajs + ant-design 采用接口与客户端分离开发,前台页面服务端渲染,jwt方式授权登录,方便开发多个客户端
有人说表示只学Python没有用,必须学会一个框架(比如Django和web.py)才能找到工作。 其实掌握一个类似于框架的高级工具是有用的,但是基础的东西可以让你永远不被淘汰,不要被工具限制了自己的发展。 今天不使用框架,也不使用Python标准库中的高级包,只使用标准库中的socket接口写一个Python服务器。 框架与底层 在当今Python服务器框架 (framework, 比如Django, Twisted, web.py等等) 横行的时代,从底层的socket开始写服务器似乎是一个出力不讨好
在学习攻击渗透的过程中,不免会接触远控工具。远控工具一般包含服务端和客户端,服务端运行在攻击者的VPS主机上,客户端运行在被攻击机器上。服务端向客户端发送指令,客户端执行指令并将结果回传给服务端,从而达到通过网络远程控制被攻击主机的效果。
PS:本文仅用于技术讨论与交流,严禁用于任何非法用途,违者后果自负 在学习攻击渗透的过程中,不免会接触远控工具。远控工具一般包含服务端和客户端,服务端运行在攻击者的VPS主机上,客户端运行在被攻击机器上。服务端向客户端发送指令,客户端执行指令并将结果回传给服务端,从而达到通过网络远程控制被攻击主机的效果。 现有的远控工具很多,从大名鼎鼎的冰河到CHAOS。但是直接使用现有的远控工具,一方面会担心工具被人加入了后门在运行的过程中自己反而成了被控制方,另一方面只会使用工具也会沦为“脚本小子”而不知道其背后的原理
在 gRPC 中,客户端应用程序可以直接调用不同机器上的服务器应用程序上的方法,就像它是本地对象一样,可以更容易创建分布式应用程序和服务
在运维工作中我们可能经常需要共享或传输文件,最简单快捷的方法就是搭建一个FTP服务器。那么我们有必要先了解一下什么是ftp。
如果把Netty比作一台工厂车间, 那么IO线程就是车间里面的运作机器, IO线程一直在无限循环地做着三件事
很多人都知道 s3cmd 是用 Python 写的,但是由于项目的背景,用 Python 这类动态编译的语言,无法在安卓容器使用,所以就想到找一个 Go 写的类似 s3cmd 的一个客户端。
之前我的Python教程中有人留言,表示只学Python没有用,必须学会一个框架(比如Django和web.py)才能找到工作。而我的想法是,掌握一个类似于框架的高级工具是有用的,但是基础的东西可以让你永远不被淘汰。不要被工具限制了自己的发展。今天,我在这里想要展示的,就是不使用框架,甚至不使用Python标准库中的高级包,只使用标准库中的socket接口(我不是很明白套接字这个翻译,所以使用socket的英文名字),写一个Python服务器。 在当今Python服务器框架 (framework, 比如Dj
java服务端的代码请看上文。 1、说明: 这两篇文章其实解决的问题是,当使用python去访问大数据线上集群的时候,遇到两个问题: 1)python-hadoop和python-hive相关包链接不稳定,表现为经常出现链接超时; 2)如果使用fork进程执行hadoop fs或者hive -e的方式则消耗大量的机器资源,包括进程资源和集群链接资源。 我们的解决方式是写一个java的代理服务,使用java-hadoop封装了对集群的操作,通过thrift提供接口给python程序。 2、编译.thrfit
其他文章均已发表,可通过 “技术专栏 -- Python -- PY基础” 进行阅读。
•团队协同过程中,你是否被吐槽过为什么.pyc或者.env文件也上传到代码仓库了,.env里面有可能涉及到个人的一些敏感的账号密码之类的,.pyc这类文件被人在代码仓库里看到,会给人一种很不专业的感觉•令人讨厌的__MACOSX文件夹等等临时目录
先说说什么是RPC,RPC(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
最近工作中慢慢开始用python协程相关的东西,所以用到了一些相关模块,如aiohttp, aiomysql, aioredis等,用的过程中也碰到的很多问题,这里整理了一次内存泄漏的问题
我们知道Spark平台是用Scala进行开发的,但是使用Spark的时候最流行的语言却不是Java和Scala,而是Python。原因当然是因为Python写代码效率更高,但是Scala是跑在JVM之上的,JVM和Python之间又是如何进行交互的呢?
去年不是撸了个量化平台嘛,自己用起来蛮舒服的,但很多用户反应,家里没有电脑,无法做到回测,起初呢也不在意,最近正好有时间,花了2天时间,让它支持了在线回测。
这个专题讲解Python相关方面的内容,首先是运维方面,例如数据库,Linux等,后续会有Web,爬虫等。
咱们在平时运行一些长时间都会一直运行的软件(如:某些云同步软件)的时候,某些功能因为考虑的情况可能不充分,导致体验不够好的时候,很多人都会忽视这个问题,除非这个问题影响到他正常使用了。但是也有部分用户会在软件的反馈框里面将问题反馈给开发者,顺带将错误日志也一并提交给开发者。然后过了一天或者半天,你再运行那部分功能的时候,发现问题已经解决了。可是,我们都没有更新软件呀,甚至连软件都没有重启,难道前面遇到的那个情况真的是因为自己太幸运踩中bug了吗? 其实,我们之前遇到的问题,可能的确就是一个bug,但是在反馈问题给开发者后,开发者快速定位问题所在后,通过热更新将问题解决了。相当于我们使用的软件自动fix了一些bug,更新了一次版本。 那么,今天咱们聊一下热更新这个东西怎么样?我们也随意做个小demo看看这个有意思的功能是怎么做到的。
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容,现在与大家分享,希望对于需要使用的人能够起到基本的入门作用或是了解! 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。
目前网上优秀的开源游戏服务器框架也不少(当然与web框架比起来就少太多了),但总结起来都各有各的优缺点,下面列出我在选型过程中的一些考量,希望大家能开放的讨论,有不恰当的地方也请指正。 首先是开发语言 目前用于游戏服务器开发的主要应该有以下这些语言: c/c++ 优点: 性能很好 开源框架: skynet底层是C 开发语言是lua,没有客户端库kbengine底层是C++ 开发语言可以使用C#,Python有多个平台的客户端库 C# 优点: 性能很好 开源框架: Scut底层C# 开发语言是 C#、Py
(1)支持iOS、Android,可在多台机器上并行App 自动化,测试机型适配。
今天我们将对网络编程和多线程技术进行讲解,这两者的原理大家都已经了解了,因此我们主要关注的是它们的写法区别。虽然这些区别并不是非常明显,但我们之所以将网络编程和多线程一起讲解,是因为在学习Java的socket知识时,我们通常会将它们结合使用,以实现服务器对多个客户端连接的阻塞IO的处理。虽然我是这样解释的,但是Python在控制连接数方面更加友好,相对于Java来说更加便捷。好了,废话不多说,让我们开始今天的讲解吧。
之前写的python和GO语言的爬虫ip池的文章引起很大反响,这次我将以C语言来创建爬虫IP池,但是因为其复杂性,可能代码并非完美。但是最终也达到的想要的效果。
客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本,HiveServer不支持多个客户端的并发请求。当前HiveServer2是基于Thrift RPC实现的。它被设计用于为像JDBC、ODBC这样的开发API客户端提供更好的支持。Hive 0.11版本引入的HiveServer2。
最近在写一款漏洞检测软件的时候,发现对于SQL注入的一些判断还有测试不是很精准,于是乎我就想到了本文的一个主角,SQLMAPAPI,这个API是SQLMAP官方提供的一个调用SQLMAP里面服务的一个API,以前觉得SQLMAP自己玩得挺好的了,但是当我接触了SQLMAP API后发现自己还是太年轻了。同时国内对于SQLMAP的API的一些记录不是很多或者很细,于是乎就有了这篇文章,来总结和记录一个过程。同时写的不好的话还望大佬们手下留情!(P.S. 本文为了方便理解很多东西都是用大白话去讲解的,还望各位大佬们海涵)”
自己写的监控服务,想监控windows ,所以用python写了一个服务,用于执行系统命令
做测试开发的童鞋都知道,UI自动化你绕不开selenium, webdrvier, appium框架,那么这三者之间有什么关联,它们的原理是什么呢?
实际遇到需要解决问题真是最好的老师,断更了两天,主要还是自己贪玩了,没有把握好时间,另外就是我一直在研究怎么入手通过SFP光口来控制高精度电源。
转载:作者:dave@http://krondo.com/slow-poetry-and-the-apocalypse/ 译者:杨晓伟(采用意译)
研究微信抓取之前, 看过知乎有大神写的比较完善的例子, 受到启发, 才完成了整个微信公众号的抓取。 微信公众号内容的批量采集与应用 微信抓取的难点: 1. 无法获取到微信公众号的信息(微信并没有提供列表) 2. 无法脱离客户端获取微信公众号历史消息页面 3. 可以获取到文章内容页但是脱离客户端后无法获取到点赞、阅读数据
Python WSGI规定了Web服务器和Python Web应用程序或Web框架之间的标准接口,主要是为了促进Web应用程序在各种Web服务器上的可移植性。在WSGI的规范下,各种各样的Web服务器和Web框架都可以很好的交互。由于WSGI的存在,用Python写一个简单的Web框架也变得容易了。
最近一直在和前同事Puff潘、RainSun吕合作,做一些给使用redis的软件增加redis cluster或者redis sentinel支持功能的工作。
Appium是一个开源工具,用于自动化iOS手机、Android手机和Windows桌面平台上的原生、移动Web和混合应用。
FTP(File Transfer Protocol,文件传输协议) 是 TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候,通常利用FTP协议把网页或程序传到Web服务器上。它工作在TCP 模型的第四层, 即应用层, 使用 TCP 传输而不是 UDP, 客户在和服务器建立连接前要经过一个“三次握手”的过程, 保证客户与服务器之间的连接是可靠的, 而且是面向连接, 为数据传输提供可靠保证。
python下mysql的客户端主流有三个pymysql, mysqldb 和 mysql connector。很多人在选择客户端时,没有什么要求,都是按照前人或者经验主义选择,但是有真的研究他们之间的性能差别,以及是否符合你的项目需要,或者遇到性能瓶颈时,是否了解他们之间的差别。
我曾在某处读到过(可能在《代码大全》,但我不敢确定),程序员应该每年学习一门新的编程语言。但如果做不到,我建议,你至少学习以下5种开发语言,以便你在职业生涯有很好的表现。
前些日子,老师给我看了这本书,于是便开始了Flask的学习 GitHub上的大神,于是我也在GitHub上建了一个Flask的项目。 有兴趣可以看看: https://github.com/Silen
不知道大家有没有接触过RPC框架,RPC的全称是 Remote Procedure Call 即远程过程调用。
特征库扫描法:检查文件中是否存在与常见病毒相同的代码。如果匹配,则说明存在病毒。由于该方法较慢,因此现在一般使用通配符扫描法进行代替。
我们今天来聊一聊什么是什么是Web自动化,以及如何写一个简单的登录的自动化脚本。Web自动化的含义就是用电脑模拟人工自动的在网页上执行各种各样的网页操作。比如说登陆、购物、下载电影或者是爬取信息。那我们就先聊下Web自动化的执行流程。我们使用Python语言编写一个自动化脚本,Selenium模拟人类在Web页面上增删改查,Web页面将selenium操作的信息发送给服务器,服务器返回数据在Web页面上显示,最后我们就看到了浏览器在自己操作。 📷 Web自动化流程 从上图我们可以看出来两大问题:如何什么是W
class A 经典类写法,查找方式深度优先 class A(object) 新式类写法,查找方式广度优先 上面是python2的语法,python3里可能已经没有经典类了。不管有没有,都用形式类来写就对了。 上面都是上节讲的内容,再讲一下构造函数的问题。 Father.__init__(self,name,age) 这个是经典类的构造函数写法,把父类的名字写在前面,但是问题是若干是多继承呢。这一句显然只继承了一个父类。其他父类的属性就没有继承到了。那么就是有几个父类要写几个构造函数了。 super(Son,self).__init__(name,age) # super就一次能把所有父类的属性继承到了 多继承的情况可能用不到,或者也可以用其他方法来替代,比如组合。暂时就掌握这么多了 super(Son, self).__init__(*args, **kwargs) # 这样写,不指定继承哪些参数,而是全部继承过来,推荐。
用 Python 做到每秒处理上百万次 HTTP 请求,可能吗?也许不能,但直到最近,这已成为现实。
只要和网络服务涉及的,就离不开Socket以及Socket编程,下面就说说Python Socket通信的基本原理。
首先明确 Tcp 的概念,针对 Tcp 协议进行接口测试,是指基于 Tcp 协议的上层协议比如 Http ,串口,网口, Socket 等。这些协议与 Http 测试方法类似(具体查看接口自动化测试章节),但在测试过程中需要做些调整。
目前,我正在进行我的最终年项目,计划用 Python 编写一个云计算系统,而云客户端将由我的团队成员使用 Java 来编写。这个云客户端将具有一个带有标签的界面,并提供文本编辑器、媒体播放器、几个基于 Java 的小游戏以及其他一些服务。
你是否听人们说过,异步 Python 代码比“普通(或同步)Python 代码更快?果真是那样吗?
Django是一个python的web的快速开发框架,Django也是我接触的第一个web框架。这个框架是一个比较重的框架,有些人对这件事情比较诟病,但是开发起来比较快。实际用django写一段时间python web也会体会到比较重这个问题。但是这又引出了后面一个问题。
领取专属 10元无门槛券
手把手带您无忧上云