树莓派官方推出的摄像头Camera Module,能够拍摄500万像素图片和录制1080p的视频,使用的是树莓派板子上的csi接口。
Linux 桌面系统中都默认自带了不错的图像查看器,除非您要使用某个特定的功能或希望获得更好的用户体验,可以尝试一下其它图像查看器。此前,系统极客向大家推荐了 5 款好用的 Linux 音乐播放器和 7 款好用的 Linux 电子书阅读器,本文将向大家推荐 11 款适用于 Linux 系统的图像查看器。
有时候在命令行下看文件的时候突然遇到个图片,这个又不能直接在命令行下查看,还得手动在桌面上打开文件来查看,十分的不方便。其实ubuntu本身自带的图像查看器就带了一个命令行下打开的接口------eog 命令(eye of gnome 的缩写,十分好记)。
对于HDFS服务,hdfs默认是超级管理员用户,它的权限最大,可以说它就相当于Linux的root。hdfs用户默认对所有目录有所有权限,同时可以执行HDFS相关的管理员命令比如让HDFS进入安全模式。但我们有时会碰到需要配置另一个超级用户的情况,本文Fayson主要介绍如何将普通用户设置为HDFS的超级用户。
这个是当下最流行最时髦的AI神器chatGPT和我一起合作写的一篇通用技术文章,请读者笑纳!
当前有很多工具辅助大数据分析,但最受环境的就是Python。Python简单易用,语言有着直观的语法并且提供强大的科学计算和集群学习库。借着最近人工智能,深度学习的兴起,Python成为时下最火的语言,已经超越了Java和C,并且纳入了国家计算机等级考试。本篇文章主要讲述如何在CDH集群基于Anaconda安装包部署Python3.6.1的运行环境,并使用PySpark作业验证Python3环境的可行性。
w3m is a World Wide Web (WWW) text based client. It has English and Japanese help files and an option menu and can be configured to use either language. It will display hypertext markup language (HTML) documents containing links to files residing on the local system, as well as files residing on remote systems. It can display HTML tables and frames. In addition, it can be used as a "pager" in much the same manner as "more" or "less". Current versions of w3m run on Unix (Solaris, SunOS, HP-UX, Linux,FreeBSD, and EWS4800) and on Microsoft Windows 9x/NT. 安装:sudo apt-get install w3m w3m-img 虽说是文本浏览器,但是装了w3m-img,w3m 可以支持图片显示。
在使用PySpark进行开发时,由于不同的用户使用的Python环境不同,有基于Python2的开发也有基于Python3的开发,这个时候会开发的PySpark作业不能同时兼容Python2和Python3环境从而导致作业运行失败。那Fayson接下来介绍如何在提交PySpark作业时如何指定Python的环境。
比如我有一个80核的黑石机器,从msinfo32看,有2颗处理器,每颗处理器20个cores,每个core是双线程即每颗处理器是40个逻辑器,总共80个逻辑处理器
这几天做了一下 BUUCTF 的杂项题,里面有很多都是图片隐写题,也有很多是重复的知识点,所以这里总结一下常用的做题套路,一般的题目解法大概都是下面几步。
值得注意的是,靶机貌似有个bug,当shell连接中断后,我们无法直接再次连接,只能重启靶机,再故技重施
FreeIPA是一个Linux环境下开源的身份管理系统,它提供了用户管理和身份验证,就跟Fayson前面介绍的Microsoft Active Directory或OpenLDAP。FreeIPA集成了Directory Server、Kerberos、PKI、DNS、Certmonger、NTP Server、WebUI、Trusts、Client等组件,也就是说在Hadoop集群要统一用户管理和安全认证一个它就足够了。本篇文章Fayson主要介绍如何在Redhat7上安装FreeIPA。
Hive作业在运行时会在HDFS的临时目录产生大量的数据文件,这些数据文件会占用大量的HDFS空间。这些文件夹用于存储每个查询的临时或中间数据集,并且会在查询完成时通常由Hive客户端清理。但是,如果Hive客户端异常终止,可能会导致Hive作业的临时或中间数据集无法清理,从而导致Hive作业临时目录占用大量的HDFS空间。本篇文章Fayson主要介绍如何解决清理Hive作业产生的临时文件。
这篇文章来介绍一下通过使用插件实现将 WordPress 的媒体库附件存储在腾讯云 COS 上。
一、安装 Windows pip install 模块名 pip install 模块名==版本号 linux(root用户) pip install 模块名 pip install 模块名==版本号 linux(普通用户) sudo pip install 模块名 sudo pip install 模块名==版本号 注意 公司里基本你不会让你用root用户 二、卸载 Windows pip uninstall 模块名 linux(ro
上周四,GitHub Copilot X 震撼发布,将一众老牌代码编辑器打得措手不及。
Fayson在前面的文章介绍了《如何在CDH集群安装Kafka Manager》和《0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用》。Kafka-eagle支持Kerberos环境下的Kafka集群管理,本篇文章Fayson主要介绍在Kerberos环境下Kafka管理工具Kafka Eagle安装使用。
在使用CDH集群的过程中,有时会在Cloudera Manager的控制台上看到关于Entropy的告警如下显示:
今天这篇文章,就是挖出一些被忽视的参数进行了针对性的使用。咳咳,用起来还真不错,请看文章吧:
用SSH工具连接服务器,在终端按顺序输入如下命令即可手动编译安装AdGuard Home
headless mode,说白了就是在没有图形界面的情况下对网站访问进行截图查看访问效果
在使用Hive CLI客户端执行SQL语句时,默认的日志输出在/tmp/${user}/目录下,由于tmp目录的空间大小有限,需要为Hive CLI客户端指定日志输出目录,但在Cloudera Manager上不支持为Hive CLI客户端配置日志输出目录。本篇文章Fayson主要介绍如何为Hive CLI运行时指定日志输出目录。
在C6集群中使用hive管理员创建一个测试库acltest,将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表,在命令行使用hadoop命令没有权限访问该表的hdfs目录,提示没有权限访问。
在测试环境下给fayson赋予了test库的CREATE/REFRESH/SELECT权限
前两天客户问了一个问题,HDFS上删除的数据还能不能恢复?碰到这个问题第一反应“在执行命令的这个用户下垃圾回收站找到恢复不就的了?”,用户删除数据发现操作失误的时间并不长也没有超过垃圾回收站的清空时间,但是无论怎么找也找不到被删除的数据,这次真的玩儿大了。。。
之前写了一个使用ffplay批量查看格式为h264的图片,每次抽帧后都要打开pycharm编译器来运行程序,然后才能正常查看图片,或者在其他没有安装python环境的电脑中运行,很不方便。为此,在网上找了些方法,发现也是说的一知半解的。因此,自己通过实践记录python3.x下怎么样把.py文件打包成.exe可执行文件,这样就可以直接修改文件内的图片个数就可以双击.exe程序来查看图片了。
前言 平常工作需要频繁使用终端工具,有一个好的命令行终端工具是非常重要的。 尤其是使用mac的小伙伴,估计不少人都觉得iterm2才是最好的终端工具。 其实起初我也是这么觉得的,但是最近直到我使用了这款开源的终端工具,我可以负责任的说,iterm2可以放在角落吃灰去了。 我重度使用了2天,无论从颜值,性能,效率和创新上,都碾压同类的终端工具。我完全找不到任何理由来放弃这么优秀的一款工具。整个使用的体验非常舒服,甚至于觉得,这,就是我心中现代化终端工具该有的样子! 介绍 这款终端工具叫:Warp 或许有的小伙伴在其他平台曾经看到过。那没关系,我这里再给安利下。 这款工具是完全开源的,开源托管仓库在github上: Github:https://github.com/warpdotdev/Warp 官网:https://www.warp.dev/ 官网长这样:
Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Directory安装证书服务并配置》、《03-Active Directory的使用与验证》、《04-如何在RedHat7上配置OpenLDAP客户端及集成SSSD服务和集成SSH登录》和《05-如何为Hive集成AD认证》。本篇文章Fayson主要介绍Impala集成AD认证。
1.通过miniconda 清华镜像uname -a务必通过此代码查看服务器位数查找适合自己的版本,注意区分X86_64与ppc64le的区别
前面Fayson文章讲《0558-01-如何在Redhat7上安装FreeIPA》和《0559-02-如何在Redhat7上安装FreeIPA的客户端》,FreeIPA集成了用户管理及Kerberos认证。如果你忘了FreeIPA管理员密码,可以通过本篇文章的方法重置管理员密码,具体操作如下。
tengine2.2.0编译安装、开机启动、反向代理配置及健康检查 tengine是由淘宝发起的一个基于nginx的开源项目,nginx的吞吐量比较高、快速、稳定,而且反向代理和负载均衡使用nginx,也是最常见的。本文介绍在Linux(centos)下如何编译安装,并设置nginx开机自启动及配置反向代理和配置健康检查。官网地址 1、下载tengine 下载 下边是使用linux直接下载,或者用windows下载然后上传到linux上,但是这样比较麻烦。 wget http://tengine.taoba
Fayson在前面的文章《0483-如何指定PySpark的Python运行环境》介绍了使用Spark2-submit提交时指定Python的运行环境。也有部分用户需要在PySpark代码中指定Python的运行环境,那本篇文章Fayson主要介绍如何在代码中指定PySpark的Python运行环境。
业务用户在安全环境下使用CDSW服务,为了防止用户的Kerberos的账号和密码泄露问题,需要管理系统统一的为业务用户分发Kerberos账号。本篇文章Fayson主要介绍如何通过CDSW API的方式为不同的业务用户设置Kerberos信息。
在前面的文章Fayson介绍了很多关于CDSW安装以及使用的文章,对于CDSW平台服务的架构Fayson的理解是有多个Docker提供服务(类似于现在的微服务),这些服务组合起来形成了一个完整的CDSW平台。CDSW的界面管理员可以看到用户访问的审计日志,CDSW未提供审计日志导出的功能,那么如何获取CDSW的审计日志?本篇文章Fayson主要介绍如何通过后台获取审计日志,在CDSW界面上看到的信息如下:
部分企业对OS的目录空间划分有严格的要求(如:/、/opt、/var等目录),CDH安装的安装目录默认是在/opt下,随着版本的升级和新组件的安装占用了大量的/opt目录空间,为了确保opt目录有足够的空间来存放CDH的安装包,需要将CDH的安装目录进行迁移,本篇文章Fayson主要介绍如何迁移CDH的安装目录/opt/cloudera。
通过上篇文章《0573-5.16.1-如何将CDSW从1.4.2升级到1.5》升级CDSW服务后,启动CDSW服务在Cloudera Manager上显示服务启动失败“”,使用cdsw status命令查看CDSW服务中docker镜像启动情况显示如下:
使用Sqoop抽取MySQL数据到Hive表时,抽取语句正常执行但数据没有写入Hive的表中,执行的Sqoop抽数脚本如下:
随着Hadoop平台的流行,越来越多的开发语言访问Hadoop平台的组件,比较常见的Java、Scala、Python、R等。在前面的多篇文章中Fayson介绍了Java和Scala访问Hadoop各个组件的方法。对于偏分析类的Python和R语言访问集群的Hive和Impala比较多。本篇文章Fayson主要介绍如何使用Python3访问Kerberos环境的Hive和Impala。
Windows自带的照片应用就是一款比较强大的看图软件,可以查看很多种格式的图片、视频文件,类似raw等一些特殊格式的图片,也可以通过安装扩展来进行查看。
接着通过scp或者FTP把文件取出来瞅瞅,可以直接用一个查看图片的软件(比如GIMP)打开试试。
Linux find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时,不设置任何参数,则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。
CDH集群升级至5.15并且启用Kerberos的情况下,在命令行使用impala-shell执行SQL操作会报如下异常:
在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,通过一些Debug日志查看认证失败的原因。本篇文章Fayson主要介绍如何为Spark的Driver和Executor的JVM启用Kerberos的Debug日志。
Raven 2是中级boot2root VM, 有4个flag需要搜集,在多次被攻破后,Raven Security 采取了额外的措施来加固其Web服务器,以防止黑客入侵。您是否仍然可以攻破Raven?
Fayson在CDH6.1.1集群中安装了CDSW1.5,启动一个Session在会话的Terminal执行hadoop命令报如下错误:
SQuirreL SQL Client是一个使用Java写的访问各种数据库客户端工具,使用JDBC统一了数据库的访问接口,通过SQuirreL SQL Client提供的统一用户界面操作任何支持JDBC访问的数据库。本篇文章Fayson主要介绍使用SQuirreL工具访问CDH集群中Hive。
在Hadoop集群有大量的MapReduce作业,为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志,通过作业的详细的日志更快速的定位问题并解决,同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。
前面Fayson文章讲《0558-01-如何在Redhat7上安装FreeIPA》、《0559-02-如何在Redhat7上安装FreeIPA的客户端》、《0560-03-如何使用root用户重置FreeIPA admin密码》、《0561-04-如何将CDH集成的KDC迁移至FreeIPA的Kerberos认证》、《0562-05-5.15.0-如何为Hive集成FreeIPA的用户认证》和《0563-06-如何在FreeIPA上管理域名解析》,FreeIPA集成了用户管理及Kerberos认证,本篇文章Fayson主要介绍如何在CDH集群中为Impala集成FreeIPA的用户认证。
使用hadoop fs -du –h /命令查看HDFS的使用情况,HDFS的使用为41.63GB
领取专属 10元无门槛券
手把手带您无忧上云