上传jdk-8u231-linux-x64.tar.gz到/opt目录 cd /opt tar -xvf jdk-8u231-linux-x64.tar.gz -C /opt cat >> /etc/profile <<"EOF" AVA_HOME=/opt/jdk1.8.0_231 CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH EOF 在/etc/init.d
最近在项目中遇到一个问题，当使用double类型数据时，在进行jce编解码后会出现乱数据问题，比如encode一个数据.
步骤： 1.准备环境：Linux 系统，java 1.8.0 以上环境 下载azkaban源码到本地 https://github.com/azkaban/azkaban 解压到指定目录，比如我们解压到 /opt/softwares/azkaban 运行 在解压目录运行 ： # Build Azkaban ./gradlew build # Clean the build ./gradlew clean # Build and install distributions ./gradlew insta
正确配置如下：Windows（分隔符英文分号）：XML/HTML code bootclasspath ${java.home}/lib/rt.jar;${java.home}/lib/jce.jar</ bootclasspath linux(分隔符英文冒号)：XML/HTML code bootclasspath ${java.home}/lib/rt.jar:${java.home}/lib/jce.jar</ bootclasspath
1.致命错误: 在类路径或引导类路径中找不到程序包 java.lang 解决方法：找到compilerArguments标签 Windows分隔符英文分号;
大家都知道在安装CDH时默认安装的JDK版本为jdk1.7.0_67，部分企业开发环境为JDK8版本，这个时候可能会出现在本地开发的应用在集群中无法正常运行。前面Fayson也讲过《如何将CDH集群JAVA升级至JDK8》。本篇文章主要讲述如何将Kerberos环境下CDH集群的JAVA版本升级至JDK8。
在ambari的setup中我们可以选择使用默认的postgresql，也可以自定义使用其他数据库，此处选用mariadb，便于后期管理维护
Impala本身提供了两种接口进行访问：beeswax和hs2，其中beeswax是impala自己开发的api，而hs2是兼容hive的。由于beesswax的连接方式需要使用impala自己提供的python脚本，而且不支持HA，因此这里就不再多做介绍。本文主要介绍如何使用hive的beeline客户端来连接impala集群。目前我们内部的Impala集群都支持zk的高可用，来解决单点故障的问题。不过对于用户来说，单节点和高可用只是体现在URL的不同，其他并无区别。
作者：allsochen ，腾讯 PCG 后台开发工程师 这就是 CLion 几年前写过一篇 eclipse C++ 的文章、现在还提 eclipse 的话人民群众会仇恨我，我的朋友和家人也会嘲笑我，唾弃我。因为 JetBrains 家的系列产品 CLion 体验耍 eclipse 好几条街。引用知乎网友对 CLion 和 vim/emacs 的形象比喻，如图所示： 从图中可以看出 CLion 的定位是一个完整的现代化 C++工具，包含很多实用的功能，而 vim 则是轻巧锋利，如果你在 CLion
ip hostname 10.7.1.1 master.coke 10.7.1.2 dn1.coke 10.7.1.3 dn2.coke 10.7.1.4 dn3.coke 10.7.1.5 dn4.coke
默认情况下， CentOS和RedHat5.5或更高的版本中，对Kerberos 票证使用AES-256加密，因此必须在集群所有节点的JDK中安装Java Cryptography Extension（JCE）无限制强度加密策略文件。在安装JCE文件的Kerberos集群中，服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。
在过去服务器后端开发一直是c++绝对称霸的领域，但是随着近些年互联网时的快速发展，产品的快速迭代，c++的开发的效率不高的问题使得越来越多的初创公司在技术选型的时候抛弃它而转向了go，go语言的易用性无疑的其能得到青睐的重要原因，尤其是其go module支持的现代语言包管理方式，使得其比c++更让人容易接受。
大家都知道在安装CDH时默认安装的JDK版本为jdk1.7.0_67，部分企业开发环境为JDK8版本，这个时候可能会出现在本地开发的应用在集群中无法正常运行。那么如何将CDH集群中的JAVA版本升级至jdk8呢？本篇文章主要讲述如何将CDH集群的JAVA版本升级至JDK8。
一、前言 配置文件中，有些敏感数据需要加密处理。 SpringCloud config server可以结合jce实现这个功能。 二、配置 下载jce http://www.oracle.com/t
大部分用户在使用CDH集群做Spark开发的时候，由于开发环境的JDK版本比CDH集群默认使用的JDK1.7.0_67-cloudera版本新，可能会出现Spark代码依赖的Java API不兼容问题，解决这个问题方法有两个：一是升级CDH集群的JDK版本；二是指定Spark运行环境JDK版本。本文章主要讲述如何通过Cloudera Manager来指定Spark1和Spark2的运行环境（包含JDK环境、Spark Local Dir等的配置）。
从下载super-jacoco代码到极简项目的案例跑出来，一共排了3+1+1+1=6个坑，这里记录一下，供参考。
* 说明：异常java.security.InvalidKeyException:illegal Key Size的解决方案 * * 在官方网站下载JCE无限制权限策略文件 * 下载后解压，可以看到local_policy.jar和US_export_policy.jar以及readme.txt * 如果安装了JRE，将两个jar文件放到%JRE_HOME%\lib\security目录下覆盖原来的文件 * 如果安装了JDK，将两个jar文件放到%JDK_HOME%\jre\lib\security目录下覆盖原来文件 *
对于Kerberos系统来说，默认使用的 AES-256来进行加密。在集群启用Kerberos之前，必须在Ambari集群上的每个节点上都装有JCE。
今天换了重新装了一个jdk，然后运行昨天还好好的企业微信工程，结果启动的时候就给我报了这么个错：
解密时如果一直出现这个错误，是因为JRE中自带的“local_policy.jar ”和“US_export_policy.jar”是支持128位密钥的加密算法，而当我们要使用256位密钥算法的时候，已经超出它的范围，无法支持，所以才会报：“java.security.InvalidKeyException: Illegal key size or default parameters”的异常。
{"description":"No key was installed for encryption service","status":"NO_KEY"}
JDK6的下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jce-6-download-429243.html
不过抛出异常，需要注意，如果是jdk8就不需要设置TLSv1.0，jdk6有些版本不能设置TLSv1.1
阅读提示：Java密码扩展(The Java Cryptography Extension)，是JDK1.4的一个重要部分，本文介绍JCE的安装和使用。首先演示如果安装配置JCE(静态安装)，然后是如何在不安装的情况下使用JCE(动态安装)。最后，将演示怎么生成密钥和密码，及如果进行基本的加密、解密。
1、服务器环境1.1 修改主机名称1.2 修改ip地址1.3 linux修改hosts并添加集群主机1.4 windows修改hosts文件并添加集群主机2、免密配置2.1 切换root用户2.2 生成公钥与私钥对2.3 将公钥复制到目标机器，并测试免密登录是否成功2.4 集群其他主机免密配置2.5 异常演示3、关闭防火墙3.1 防火墙设置3.2 设置之后3.3 设置之前4、禁用selinux4.1 selinux介绍4.2 设置selinux5、安装JDK5.1 上传jdk5.2 配置Java环境变量5.3 检查Java环境是否生效6、安装mysql6.1 mysql安装6.2 mysql设置6.3 修改密码6.4 上传驱动7、安装httpd服务7.1 httpd介绍7.1 安装httpd服务7.2 查看httpd服务7.3 tips:网页访问本地文件内容8、安装ntp服务8.1 ntp介绍8.2 安装8.3 修改ntp.conf配置8.4 时钟同步8.5 检查时钟同步效果9、搭建yum环境和创建ambari本地源9.1 安装yum工具9.2 安装9.3 创建repo文件9.4 分发repo文件9.4 生成本地yum源10、安装ambari10.1 在mysql中创建ambari用户和授权10.2 安装ambari10.2 初始化配置10.3 初始化ambari数据库10.4 启动ambari10.5 报错及解决10.6 ambari页面配置步骤10.6.1 第1步 启动安装10.6.2 第2步 输出集群名称10.6.3 第3步 选择版本、选择本地仓库及路径10.6.4 第4步 输入集群节点名称、私钥10.6.5 节点认证10.6.6 选择服务10.6.7 分配主节点10.6.8 分配从节点和客户端10.6.9 自定义服务10.6.10 确认配置10.6.11 安装部署11、启动服务11.1 java权限问题11.2 hive元数据初始化
前文都是将配置明文存储在Git仓库中，但在实际项目中，敏感的配置属性（例如数据库账号、密码等），都应加密存储，从而提高安全性。
作者：朱江，腾讯工程师。 写在前面： 如上图所示，客户端通过HTTP+JSON协议请求ProxyServer，由其派发到后端不同服务的不同接口处理，从而获取结果。那么ProxyServer需要具备怎样的特性呢？ 1.修改协议、新增接口及服务时，ProxyServer可以做到不修改代码，不重启，只需要增加新服务的配置即可； 2.ProxyServer支持TAF+JCE调用，后端服务只需要专注业务，提供各自的TAF接口即可，这样有个好处是，不管什么语言(C++,node.js,python)平台开发的
TARS开启阅文集团技术架构变革之门 本文作者：欧樑 后端研发架构师，现任职于阅文集团技术部基础服务研发组，一直致力于Java应用架构设计以及业务架构演进研发，对分布式系统架构有深入理解。 什么是TARS TARS（点击阅读原文，快速访问GitHub）是腾讯从2008年到今天一直在使用的后台逻辑层统一应用框架（Total Application Framework）的开源版本，目前支持C++,Java和NodeJs三种语言。 该框架为用户提供了涉及到开发、运维、以及测试的一整套解决方案，帮助一个产品或者服务
本文介绍了如何从0开始做后台测试，主要从项目后台架构的分析、测试后台接口功能、接口稳定性和高负载情况下服务器处理超时问题等方面进行研究和探讨，并提供了一些解决思路和建议。
我们在Git仓库中存储的都是明文，但在很多场景下，某些敏感的配置内容（例如数据库账号、密码），应当被加密存储以提高安全性。Config Server为配置内容的加密与解密提供了支持。 安装JCE Config Server的加解密功能依赖Java Cryptography Extension（JCE）。 Java 8 JCE的地址是：http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html 。 下载
在微服务中开发过程中，团队通常采用 DevOps 开发模式开发，也就是每个微服务团队管理自己的微服务项目，但是一些敏感的数据源不应该直接明文存储于配置文件中，Spring Cloud 早就想到了这一点，提供了配置文件对称加密和非对称解密方案。比如下面的例子：
1、打开以下网址，下载JCE压缩包： http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html
这是 2017 年 3 月份有关移动市场的统计数据,移动 app 的数量已经突破 10 亿。移动安全也成为了一个全民关注的问题。从最初的 app 只针对功能实现，爆出来了一系列的高危漏洞之后，应运而生了包括移动 app 检测、app 加固保护等工作来保护开发者以及使用者权益。同时，http 的明文数据传输问题也得到了有效解决。我们本篇文章的讨论内容还是从数据传输过程中所引发的一系列安全问题。
Java几乎各种常用加密算法都能找到对应的实现。因为美国的出口限制，Sun通过权限文件（local_policy.jar、US_export_policy.jar）做了相应限制。因此存在一些问题： ●密钥长度上不能满足需求（如：java.security.InvalidKeyException: Illegal key size or default parameters）； ●部分算法未能支持，如MD4、SHA-224等算法； ●API使用起来还不是很方便；一些常用的进制转换辅助工具未能提供，如Base64编码转换、十六进制编码转换等工具。 Oracle在其官方网站上提供了无政策限制权限文件（Unlimited Strength Jurisdiction Policy Files），我们只需要将其部署在JRE环境中，就可以解决限制问题。
在开发前端BFF框架的时候，需要将团队后台使用的JCE协议（类似ProtoBuff协议）转换成nodejs对应的语法，这里参考@tencent/jce2node-cli的实现，使用PEG.js解析生成AST，下面就来介绍一下PEG.js是如何进行解析的？ 我们在对文本进行解析的时候，通常可以使用正则表达式从目标文本中提取所需信息。但是仅使用正则表达式来解析，会发现非常难以阅读，可维护性比较差，而PegJs 则是一种更加简便可维护的 parser 工具。 PEG.js是一个JavaScript的词法解析器，
项目背景是，需要对一个结构化消息的后台入口进行收拢，此模块应对客户端的请求分为三类，一、由此模块处理客户端请求，二、由此模块透传一些命令字，三、由此模块透传一些jce请求。针对第三类请求，此模块需要做pb和jce的不同协议格式互转。
本文将学习到： 1、如何开发调试微信公众号 2、如何开启开发者模式 3、可能遇到的问题 4、weixin_guide如何成为开发者模式源码解读
SSL密钥是SSL加密通信中的重要组成部分。SSL证书通过加密算法生成，用于保护网络通信的安全性和私密性。密钥是一种密码学算法中的关键元素，用于加密和解密敏感信息。在SSL通信过程中，使用可信的证书导入和加载密钥，确保数据加密和解密的安全性。
维护的系统增加，导致对应需要维护的开发数据库环境也增加了，为了简化管理和监控，搭建图形化管理平台，是一种不错的解决方案，我们知道，11g就有了GC(Grid Control)，发展到现在，已经有了12c CC和13c CC(Cloud Control)。
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具， Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。
从配置获取的配置默认是明文的，有些像数据源这样的配置需要加密的话，需要对配置中心进行加密处理。 下面使用对称性加密来加密配置，需要配置一个密钥，当然也可以使用RSA非对称性加密，但对称加密比较方便也够用了，这里就以对称加密来配置即可。 1、安装JCE JDK下的JCR默认是有长度限制的，需要替换没有长度限制的JCE版本。 http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html 把下载包里面的两个
Java自身通过JCE和JSSE支持标准的SSL协议，但并不支持国密SSL协议。本文描述了Java使用国密JCE和国密JSSE开发一个简单的客户端程序，连接国密Web网站，发送HTTP请求，并接收HTTP应答。
一、背景： Q音直播抽离成pod库分别引入到QQ音乐和Fan直播两个独立app中，而对于直播业务来讲，直播SDK通过pod本地引入集成到Demo中进行日常直播业务的开发，通过Demo来精简工程规模，提高研发效率。 但随着业务扩展直播SDK越来越庞大，出现了以下痛点： 以快速开发为目标的直播Demo工程编译时间越来越久，影响组内同事的开发效率； 直播SDK最开始以源码方式接入宿主，增加了约800s的编译时长，影响宿主开发效率； SDK引入宿主流程繁琐、CI效率低，导致测试及灰度阶段出包验证问题耗时严重
本人在做接口自动化的过程中，遇到了请求第三方https协议请求，在经过了短暂的知识重新学习之后，写完代码执行起来总是遇到一个异常，在用客户端执行请求的时候抛出来的，下面是异常的信息：
对于Java 8 Update 144或更低版本，你需要自己安装 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy 文件：
Java 中使用密码算法、摘要算法是很常见的，而且自行实现也是门槛较高的，除了需要对对应算法的规则了如执掌之外还要使用诸如位运算、十六进制、八进制等来回转换。你以为这样就完了？还有 Java 自身提供的JCA( Java 加密体系结构)、JCE(Java 加密扩展)、**JSSE(Java 安全套接字扩展)**等等等等，能看得你怀疑人生。折腾半天，算了还是找个类库搞搞算了。今天就推荐一个专业的密码类库。
👉腾小云导读 移动互联网后半场，海量技术已经成为了标配。在架构设计时，开发者能做什么、要考虑什么，从而实现一个设计精良的架构？欢迎往下阅读，和腾讯后台技术专家吕远方一起聊架构设计！ 👉看目录 点收藏 1 背景 2 架构的边界 3 架构的组织属性 4 架构的反馈 5 总结 01 背景 腾讯面向内部开发者的海量服务之道系列课程颇具名气，它为司内外海量用户提供互联网服务的经验传承。无数开发者尤其是后台技术栈的开发者都获益于这些课程，从而成长起来。本篇我们将提炼这个核心课程精髓，供广泛开发者参考。 海量服务的核心
1.application 项目的名称 2.label 是分支名称 3.profile 就是类别 dev test 4.默认是 master
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
