腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

野生AI架构师

专栏作者

114

文章

106477

阅读量

22

订阅数

ES8集群部署

部署服务集群跨域配置

这次ES8集群部署花的时间真不少，还熬了两夜，原本是比较简单的，同事搞就可以了，结果还是超出了预期，不熟悉的东西部署也是相当耗时间的。开始是准备基于Docker部署的，但是没有成功，网上参考了很多，调各个配置参数，就是没成功，后来看到这个文章：https://www.zsjweblog.com/2022/03/09/elasticsearch8-1-0%e9%9b%86%e7%be%a4%e6%90%ad%e5%bb%ba/，改为直接使用安装包进行部署，在测试机上尝试是可以把几个节点服务连接成一个集群的。

2024-02-26

2060

【Golang】基于GoFrame的异常处理实践

开发框架实践异常异常处理

第一次基于GoFrame框架开发项目，这是一个灵感来自PHP Laravel的Golang开发框架，使用之后其实自己并不是很喜欢，把一个开发语言的习惯直接迁移到另一个开发语言上，个人觉得并不是一个好主意，不过这次并不想讨论这个。

2024-02-26

610

[Python]实现函数的输入输出参数的强类型检验

python 工具函数接口数据

Python是一门弱类型的解释型语言，弱类型有其优势，非常适用于算法开发以及一些短平快的项目，但也有其劣势，当代码越来越多的时候，自由的代价就会呈现出来，维护的代价也会越来越大。特别是，如果我们开发接口给别人使用的时候，如果没有强类型的校验，别人就不能清晰的知道输入输出的数据结构是什么，报错的时候也比较难定位问题，因此在有些场景下，需要对函数输入输出进行强类型约束。

2023-12-15

1280

大模型知识库中的文档预处理的优化问题

表格模型设计数据优化

以前做nlp对长文本切分也略有些经验，通常就是先按段落进行切分，对于过长的段落文本，通常就是按模型（这里通常是embedding模型）能接受的输入长度，按句子的标点符号（如句号，感叹号，问号等）进行切分，切分后的片段要尽可能的长，但是不能超过模型的输入限制。另外，一些可以操作的技巧是，段落内的片段可以做一些重复，例如，段落内的多个片段，前一个片段的最后一句可以和后一个片段的第一句重复。

2023-09-30

7230

一次政务云生产环境的磁盘热扩容过程

磁盘服务器工具数据文件系统

我们有个项目部署在政务云上，有一个服务器400GB的数据盘最近经常空间爆满，虽然增加了定时清理缓存的crontab脚本，但是随着空间使用的增长，问题并没有解决。

2023-08-26

2190

基于FastAPI/Celery/loguru实现全链路日志追踪功能

celery fastapi 接口日志系统

在我们的系统里，已经记录了很多的日志，但是问题是这些日志很鸡肋，当需要定位问题的时候，根本很难区分，哪些日志是一起的，而且因为我们的系统大都是一些耗时的任务，不同请求的任务日志都交叉混在一起，更加加剧了这个问题。因此生产系统上，这些日志很难利用起来。

2023-08-26

1.7K0

Python项目中的配置文件

python 变量部署基础配置

每个python项目几乎都会有一个配置文件，会把一些配置性的常量放到配置文件中，对一些比较初级的开发者，经常会犯以下的一些问题：

2023-08-26

2080

关系数据库设计优化示例及最佳实践总结

设计数据库设计优化字符串最佳实践

我们需要实现的是大文件的切片上传功能，下面是同事设计的两个相关的MySQL数据表，一个用来记录文件信息，一个用来记录文件的分片信息：

2023-08-26

1340

基于minio实现大文件的分片上传功能

time upload 测试接口文件上传

直接把minio开放出去作为一个s3服务，minio本身也是支持自动对文件进行分片上传的，但是这样会有一个问题，权限很难做精细化的控制，对于高安全性要求的场景就达不到安全要求。

2023-08-26

2.4K0

使用ChatGPT做商业分析

chatgpt 表格工作数据搜索

假设你是一名商业数据分析师，现在要分析作为数据分析工具的 SAS 这几年的发展趋势怎么样，请做详细分析并给出数据证明，数据使用表格来展示。

2023-08-26

1340

使用 chatgpt 来做中文分词（续）

中文分词 chatgpt 工程师模型算法

假设小龙女称杨过为过儿，请对下面这句话进行中文分词，注意不要漏字：来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。”

2023-08-26

2500

使用ChatGPT来做中文分词

中文分词 chatgpt 技巧网络优化

中午在吃午饭的时候，就想不知道直接使用ChatGPT来做中文分词效果会怎么样，结果就是中午没休息好，下午有点晕。。。

2023-08-26

3330

一个并不复杂的数学问题：由两个点计算直线方程

line return 函数数学

这个函数是要返回直线的一般方程：ax+by+c=0，实现的时候注意到了x=c或者y=c这类特殊的直线，所以实现的时候才有了if分支判断。

2023-08-26

1950

【大模型】如何做好业务数据库的设计

数据库模型设计数据数据库设计

使用这个问题来测试一下chatgpt和文心一言：“假设你是一个研发团队负责人，现在你要为一个业务项目做数据库设计，请详细说明你会如何做好这个事情”。

2023-08-26

3130

【Python】requests网络请求的异常情况梳理

python requests 数据网络异常

前言：最近发现很多bug都跟网络请求有关，大家在使用requests请求上游接口的时候，只是简单的requests.post就完事，这中间很多异常情况并没有考虑，导致程序会留下不少的坑。

2023-08-26

1.8K0

使用ChatGPT做数学题：目前还不理想

chatgpt 编译器函数技巧视频

刚在看一个infoQ视频《我们是如何探索把ChatGPT推到企业级应用的？》，里面提到用它来做数学题，通过改变提问方式可以大大提升回答的准确率，顺手就试一下。

2023-08-26

2240

使用ChatGPT给Python代码写单元测试

python 单元测试 chatgpt 测试函数

这个结果已经超出我预期了，一个普通的单元测试感觉已经成型了，而且它还理解了“坐标”和“平面”。不过有小问题，注释是不对的，两个点不可能不再同一个平面上。执行这个测试函数，最后一个assert是通不过的。

2023-08-26

2430

标签系统的数据存储方案设计思考与梳理

存储数据数据存储统计系统

说明：下面所说的存储都是指在MySQL上的存储，暂时不考虑mongodb、ES这些，毕竟引入新的数据库，会让系统更加复杂。

2023-08-26

1.1K0

复杂场景下的用户与权限系统的设计思考与实践

开发权限设计实践系统

最近参与一个项目的架构设计，及提供技术指导，发现其用户体系相当复杂，之前自己的设计显然想简单了。其大概的要点如下：

2023-08-26

2320

milvus的二值索引与浮点数索引的性能对比

存储内存配置索引性能

因为在论文查重的时候，需要从大量的文本片段中找到相似的片段，在做技术选型的时候，需要将比对库中的文本片段先生成simhash，然后选择了milvus做向量的高速检索。虽然我们本身比较熟悉ES，不过ES太重，对机器的要求很高，并不适合我们的场景，而且估计就向量检索而言，ES的性能估计会比milvus低很多。milvus很早前就有了解，不过并没有实际使用过，安排了工程师对它进行熟悉。不过同事探索一两天说，这个向量检索有问题，没有出来预期的结果。于是只能自己去探索一下，协助定位问题，顺便比较一下milvus的性能。

2023-08-26

3180

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态