自从某萌主(娜娜)买了 gov.moe 域名以后 心便大了 开始在网络上兴风作浪 前不多久 瑾忆童鞋 在百忙中抽空写了个ICP系统 然后大家看到的萌国ICP备案查询系统就上线了
博客文章地址使用Sakura frp内网穿透服务搭建自己的网站/游戏服务器 - 二次元フロントエンド (ecy.ink)
很多市面上的短链接并没有自定义后缀和好记的域名,因此使用这类短链接可能会影响用户的回访。其次大家有没有想过,短链接是可以进行来源和数据分析的。利用短链系统可以无缝衔接,引导客户往对应的网址或页面进行,也方便市场分析及导出数据。MoeLink就是这样一个部署在腾讯轻量云上的多功能短链项目。
新媒体管家 上一篇文章中,我们使用Redis集成了Spring Session。大多数的配置都是Spring Boot帮我们自动配置的,这一节我们介绍一点Spring Session较为高级的特性。 集成Spring Security 之所以把Spring Session和Spring Security放在一起讨论,是因为我们的应用在集成Spring Security之后,用户相关的认证与Session密不可分,如果不注意一些细节,会引发意想不到的问题。 与Spring Session相关的依赖可以参考上
上一篇文章中,我们使用Redis集成了Spring Session。大多数的配置都是Spring Boot帮我们自动配置的,这一节我们介绍一点Spring Session较为高级的特性。 集成Spring Security 之所以把Spring Session和Spring Security放在一起讨论,是因为我们的应用在集成Spring Security之后,用户相关的认证与Session密不可分,如果不注意一些细节,会引发意想不到的问题。 与Spring Session相关的依赖可以参考上一篇文章,这
dig、nslookup、traceroute 等都是非常实用的网络调试工具,Nali 是一个可以自动解析这些工具 stdout 中的 IP 并附上所属 ISP 和地理信息,对这些已是瑞士军刀般的工具可谓如虎添翼。
最近良心云和宝塔搞了个宝塔面板·腾讯云专享版,特供轻量应用服务器。笔者视其默认安装了腾讯云其他服务(DNS, COSF 和 CDN)插件(其实与专享版和普通版也就这点区别),更适合新手用户,故作此文。
作者|Chris Baraniuk 译者|马可薇 策划 |Tina 地球遭受来自太阳及太阳系以外的亚原子粒子袭击会是导致我们手机和电脑小故障的原因,而随着技术发展微芯片越做越小,这种风险也在增加。 啪。她胸口的一处肌肉抽搐了一下。啪。又一下。Marie Moe 不仅能感觉到,甚至还能低头看到,就在她胸骨左侧的肌肉在明显地抽动,伴随着剧烈的心跳节奏而抽搐。这位网络安全研究员当时正在一架飞机上,离目的地阿姆斯特丹还有大约 20 分钟的旅程。她在恐慌中当即意识到是自己的心脏起搏器出了问题,这个植入她胸口
首先说明一点,这是一个经过小杰万般忍耐下依然没有成功的教程,小白大可不用试了,无聊的人儿可以试试 如果申请成功则是一年有效期的AlphaSSL CA - SHA256 - G2证书 准备工具
介绍一下小程序第二个功能,以图搜番。出了有一段时间了但一直没介绍过,今儿来说说。 使 用 介 绍 📷点击后进入功能页面📷选择图片图片📷点击上传并搜索📷等待几秒后,会找到相似的番。根据相似度排名。接口原因,只能搜索日漫。 开 发 心 得 记录一下本功能开发中遇到些问题。API域名未备案因为微信小程序后台配置的接口白名单只能用备案域名,所以没法直接请求。解决:于是我在自己服务器上做了一次转发,先把图片上传到服务器,再用PHP请求以图搜番接口(以图搜番接口接受直接发送图片链接)。请求完成后删除图片文件。过滤大人看
最近Cloudflare更改了Cloudflare for SaaS的收费策略,每个账户可以有100个域名免费额度,这等于普通用户来说基本够用了。但用了两天感觉还不错,就自己来亲身写写具体的申请及接入流程。
很多博客都没有内置头像功能,但是当网友在本站留言的时候,就会显示对应的头像。Gravatar,全称Globally Recognized Avatar,全球性通用头像。当然,需要你先到 Gravatar官网注册并上传的,否则只会显示成默认头像。
MediaWiki 是 Wikipedia 以及世界各地社区和公司部署的许多 wiki 背后的软件。 它常常被大公司用来做文档和百科全书。 本篇文章将教学如何在腾讯云轻量应用服务器上安装 MediaWiki。
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾) 又将对 LLM 的知识容量产生何种影响?
Bitwarden 是一款自由且开源的密码管理服务,用户可在加密的保管库中存储敏感信息(例如网站登录凭据)。Bitwarden 平台提供有多种客户端应用程序,包括网页用户界面、桌面应用,浏览器扩展、移动应用以及命令行界面。Bitwarden 作为一款商业自由软件,其开发公司提供云端托管服务 (bitwarden.com),同时为广大开源社区提供自行部署的解决方案。
使用腾讯云的DNSPod的时候发现有URL转发这种解析方法,之后便想把之前买的gyrojeff.moe的域名也跳转到这个网站。然而不幸的是,Cloudflare原生并不支持URL解析,遂我们需要想一些办法
折腾了很多SSL证书,免费的证书随处都有,但是免费的泛域名证书可就不是哪都有了。目前各大云服务商卖的泛域名SSL证书最低价格基本都在1500左右,而且还要提供各种资料…… 这里推荐一个免费的泛域名SSL证书申请网站:https://ssl.ni-co.moe FBI Warning: 申请之前请关闭域名隐私保护! 申请流程: 获取CSR(这里需要注意的一点是生成CSR页面上的域名那里一定要填*.yuncaioo.com这样的,要不然申请到的是单域名的); image.png 进入しらSSL,填上CS
AI研究员Sebastian Raschka表示,「纵观2024年的开源和研究工作,我们似乎正在努力使大模型变得更好、更小,而不一定要扩大它们的规模」。
这只AI,名字叫做style2paintV4。它在GitHub摘下了一万颗星,并登上了趋势榜。
服务器地址可以是IP,也可以是域名,但必须以http://或https://开头,分别支持80端口和443端口。
这是微软发布在2022 ICML的论文,MoE可以降低训练成本,但是快速的MoE模型推理仍然是一个未解决的问题。所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE:它包括新颖的MoE架构设计和模型压缩技术,可将MoE模型大小减少3.7倍;通过高度优化的推理系统,减少了7.3倍的延迟和成本;与同等质量的密集模型相比,推理速度提高4.5倍,成本降低9倍。
MoE(Mixture of Experts),又称「混合专家」,本质是一种模块化的稀疏激活。怎么理解?
Mistral上周末丢出的磁力链接震惊了开源圈子,这个7B×8E的开源MoE大模型性能已经到达了LLaMA2 70B的级别!
在大模型浪潮中,训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战,尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战,稀疏模型,如专家混合模型(MoE),已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」,提供了一种经济上更可行的替代方案,有可能以极低的资源需求达到甚至超过密集型模型的性能。
对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
MoE-LLaVA只有3B个稀疏激活参数,表现与LLaVA-1.5-7B在各种视觉理解数据集上相当,并且在物体幻觉基准测试中甚至超越了LLaVA-1.5-13B。通过MoE-LLaVA,我们旨在建立稀疏LVLMs的基准,并为未来研究开发更高效和有效的多模态学习系统提供宝贵的见解。并且MoE-LLaVA团队已经开放了所有的数据、代码和模型。
https://github.com/PKU-YuanGroup/MoE-LLaVA
随着大模型涌现出令人惊艳的性能,模型大小已经成为影响模型性能的关键因素之一。通常,对 Transformer 模型来说,模型越大,性能就会越好,但计算成本也会增加。近期有研究表明,模型大小和训练数据必须一起扩展,才能最佳地使用给定的训练计算预算。
自 GPT-4 问世以来,人们一直惊艳于它强大的涌现能力,包括出色的语言理解能力、生成能力、逻辑推理能力等等。这些能力让 GPT-4 成为机器学习领域最前沿的模型之一。然而,OpenAI 至今未公开 GPT-4 的任何技术细节。
“专家混合 (MoE) 架构是一种深度学习模型架构,其中计算成本与参数数量成正比,允许更简单的扩展”。MoE 是目前唯一一种已被证明可以将深度学习模型扩展到数万亿个参数的方法,为能够学习更多信息的模型铺平了道路,并为计算机视觉、语音识别、自然语言处理和机器翻译系统等提供动力可以以新的方式帮助人们和组织的应用程序。
北大联合中山大学、腾讯等机构推出的新模型MoE-LLaVA,登上了GitHub热榜。
混合专家(MoE)是个好方法,支持着现在一些非常优秀的大模型,比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。
知乎:Verlocksss 编辑:马景锐 链接:https://zhuanlan.zhihu.com/p/675216281
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
Bitwarden是一个免费、自由且开源的的密码管理器,服务端也完全开源,可以自己搭建。 本文将咱自建bitwarden的过程记录下来。
2023 年 7 月,清华大学计算机系 PACMAN 实验室发布稀疏大模型训练系统 SmartMoE,支持用户一键实现 MoE 模型分布式训练,通过自动搜索复杂并行策略,达到开源 MoE 训练系统领先性能。同时,PACMAN 实验室在国际顶级系统会议 USENIX ATC’23 发表长文,作者包括博士生翟明书、何家傲等,通讯作者为翟季冬教授。PACMAN 实验室在机器学习系统领域持续深入研究,SmartMoE 是继 FastMoE, FasterMoE 和 “八卦炉” 后在大模型分布式训练系统上的又一次探索。欲了解更多相关成果可查看翟季冬教授首页:https://pacman.cs.tsinghua.edu.cn/~zjd
JP摩根的机器学习工程师Maxime Labonne测试后也表示,DeepSeek MoE的chat版本表现要略胜于微软的“小模型”Phi-2。
状态空间模型(SSM)是近来一种备受关注的 Transformer 替代技术,其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色,成为了基于注意力的 Transformer 架构的一大有力替代架构。
随着各种各样增强版LLaMA的出现,Mixture-of-Expert(MoE)类模型越来越受大家关注。而LLaMA-MoE正是基于LLaMA系列和SlimPajama的MoE模型。它显著的一个好处是减小了模型大小,降低了训练代价。通过以下两个步骤进行构建:
GPT-4用了Mixture-of-Experts(MoE)架构,引起了广泛关注。然而,MoE训练并不是一项简单的任务,它面临着一些主要的挑战和难点:
Mixtral 8x7B 的推出, 使我们开始更多地关注 基于MoE 的大模型架构, 那么,什么是MoE呢?
Transformer最近在各种任务上取得了令人瞩目的成果。为了进一步提高Transformer的有效性和效率,现有工作中有2种思路:
Mixtral 8x7B 的推出在开放 AI 领域引发了广泛关注,特别是混合专家(Mixture-of-Experts:MoEs)这一概念被大家所认知。混合专家(MoE)概念是协作智能的象征,体现了“整体大于部分之和”的说法。MoE模型汇集了各种专家模型的优势,以提供更好的预测。它是围绕一个门控网络和一组专家网络构建的,每个专家网络都擅长特定任务的不同方面
阿里被曝2024年面向AIGC的第二次大手笔投资来了——加注大模型赛道独角兽Minimax,领投至少6亿美元。
摘要:我们研究了训练大语言模型(LLM)的高效方法,使其具备多个专业领域的能力,如coding、数学推理和世界知识。我们的方法被命名为 "分支-训练-混合Branch-Train-MiX (BTX)(BTX)",它以种子模型为起点,以并行方式对专家进行分支训练,同时提高吞吐量并降低通信成本。在对单个专家进行异步训练后,BTX 将其前馈参数汇集为专家混合(MoE)层中的专家,并对剩余参数求平均值,然后通过 MoE-finetuning 阶段学习token级路由。BTX 概括了两种特殊情况,一种是分支-训练-合并方法(该方法没有学习路由的 MoE 微调阶段),另一种是稀疏上循环方法(该方法省略了异步训练专家的阶段)。与其他方法相比,BTX 实现了最佳的精度-效率权衡。
众所周知,大模型的训练成本很高,但其实对预训练后的模型进行微调也需要一定的成本,还好我们已经有了 (IA)³ 或 LORA 等一些参数高效型微调(PEFT)方法。
看了上面的动画是不是也想在自己的项目里面实现同样的效果呢?接下来且看代码的实现过程吧!
领取专属 10元无门槛券
手把手带您无忧上云