在 用 PaddleNLP 结合 CodeGen 实现离线 GitHub Copilot 和 GitHub Copilot 开源替代品 —— FauxPilot 中，我们分别使用 PaddleNLP 和 FauxPilot 将 CodeGen 模型代理为可通过 HTTP 请求访问的接口，并通过 VS Code 插件在 IDE 中获得与 GitHub Copilot 类似的 AI 辅助编码能力。
---- 新智元报道 来源：reddit 编辑：LRS 【新智元导读】GPT又又又有新成员了！这次是宾夕法尼亚大学的一个本科生带来的模型GPT-J。采用JAX库编写，并行效率显著提升，并且也是公开模型中zero-shot性能最强的！ GPT家族又添了一个新成员GPT-J！ 在zero-shot任务上，这个GPT-J的性能和67亿参数的GPT-3（中等模型）相当，也是目前公开可用的Transformer语言模型中，在各种下游zero-shot任务上表现最好的。 与 Tensorflow + TPU
来源：机器之心本文约2400字，建议阅读5分钟CMU 对现有开源和未开源的 AI 代码生成模型进行了全面深入的系统性评估，并分析了它们在 C、C++、Python 等 12 中不同编程语言中的代码自动完成表现。 最近，语言模型（Language Model, LM）在建模编程语言源代码方面展现出了令人印象深刻的性能。这些模型擅长代码自动生成以及从自然语言描述中生成代码等下游任务。当前 SOTA 大规模语言代码模型（如 Austin et al. (2021)）在基于 AI 的编程辅助领域已经取得了重大进展。
明明文件路径是正确的，导包位置也是正确的，在使用terminal运行脚本时，就会报导包异常
在一些事件中，连 AI 的价值观也优于部分人类。 作者 | 西西 编辑 | 陈彩娴 6月10日凌晨，河北唐山一家烧烤店内发生一起殴打事件，记录事件经过的视频流出，引起社会广泛关注。 据唐山市公安局路北分局初查，事件原委如下： 犯罪嫌疑人陈某志进入烧烤店内对正在用餐的四名女子中的一人进行骚扰并殴打对方，随后陈某志同行同餐人员刘某等冲入店内对受害人进行殴打，并将受害人拖至店外继续殴打。案发后，犯罪嫌疑人逃离现场。 目前，两名女子受伤，在医院住院治疗，两名主要犯罪嫌疑人被依法刑事拘留。 图注：唐山市公安局路北分
机器之心报道 编辑：杜伟 CMU 对现有开源和未开源的 AI 代码生成模型进行了全面深入的系统性评估，并分析了它们在 C、C++、Python 等 12 中不同编程语言中的代码自动完成表现。 最近，语言模型（Language Model, LM）在建模编程语言源代码方面展现出了令人印象深刻的性能。这些模型擅长代码自动生成以及从自然语言描述中生成代码等下游任务。当前 SOTA 大规模语言代码模型（如 Austin et al. (2021)）在基于 AI 的编程辅助领域已经取得了重大进展。此外，OpenAI
语言模型 (LM) 通常用于自然语言文献中，以将概率分配给标记序列。LM 最近在用编程语言编写的源代码建模方面表现出出色的性能。这些模型特别擅长代码完成和从自然语言描述生成代码等工作。对于基于 AI 的编程支持，当前最先进的代码大语言模型已显示出巨大的改进。其中最大的模型之一 Codex 已被实现为 IDE 内的开发人员助手，可根据用户的上下文在真实世界的生产工具 GitHub Copilot 中自动编写代码。
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面：
作者认为，GPT-4的参数或许可以达到10T，是现在GPT-3模型的57倍还多，而GPT-NeoX的规模则可以和GPT-3持平。
随着大型语言模型（LLM）的发展，人工智能正处于变革的爆发期。众所周知，LLM 可用于商业、科学和金融等应用，因而越来越多的公司（OpenAI、AI21、CoHere 等）都在提供 LLM 作为基础服务。虽然像 GPT-4 这样的 LLM 在问答等任务中取得了前所未有的性能，但因为其高吞吐量的特质，使得它们在应用中非常昂贵。
---- 新智元报道 编辑：编辑部 【新智元导读】破解「CloseAI」，ChatGPT克隆羊问世！0门槛实现「自研」，从此大语言模型不再只是少数大公司的「金手指」。 此前，OpenAI不Open的事件，已经引发了坊间的诸多争议。 光放出基准和测试结果，不提供训练数据、成本、方法，是真的要「赢家通吃」了。 眼看大语言模型似乎要被巨头公司垄断，如今忽然杀出一个初创公司，给了OpenAI一枪——用60亿参数的「Dolly」实现了和ChatGPT相似的能力。 没错，我们现在只需要准备一些高质量的训练数
早上看到hadoop的计算结果没有进入到mysql数据库，查看关于hadoop计划任务的输出日志发现有报错信息。果断拿来手动执行相关的python脚本，并没有错误，然后丢到计划任务里面就报错，折腾了我一上午终于搞好了。 报错信息 报错执行/data/datax/bin/tool_hive2mysql_build_json.py脚本的时候ImportError。 [root@uhadoop-mrdv2j-task1 data]# tailf /var/log/bigdata/run-hive-qz_yy_uv
随着ChatGPT等AIGC应用掀起大模型浪潮，算力层作为基础设施，成为最先受益的产业。
大数据文摘授权转载自果壳 作者：俞佳霖 编辑：biu 绘图：陈淇 我用了外公生前的文字记录和影音资料，再整合几个成熟的 AI 技术，就让他“复活”了。 那天，我突发奇想，在搜索引擎查找“用 AI 复活逝者”，看到了 Joshua“复活”他未婚妻 Jessica 的故事。 2012 年，Jessica 在等待肝脏移植过程中病情恶化，抢救无效死亡。而那时 Joshua 恰巧在外，错过了死别，他因此自责了八年。直到 2020 年，他看到了“Project December”，这个网站提示只要填写“语句样例”和“人
机器之心报道 编辑：泽南 不仅参数量要卷，训练效率也要卷。 本周，芯片创业公司 Cerebras 宣布了一个里程碑式的新进展：在单个计算设备中训练了超过百亿参数的 NLP（自然语言处理）人工智能模型。 由 Cerebras 训练的 AI 模型体量达到了前所未有的 200 亿参数，所有这些都无需横跨多个加速器扩展工作负载。这项工作足以满足目前网络上最火的文本到图像 AI 生成模型——OpenAI 的 120 亿参数大模型 DALL-E。 Cerebras 新工作中最重要的一点是对基础设施和软件复杂性的要求降低
随着AI浪潮的到来，ChatGPT独领风骚，与此也涌现了一大批大模型和AI应用，在使用开源的大模型时，大家都面临着一个相同的痛点问题，那就是大模型布署时对机器配置要求高，gpu显存配置成本大。本篇介绍的GPT4All项目，是开源的助手风格大型语言模型，可以在你的CPU上本地运行。
经历了长达数月的芯片短缺导致的出货延迟、技术试验以及反复调试之后，EleutherAI 在今天官宣了最新的 200 亿参数开源语言模型「GPT-NeoX-20B」。
论文 1：Faster sorting algorithms discovered using deep reinforcement learning
crontab不是Linux内核的功能，而是依赖一个crond服务，这个服务可以启动当然也可以停止。如果停止了就无法执行任何定时任务了，解决的方法是打开它:
---- 新智元报道 编辑：桃子 【新智元导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！ 2017年，谷歌团队在论文「Attention Is All You Need」提出了开创性的NLP架构Transformer，自此一路开挂。 多年来，这一架构风靡微软、谷歌、Meta等大型科技公司。就连横扫世界的ChatGPT，也是基于Transformer
今天为大家介绍的是来自Dylan Slack团队的一篇论文。人们越来越多地使用机器学习（ML）模型，但模型变得越来越复杂，难以理解。为了理解复杂的模型，研究人员提出了解释模型预测的技术。然而，实际操作中难以使用可解释性方法，因为他们不知道应该选择哪种解释以及如何解释这种解释。在这里，作者通过提出TalkToModel来解决使用可解释性方法的挑战：一个通过自然语言对话解释ML模型的交互式对话系统。
我是从2015年夏天开始用Ulysses的。这个编辑器的设计哲学是“所有的文字都放在一处”。这令我很欣喜，因为它非常适合我这种懒人。
看到这个标题，大家可能会认为就是Android运行python脚本，或者用python写app，这些用QPython和P4A就可以实现了。我在想既然C可以调用Python，那么Android能不能通过JNI去调用C里的方法，C再去调用Python方法，实现Android与Python交互呢？用最近很热的一个概念来说JNI就是个壳。（本文假设大家有JNI开发基础）
02 Dec 2016 Windows平台使用PyInstaller将Python脚本打包成可执行文件 平时工作中，有时候需要将自己写的Python脚本在Windows运行，但是若Windows没有安装Python，那么就不能直接运行Python脚本。本文介绍一种方法，通过PyInstaller工具将Python脚本打包成一个可执行文件，可以直接在Windows运行，不管Windows是否安装Python都可以运行该可执行文件，详细步骤如下： 1 安装Pyt
python脚本如果在没有安装python的机器上不能运行，所以将脚本打包成exe文件，降低脚本对环境的依赖性，同时运行更加迅速
Chat4GPT 是一个基于 GPT4All 生态系统的强大的交互式对话模型。它运用了最新的自然语言处理技术，为用户提供了一个能够进行自然、流畅对话的智能助手。无论您是需要一位陪伴对话伙伴还是寻求问题解答，Chat4GPT 都可以满足您的需求。
大多数大型语言模型(LLM)都无法在消费者硬件上进行微调。例如，650亿个参数模型需要超过780 Gb的GPU内存。这相当于10个A100 80gb的gpu。就算我们使用云服务器，花费的开销也不是所有人都能够承担的。
Auto-GPT在推特上有很多收获了极高关注量的例子，案例的内容包括有商业调查、无代码生成APP或网页、自动化办公和文本生成等等。在加入了Stable Diffusion后甚至可以拥有图片的生成能力。
vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。
第一步：把想要抢购的商品加进购物车，注意：脚本是对购物车内全部商品进行下单操作，所以不够买的商品最好先从购物车内删除。 第二步：写好Python脚本，在抢购之前运行，并设置好抢购时间。
PDF文档格式转换是高频且刚需的办公需求，虽然很简单，但其实绝大部分人找不到合适的工具。
在一个项目中如果我们使用类似pycharm这样的软件来写项目，项目中有些文件需要单独执行的时候，我们通常会使用软件自带的执行按钮来运行python脚本，但是有时候我们需要使用在命令行内敲击python run.py这样的方式来运行脚本，这时就会出现ModuleNotFoundError: No module named ‘…’ 这样的报错。
丹麦一家反盗版组织表示，在该数据集中发现了150本其成员的书籍，构成侵权，所以要求平台下架。
与此同时，之前发布的70亿以及30亿参数版本也完成了1T token的训练，并发布PyTorch和JAX权重。
大型语言模型（LLMs）的不断增大引入了在它们的训练和推断中面临的挑战。移除模型组件被认为是解决大型模型尺寸问题的一种方法，然而，现有的剪枝方法仅关注性能，而没有考虑到对LLMs的负责任使用的一个重要方面：模型的公平性。对于多样化群体，如女性、黑人、LGBTQ+、犹太社区等，重要的是要关注LLMs的公平性，因为它们正在被部署并面向广泛的受众。在这项工作中，首先，我们研究了在基于预训练Transformer的语言模型中，注意力头（attention heads）如何影响公平性和性能。然后，我们提出了一种新的方法，用于剪枝那些对公平性产生负面影响但对性能至关重要的注意力头，即语言建模能力的关键头部。我们的方法在时间和资源方面具有实用性，因为它不需要对最终剪枝后的更公平模型进行微调。我们的研究结果表明，与有偏见的模型相比，DistilGPT-2、GPT2、两种不同尺寸的GPT-Neo、GPT-J和Llama 2模型的性别偏见分别减少了19%、19.5%、39.5%、34.7%、23%和8%，而性能只略有下降。警告：本研究使用了具有冒犯性质的语言。
在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种任务上表现出卓越的性能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。
“AI 助手”与程序员并肩工作的想法存在于我们的想象几十年了，它催生了来自编程语言Ferdowsifard et al. 2020; Miltner et al. 2019; Ni et al. 2021; Raychev et al. 2014和机器学习Guo et al. 2021; Kalyan et al. 2018; Xu et al. 2020社区的大量工作。由于大型语言模型(LLMs) Li et al. 2022; Vaswani et al. 2017的最新突破，这个梦想变得接近了。OpenAI的Codex模型Chen et al. 2021包含120亿个模型参数，训练了GitHub上5400万个软件库，能够正确解决30-70%的常规的Python问题，而DeepMind的AlphaCode Li et al. 2022在竞争性编程平台Codeforces上排名前54.3%，超过了5000名人类程序员。凭借这种令人印象深刻的表现，大型代码生成模型正在迅速逃离研究实验室，为工业编程助手工具提供动力，例如Github Copilot Friedman 2021。
之前，我已经介绍过Github发布的自动代码Copilot的使用方法，感兴趣的可以看这篇文章：
bug指由于编程出现的一些问题，异常是指由于某些不可控原因或用户操作等问题造成的。
最近升级gcc-9.3 和 gdb-9.2 感觉新版本升级更加方便了，但是编译仍然报各种错误，切换使用root权限make可以顺利通过编译！
教程千千万，貌似我的window电脑就是打包不了，而且不同电脑的表现都不一致，很是奇怪。
---- 新智元报道 编辑：拉燕 【新智元导读】继GPT-4超强进化后，现在还能自我修复。国外网友开发一个「金刚狼」项目，能够自动修复Python中的bug，并运行代码。 要问程序员，一天中最烦的时候是什么？ 那一定是给写好的程序Debug了。而现在，这种局面要得到改善了！ 国外一名叫BioBootloader的开发者基于GPT-4搞了一个叫「金刚狼」的项目，能够自我修复Python脚本。 从名字就能看出来，这项目主打一个「自我愈合」。通过GPT识别代码中的错误，并提供修改，直至程序顺利运行。
独立科学家有福了。 作者｜郑宇宏 编辑｜陈彩娴 近日，「黑客组织」EleutherAI 在打破 OpenAI 对 GPT-3 的垄断上又迈出了关键的一步： 发布全新 200 亿参数模型，名曰「GPT-NeoX-20B」。 众所周知，自 2020 年微软与 OpenAI 在 GPT-3 源代码独家访问权上达成协议以来，OpenAI 就不再向社会大众开放 GPT-3 的模型代码（尽管 GPT-1 和 GPT-2 仍是开源项目）。 出于对科技巨头霸权的「反叛」，一个由各路研究人员、工程师与开发人员志愿组成的计算机
鱼羊 Pine 发自 凹非寺 量子位 | 公众号 QbitAI ChatGPT爆火，Meta也坐不住了。 微软和谷歌正在搜索引擎那边刺刀拼刺刀呢，谁想Meta冷不防抛出一篇新论文，顿时吸引全场目光： 瞄准ChatGPT的“软肋”，让大语言模型自行学会了使用工具！ 简单来说，基于Meta的这个思路，ChatGPT这些大语言模型可以缺啥补啥： 不会算数，就自己掏出计算器计算；需要最新信息，就自己连接搜索引擎搜索…… 是不是有点AI自己操作自己内味儿了？ 论文一出，不少AI研究者就将其视作“过去几周里最重要的
来源：OneFlow 机器学习算法与自然语言处理 作者：Alan D. Thompson本文约9100字，建议阅读10+分钟本文帮助有志于开发“类ChatGPT”模型的团队少走一步弯路。 半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI“。 不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，
以下文章来源于OneFlow，作者Alan D. Thompson 半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI”。 不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，就知道在短期内打造一个比肩甚至超越ChatGPT效果的模型没那么简单。 让很多人不免感到诧异的是，ChatGPT的核心算法Transformer最
刚刚，MLCommons发布了MLPerf v3.1版本更新，并加入了两个全新基准：LLM推理测试MLPerf Inference v3.1，以及存储性能测试MLPerf Storage v0.5。
机器之心报道 编辑：张倩 OpenChatKit 是一个类 ChatGPT 开源工具包，内含一个 20B 参数量的大模型，而且该模型在 4300 万条指令上进行了微调。 2023 年，聊天机器人领域似乎只剩下两个阵营：「OpenAI 的 ChatGPT」和「其他」。 ChatGPT 功能强大，但 OpenAI 不太可能将其开源。「其他」阵营表现欠佳，但不少人都在做开源方面的努力，比如前段时间 Meta 开源的 LLaMA。 除此之外，一个名为 EleutherAI 的开源 AI 研究团队也一直在贡献开源大
做这个目的很简单，平常因为调试通信总找不到流量卡而苦恼，干碎做个工具让机器利用下电脑的网络，提高下工作效率。
只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
