首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

除了谷歌和HuggingFace之外,有没有原始BERT的TF实现?

除了谷歌和HuggingFace之外,还有很多第三方组织和个人也进行了原始BERT的TensorFlow实现。其中比较著名的有以下几个:

  1. "BERT-as-Service":这是一个开源项目,提供了一个简单的方式将BERT模型作为一个服务来使用。它使用TensorFlow实现了原始的BERT模型,并提供了RESTful API进行使用和调用。该项目的GitHub链接地址为:https://github.com/hanxiao/bert-as-service
  2. "bert":这是一个由Zihan Wang开发的Python库,用于对原始的BERT进行封装和调用。它提供了丰富的接口和函数,可以方便地使用BERT进行文本分类、序列标注等任务。该项目的GitHub链接地址为:https://github.com/ZihanWangKi/C-BERT
  3. "Kashgari":这是一个基于TensorFlow和Keras的自然语言处理(NLP)库,它支持包括原始BERT在内的多种NLP模型。它提供了简单的接口和示例代码,使得使用BERT进行文本分类、命名实体识别等任务变得更加容易。该项目的GitHub链接地址为:https://github.com/BrikerMan/Kashgari

这些第三方实现的原始BERT在使用上可能会有一些差异,所以在选择使用时需要根据具体需求进行评估。另外,腾讯云也提供了自己的NLP相关产品,如自然语言处理(NLP)和语音识别(ASR)等,可以根据实际需求选择适合的产品进行使用。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

横扫各项NLP任务的BERT模型有了PyTorch实现!提供转换脚本

---- 新智元报道 来源:GitHub 作者:huggingface 编译:肖琴 【新智元导读】谷歌NLP模型的官方TensorFlow实现很强,现在,它的PyTorch版本来了!...只需简单运行一次转换脚本,就可得到一个PyTorch模型,且结果与原始版本相近,甚至更好。 上周,谷歌最强NLP模型BERT开源了官方TensorFlow代码和预训练模型,引起大量关注。.../huggingface/pytorch-pretrained-BERT 这个实现可以为BERT加载任何预训练的TensorFlow checkpoint(特别是谷歌的官方预训练模型),并提供一个转换脚本...其结果如下: 在序列级MRPC分类任务上,该实现使用小型BERT-base模型再现了原始实现的84%-88%的准确率。...BERT模型的PyTorch实现 这个存储库包含了谷歌BERT模型的官方TensorFlow存储库的op-for-op PyTorch重新实现。

2.3K20

Pytorch | BERT模型实现,提供转换脚本【横扫NLP】

这个实现可以为BERT加载任何预训练的TensorFlow checkpoint(特别是谷歌的官方预训练模型),并提供一个转换脚本。...其结果如下: 在序列级MRPC分类任务上,该实现使用小型BERT-base模型再现了原始实现的84%-88%的准确率。...在token级的SQuAD 任务上,该个实现使用小型BERT-base模型再现了原始实现的88.52 F1的结果。 作者表示,正致力于在其他任务以及更大的BERT模型上重现结果。...BERT模型的PyTorch实现 这个存储库包含了谷歌BERT模型的官方TensorFlow存储库的op-for-op PyTorch重新实现。...这个实现可以为BERT加载任何预训练的TensorFlow checkpoint(特别是谷歌的预训练模型),并提供了一个转换脚本(见下文)。

1.8K10
  • 通吃BERT、GPT-2,用TF 2.0实现谷歌破世界纪录的机器翻译模型Transformer

    博主在TensorFlow2.0中创建了一个Transformer模型包,可用于重新构建GPT-2、 BERT和XLNet。...这个项目的目标是创建Transformer模型的所有核心部分,这样就可以重用它们来创建更新的、更多的SOTA模型,比如BERT和XLNet。...该模型以其最基本的形式,以numpy数组作为输入,并返回一个numpy数组作为输出。 此模型的常见用例是语言翻译。一般来说,训练这个模型的时候,功能列是原始语言,目标列是要翻译的语言。...()类中实现。...早在2年前,谷歌大脑、谷歌研究院和多伦多大学学者合作的一项新研究称,使用一种完全基于注意力机制(Attention)的简单网络架构 Transformer 用于机器翻译,效果超越了当下所有公开发表的机器翻译模型

    1.6K20

    利用BERT训练推特上COVID-19数据

    BERT-LARGE主要用于训练英文维基百科(3.5B字)和免费书籍语料库(0.8B字)等大型的原始文本数据集,虽然这些数据集中包含了海量的数据,但是它却没有包含特殊子领域的相关信息,在一些特定的专业领域...在训练之前,先将原始的语料库里的转发标签清洗掉,利用一个通用的文本替换掉每条推文的用户名称,对所有的URL和程序网页都执行类似操作。...图1 Huggingface 从huggingface中加载预先训练好的模型: 图2 可以使用内置的管道来预测内部标识: 图3 从TF-Hub中加载预先训练好的模型: 图4 用以下脚本对CT-BERT...如果是做研究工作的话,可以申请访问TPU和/或谷歌云。 安装 递归地克隆存储仓库: 图5 代码是使用tf-nightly开发的,并确保它向后兼容,以便能在tensorflow 2.2上运行。...图18:评估数据集概览:所有五个评估数据集都是带标签的多分类数据集,通过标签栏中的比例栏宽度来实现可视化,N和Neg表示负面情绪;Disc 和A分别是沮丧和不确定情绪 7.

    55810

    GitHub标星3600:最会编故事的OpenAI语言模型,现已加入PyTorch BERT豪华阵容

    △ 左为GPT-2,右为BERT 上周,OpenAI脑洞天大的语言模型GPT-2,用独角兽的故事震精了世界。 谷歌BERT“史上最强”的位子没坐多久,便有了光芒万丈的后辈。...如今,那个帮BERT做了PyTorch实现的团队,已经火速在BERT项目里增加了GPT-2支持,并收到了推特用户的盛赞。 ?...同时增加的,还有谷歌的Transformer-XL,那是1月中旬发布的语言模型,可以理解超长的上下文关系,比普通Transformer快1800多倍。 ?...除了BERT的PyTorch实现之外,团队还发布过许多其他的源代码和友善的教程,也都是基于PyTorch。...用PyTorch实现了从语言中识别情绪的DeepMoji模型: https://github.com/huggingface/torchMoji 还用PyTorch实现了OpenAI优化过的Transformer

    64630

    通吃BERT、GPT-2,用TF 2.0实现谷歌破世界纪录的机器翻译模型Transformer

    于是Zachary Bloss(就是下图这位带着淡淡忧伤的背影),一位美国最大的非银行贷款机构之一Quicken Loans的数据分析师,花了一点时间,在TF2中构建一个可扩展的transformer模型...该项目的目标是创建"Attention is all you need"论文中所讨论的transformer模型的所有核心部分,以便可以重复使用它们来创建更前卫、更多像BERT和XLNet一样的SOTA...该模型以其最基本的形式,以numpy数组作为输入,并返回一个numpy数组作为输出。 此模型的常见用例是语言翻译。一般来说,训练这个模型的时候,功能列是原始语言,目标列是要翻译的语言。...()类中实现。...早在2年前,谷歌大脑、谷歌研究院和多伦多大学学者合作的一项新研究称,使用一种完全基于注意力机制(Attention)的简单网络架构 Transformer 用于机器翻译,效果超越了当下所有公开发表的机器翻译模型

    86920

    一行代码即可调用18款主流模型!PyTorch Hub轻松解决论文可复现性

    不需要除了PyTorch之外的任何软件包(在hubconf.py中编码为 dependencies[‘torch’]) 他们不需要单独的入口点,因为模型在创建时可以无缝地开箱即用 最小化包依赖性可减少用户加载模型时遇到的困难...以HuggingFace’s BERT为例: dependencies = ['torch', 'tqdm', 'boto3', 'requests', 'regex'] from hubconfs.bert_hubconf...TensorFlow Hub是一个共享可重用的机器学习平台,主要面向开发者,谷歌希望TensorFlow Hub能够为研究人员和开发人员提供一种便利的方式,能够更方便的在社区中共享模型。...开发人员可以针对开发用例来浏览TF模块,通过TensorFlow Hub推出新的Web体验可以更容易的进行搜索和浏览,同时为multi-publisher平台奠定了基础。...目前看来TF Hub的内置模型更多一点;此外,TF Hub提供的web方式浏览模型的体验更好,搜索模型更加方便。

    1.6K10

    一行代码即可调用18款主流模型!PyTorch Hub轻松解决论文可复现性

    不需要除了PyTorch之外的任何软件包(在hubconf.py中编码为 dependencies[‘torch’]) 他们不需要单独的入口点,因为模型在创建时可以无缝地开箱即用 最小化包依赖性可减少用户加载模型时遇到的困难...以HuggingFace’s BERT为例: dependencies = ['torch', 'tqdm', 'boto3', 'requests', 'regex'] from hubconfs.bert_hubconf...TensorFlow Hub是一个共享可重用的机器学习平台,主要面向开发者,谷歌希望TensorFlow Hub能够为研究人员和开发人员提供一种便利的方式,能够更方便的在社区中共享模型。...开发人员可以针对开发用例来浏览TF模块,通过TensorFlow Hub推出新的Web体验可以更容易的进行搜索和浏览,同时为multi-publisher平台奠定了基础。...目前看来TF Hub的内置模型更多一点;此外,TF Hub提供的web方式浏览模型的体验更好,搜索模型更加方便。

    1.4K40

    原创 | 利用BERT 训练推特上COVID-19数据

    BERT-LARGE主要用于训练英文维基百科(3.5B字)和免费书籍语料库(0.8B字)等大型的原始文本数据集,虽然这些数据集中包含了海量的数据,但是它却没有包含特殊子领域的相关信息,在一些特定的专业领域...在训练之前,先将原始的语料库里的转发标签清洗掉,利用一个通用的文本替换掉每条推文的用户名称,对所有的URL和程序网页都执行类似操作。...图1 Huggingface 从huggingface中加载预先训练好的模型: 图2 可以使用内置的管道来预测内部标识: 图3 从TF-Hub中加载预先训练好的模型: 图4 用以下脚本对CT-BERT...如果是做研究工作的话,可以申请访问TPU和/或谷歌云。 安装 递归地克隆存储仓库: 图5 代码是使用tf-nightly开发的,并确保它向后兼容,以便能在tensorflow 2.2上运行。...图18:评估数据集概览:所有五个评估数据集都是带标签的多分类数据集,通过标签栏中的比例栏宽度来实现可视化,N和Neg表示负面情绪;Disc 和A分别是沮丧和不确定情绪 7.

    64130

    最强NLP模型BERT喜迎PyTorch版!谷歌官方推荐,也会支持中文

    郭一璞 夏乙 发自 凹非寺 量子位 报道 | 公众号 QbitAI 谷歌的最强NLP模型BERT发布以来,一直非常受关注,上周开源的官方TensorFlow实现在GitHub上已经收获了近6000星。...的团队在PyTorch上实现了BERT,开源不久,Google在官方BERT实现的说明开头热情推荐,已经在GitHub上攒了将近700星。 ?...就是根目录下的这个脚本文件: convert_tf_checkpoint_to_pytorch.py 使用这个脚本需要注意两点。...用PyTorch实现了从语言中识别情绪情感反讽的DeepMoji模型: https://github.com/huggingface/torchMoji 还用PyTorch实现了OpenAI优化过的Transformer...传送门 想用PyTorch实现,去这里: https://github.com/huggingface/pytorch-pretrained-BERT 最后在啰嗦一句,BERT官方TensorFlow实现最近新增了多语言版和中文版模型

    1.6K30

    用 BERT 精简版 DistilBERT+TF.js,提升问答系统 2 倍性能

    的生产方面,寻找及实现可在任意环境中简化采用过程的解决方案。...其中 t 为来自教师的 logit,s 是学生的 logit 我们的学生网络是 BERT 的小型版本,其中移除了词条类 (Token Type) 嵌入向量和 pooler(用于下一句分类任务)。...我们使用梯度累积,配合动态遮罩对 DistilBERT 进行大批次训练(每批最多 4000 个示例),并移除了下一句预测目标。 这样,我们就可以针对特定的问答任务微调模型。...我们利用在 SQuAD 1.1 上微调过的 BERT-cased 模型作为教师,配合知识蒸馏损失便可实现 DistilBERT 的微调。...如何知道自己需要使用 "ouput_0" 和 "output_1",以从模型返回的结果中提取开始和结束 logit(回答问题的可能跨度的起点和终点)?

    1.2K30

    最强 NLP 预训练模型库 PyTorch-Transformers 正式开源:支持 6 个预训练框架,27 个预训练模型

    /index.html 该开源库现在包含了 PyTorch 实现、预训练模型权重、运行脚本和以下模型的转换工具: 1、谷歌的 BERT,论文:“BERT: Pre-training of Deep Bidirectional...这些实现都在几个数据集(参见示例脚本)上进行了测试,性能与原始实现相当,例如 BERT中文全词覆盖在 SQuAD数据集上的F1分数为93 , OpenAI GPT 在 RocStories上的F1分数为...这些实现已在几个数据集上进行测试(参见示例脚本),应该与原始实现的性能相当(例如,BERT 全词覆盖(Whole-Word-Masking)在 SQUAD 数据集上的 F1 分数为 93,OpenAI...例子 BERT-base和BERT-large分别是110M和340M参数模型,并且很难在单个GPU上使用推荐的批量大小对其进行微调,来获得良好的性能(在大多数情况下批量大小为32)。...作者在doc中展示了几个基于BERT原始实现(https://github.com/google-research/bert/)和扩展的微调示例,分别为: 九个不同GLUE任务的序列级分类器; 问答集数据集

    1.3K20

    【注意力机制】transformers之转换Tensorflow的Checkpoints

    来源 | Github 作者 | huggingface 编译 | VK 【导读】本节提供了一个命令行界面来转换模型中的原始Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM...BERT 你可以通过使用convert_tf_checkpoint_to_pytorch.py将任意的BERT的Tensorflow的Checkpoints转换为PyTorch格式(特别是由Google...bert_model.ckpt开头的文件)和关联的配置文件(bert_config.json)作为输入,并为此配置创建PyTorch模型,并加载在PyTorch模型中从TensorFlow checkpoints...然后你可以忽略TensorFlow checkpoints(以bert_model.ckpt开头的三个文件),但请确保保留配置文件(bert_config.json)和词汇表文件(vocab.txt),...要运行此特定的转换脚本,你将需要安装TensorFlow和PyTorch(pip install tensorflow)。存储库的其余部分仅需要PyTorch。

    2.3K20

    用NodeJSTensorFlowJS调用BERT实现文本分类

    文本以NodeJS为基础,给出一个文本分类例子œ 按照当前的情况,NodeJS版本其实更适合直接调用Python训练好的模型使用,因为加载速度和推理速度都比Python版本快的原因,如果不是必须要用GPU...的话对于小模型更是可以适合配合FaaS等工具更好的实现云AI函数 更多内容和代码可以参考这个REPO https://github.com/qhduan/bert-model/ TensorFlowJS...这是一个判断两个问题是否等价的数据集,例如“喜欢打篮球的男生喜欢什么样的女生”和“爱打篮球的男生喜欢什么样的女生”等价。...的词表,几乎所有的中文BERT都是基于最开始谷歌发布的词表的,所以没什么区别 $ curl --output vocab.txt https://deepdialog.coding.net/p/zh-roberta-wwm...('@tensorflow/tfjs-node') // huggingface的bert分词包 const BertWordPieceTokenizer = require('tokenizers')

    1.1K40

    被解雇半年后,前谷歌高管米切尔加入初创公司Hugging Face

    Transformers最早的名字叫做pytorch-pretrained-bert,推出于google BERT之后。顾名思义,它是基于pytorch对BERT的一种实现。...pytorch框架上手简单,BERT模型性能卓越,集合了两者优点的pytorch-pretrained-bert吸引了大批的追随者和贡献者。...2019年6月Tensorflow2的beta版发布,Huggingface实现了TensorFlow 2.0和PyTorch模型之间的深层互操作性,可以在TF2.0/PyTorch框架之间随意迁移模型...目前用于“教导”模型如何进行预测或确定的数据集,通常因为原始数据的不完整会导致AI软件在女性、少数群体成员还有老年人中表现不佳。...提到这篇论文,大致集中攻击了大规模语言模型(如BERT)的消极影响,而BERT模型是谷歌的王牌AI产品之一。

    21210

    用NodeJSTensorFlowJS调用BERT实现文本分类

    文本以NodeJS为基础,给出一个文本分类例子œ 按照当前的情况,NodeJS版本其实更适合直接调用Python训练好的模型使用,因为加载速度和推理速度都比Python版本快的原因,如果不是必须要用GPU...的话对于小模型更是可以适合配合FaaS等工具更好的实现云AI函数 更多内容和代码可以参考这个REPO https://github.com/qhduan/bert-model/ TensorFlowJS...这是一个判断两个问题是否等价的数据集,例如“喜欢打篮球的男生喜欢什么样的女生”和“爱打篮球的男生喜欢什么样的女生”等价。...的词表,几乎所有的中文BERT都是基于最开始谷歌发布的词表的,所以没什么区别 $ curl --output vocab.txt https://deepdialog.coding.net/p/zh-roberta-wwm...('@tensorflow/tfjs-node') // huggingface的bert分词包 const BertWordPieceTokenizer = require('tokenizers')

    1.1K30

    Transformers2.0让你三行代码调用语言模型,兼容TF2.0和PyTorch

    近日 HuggingFace 公司开源了最新的 Transformer2.0 模型库,用户可非常方便地调用现在非常流行的 8 种语言模型进行微调和应用,且同时兼容 TensorFlow2.0 和 PyTorch...最近,专注于自然语言处理(NLP)的初创公司 HuggingFace 对其非常受欢迎的 Transformers 库进行了重大更新,从而为 PyTorch 和 Tensorflow 2.0 两大深度学习框架提供了前所未有的兼容性...像 Keras 一样功能强大和简洁; 在 NLU 和 NLG 任务上实现高性能; 对教育者和实践者的使用门槛低。...3 行代码训练 SOTA 模型; 实现 TensorFlow 2.0 和 PyTorch 模型的深度互操作; 在 TensorFlow 2.0 和 PyTorch 框架之间随意移动模型; 为模型的训练...现已支持的模型 官方提供了一个支持的模型列表,包括各种著名的预训练语言模型和变体,甚至还有官方实现的一个蒸馏后的 Bert 模型: 1.

    2.4K30

    Transformers 4.37 中文文档(十)

    在原始存储库中运行预训练检查点 首先,您将在原始brand_new_bert存储库上工作。通常,原始实现非常“研究性”。这意味着文档可能缺失,代码可能难以理解。...,这意味着原始模型和 Transformers 中重新实现的版本必须在精度为 0.001 的情况下给出完全相同的输出!...因此,您肯定会多次将 Transformers 版本的中间输出与brand_new_bert的原始实现的中间输出进行比较,在这种情况下,原始存储库的高效调试环境绝对重要。...根据我们的经验,一个简单而有效的方法是在原始实现和 Transformers 实现中的相同位置分别添加许多打印语句,并逐步删除显示中间表示值相同的打印语句。...除了模型文件本身,您还需要添加指向模型类和相关文档页面的指针。您可以完全按照其他 PR 中的模式完成此部分(示例)。

    44210
    领券