首页
学习
活动
专区
工具
TVP
发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。
专栏作者
256
文章
390689
阅读量
56
订阅数
AllenNLP系列文章之二:命名实体识别
The named entity recognition model identifies named entities (people, locations, organizations, and miscellaneous) in the input text. This model is the "baseline" model described in Peters, Ammar, Bhagavatula, and Power 2017 . It uses a Gated Recurrent Unit (GRU) character encoder as well as a GRU phrase encoder, and it starts with pretrained GloVe vectors for its token embeddings. It was trained on the CoNLL-2003 NER dataset. It is not state of the art on that task, but it's not terrible either. (This is also the model constructed in our Creating a Model tutorial.)
sparkexpert
2022-05-07
4930
AllenNLP系列文章之一:初识AllenNLP和代码重构
  AllenNLP是一个相对成熟的基于深度学习的NLP工具包,它 构建于 PyTorch 之上,它的设计遵循以下原则: (1)超模块化和轻量化。你可以使用自己喜欢的组件与 PyTorch 无缝连接。 (2)经过广泛测试,易于扩展。测试覆盖率超过 90%,示例模型为你提供了很好的模板。 (3)真正的填充和覆盖,让你可以毫无痛苦地轻松实现正确的模型。
sparkexpert
2022-05-07
6700
NasNet实践:图像识别领域最佳模型
  谷歌最近推出的NasNet,是当前图像识别领域的最佳模型,近日对此模型进行复现了下,也大致了解了其原理。这个模型并非是人为设计出来的,而是通过谷歌很早之前推出的AutoML自动训练出来的。该项目目的是实现“自动化的机器学习”,即训练机器学习的软件来打造机器学习的软件,自行开发新系统的代码层,它也是一种神经架构搜索技术(Neural Architecture Search technology)。然而尽管AutoML 能够设计出性能可与人类专家设计的神经网络相媲美的小型神经网络,但仍被限制在 CIFAR-10 等小型学术数据集方面。
sparkexpert
2022-05-07
1.4K0
基于CNN的图像超分辨率重建
  图像尺寸变大且变清晰是图像处理的内在需求之一,然而现有的图像分辨率固定的情况下,从低分辨率到高分辨率的扩展常伴来了模糊、噪声的问题,即Single image super-resolution (SISR) aims to recover a high-resolution (HR) version of a low-resolution (LR) input. 因此深度学习架构下的图像超分辨率重建是近几年来研究的热点。
sparkexpert
2022-05-07
5120
基于CNN的图像增强之去模糊
今天在看Learning Deep CNN Denoiser Prior for Image Restoration (CVPR, 2017) 的文章,里面涵盖的内容非常全,其中模糊也是其中主要工作之一,这工作挺有意思的,因此对其进行复现。
sparkexpert
2022-05-07
5910
基于CNN的图像滤境操作之去噪声
  图像去噪声是图像增强、图像重建的重要内容之一,在现实中,很多图像难免存在噪声的问题,从而影响了图像的判别。当然图像去噪声在现有的图像处理软件中也比较成熟。
sparkexpert
2022-05-07
6740
ubuntu matlab中安装MatConvNet工具箱(支持GPU,mexcuda报错问题)
MatConvNet  is a MATLAB toolbox implementing  Convolutional Neural Networks  (CNNs) for computer vision applications. It is simple, efficient, and can run and learn state-of-the-art CNNs. Many pre-trained CNNs for image classification, segmentation, face recognition, and text detection are available.
sparkexpert
2022-05-07
4900
基于Bidirectional AttentionFlow的机器阅读理解实践
机器阅读是实现机器认知智能的重要技术之一。机器阅读任务主要有两大类:完形填空和阅读理解。
sparkexpert
2022-05-07
1900
基于mask-rcnn屏幕图像中指定对象
在很多场景条件下,会有意地将图像中的某些对象进行屏蔽删除处理,传统的抠图的办法需要用到专业的处理软件来处理。看到有基于mask-rcnn的方式来实现屏幕中指定对象的删除,挺有趣的。
sparkexpert
2022-05-07
2250
r-net机器阅读理解实践
        斯坦福大学自然语言计算组发起的SQuAD(Stanford Question Answering Dataset)文本理解挑战赛并不陌生,它也被誉为“机器阅读理解界的ImageNet”。诸多来自全球学术界和产业界的研究团队都积极地参与其中,近期在机器阅读理解上已经取得了不小的突破,因此这两天刚好有时间,对里面涉及的一些开源框架进行学习一下。
sparkexpert
2022-05-07
4390
适用于大规模文档关键词抽取的利器(flashtext)
从文档中抽取关键词并对关键词相关的变体进行替换,是信息抽取中常用的做法之一,特别是基于规则词典的方法。常见的实现方式是基于正则表达式的方式,2017年的这篇文档介绍则实现了一种全新的算法及其实现原理:flashtext (Replace or Retrieve Keywords In Documents at Scale)。该方法的效率如下图所示:(时间效率上可以看出是一条平衡的直线,不随文档词的数量变化而变化。)
sparkexpert
2022-05-07
3980
Python3.6安装sqlite3的终极解决办法(
最近重装了系统之后,发现原有的python3环境下安装sqlite3(见原来博客:ubuntu环境下 python 3.0以上版本对sqlite3的支持问题)的办法已经行不通了。
sparkexpert
2022-05-07
8420
StarSpace(embed all the things嵌入表示)编译和测试
  StarSpace是Facebook开源的一个嵌入式表示的库,号称可以embed all things,可以学习任何实体的向量表示。其对应的文章为https://arxiv.org/pdf/1709.03856.pdf,对应的开源代码库为:https://github.com/facebookresearch/Starspace。
sparkexpert
2022-05-07
5770
Python3环境下cleverhans对抗样本防护编译与测试(含FGSM攻击与ADV防护)
      在看人工智能安全方面的资料,顺手看到cleverhans的资料,就将它在python 3.6的环境下进行编译和测试。
sparkexpert
2022-05-07
5340
DeepFool(迷惑深度学习分类模型)测试
      AI+网络安全是当前网络攻击与防御方向比较热门和前沿的领域。同时网络安全中的漏洞挖掘、入侵检测、异常流量等传统任务也已经出现了大量基于深度学习的实现方法。然而当以深度学习为主流的人工智能应用越来越广泛之后,陆续又出现了对于人工智能应用的攻击,主要分为两种:一是白盒测试,即深度学习的模型架构和参数都已经的情况下,这种场景的攻击一般可以进行参数的修改来达到攻击的效果;二是黑盒测试,即上述情况未知的情况下进行攻击,这时候采用的攻击手段主要是对抗样本,对抗样本(adversarial examples)这一概念在Szegedy et al. (2014b)中被提出:对输入样本故意添加一些人无法察觉的细微的干扰,导致模型以高置信度给出一个错误的输出。对抗样本现在已经广泛应用于人脸识别、声纹识别等相关应用场景。
sparkexpert
2022-05-07
4070
文本摘要评测工具ROUGE的搭建和测试
文本摘要任务中最常用的评价方法是ROUGE(Recall-Oriented Understudy for Gisting Evaluation)。ROUGE受到了机器翻译自动评价方法BLEU的启发,不同之处在于,采用召回率来作为指标。基本思想是将模型生成的摘要与参考摘要的n元组贡献统计量作为评判依据。
sparkexpert
2022-05-07
1.2K0
Toward Multimodal Image-to-Image Translation(BicycleGAN)图像一对多转换测试
CycleGAN、pix2pix、iGAN的主要贡献者最近在NIPS 2017上又推出了一篇文章Toward Multimodal Image-to-Image Translation(见https://junyanz.github.io/BicycleGAN/,https://arxiv.org/pdf/1711.11586.pdf),讨论如何从一张图像同时转换为多张风格不一成对的图像。 从作者摘要第一句可以看出:“Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting.” 像pix2pix这样的图像转换(一对一)的方式是存在歧义的,因为不可能只对应一个输出。因此作者提出了一种一对多的输出,即将可能输出的图像是存在一定的分布特性的。
sparkexpert
2022-05-07
3130
Mask R-CNN(目标检测,语义分割)测试
Kaiming He的大作Mask R-CNN( https://arxiv.org/pdf/1703.06870.pdf)已经放出来一段时间了,最近才有空进行代码学习和编译。 
sparkexpert
2022-05-07
3430
OpenCV在Python上的调用( import cv2的解决办法)
为了在Python中调用opencv,特别是看到好多代码都是import cv2,而这个在python中是无法直接进行pip install安装的。
sparkexpert
2022-05-07
8340
G2P(单词到音素)的深度学习训练测试
G2P(Grapheme-to-Phoneme),英文意思是字素到音素,使用循环神经网络(recurrent neural network,RNN) 和LSTM( long short-termmemory units),来实现从英文单词到音素的转化。LSTM序列到序列模型(LSTM sequence-to-sequencemodel)已经被成功地应用到许多项目中,这些应用包括机器翻译,字素转因素等等。
sparkexpert
2022-05-07
9620
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档