6个开源数据科学项目给您的面试官留下深刻印象

作者 | PRANAV DAR

来源 | http://analyticsvidhya.com/ 编辑 | 代码医生团队

总览

• 通过这些顶级开源项目来进行数据科学工作
• 从Facebook AI的计算机视觉框架到OpenAI的GPT-3模型，我们涵盖了广泛的开源数据科学项目

介绍

“到目前为止，您完成了多少个数据科学项目？”

这是访问员在数据科学访问中提出的一个非常常见的问题。曾针对数据分析师和数据科学家的角色进行过几次此类采访，这通常是头奖问题。如果是数据科学的新手或相对较新的用户，则尤其如此。

仅参加课程或获得认证是不够的。认识的几乎每个人都拥有数据科学各个方面的认证。如果不将其与实际经验相结合，则对简历没有任何价值。

这就是开源数据科学项目发挥如此关键作用的地方。面试者喜欢选择这些项目并提出解决方案的申请人。这显示了对该领域的好奇心，热情和热情。在简历中添加数据科学项目会增加被录用的机会。

但是应该选择哪些数据科学项目？喜欢收集前几个月的最佳项目并将其带给您。在本月的版本中，将涵盖广泛的主题，从Facebook AI的改变游戏规则的DEtection TRANSformer（DETR）框架到OpenAI的GPT-3。

开源数据科学项目可增强您的简历和应用程序

Facebook AI的检测变形器（DETR）

https://github.com/facebookresearch/detr

Facebook AI的DETR无疑是5月份发布的最有趣的开源项目。它在一周之内累积了近3,000颗恒星这一事实非常有说服力。

DETR是DEtection TRANSformer的缩写，可能会改变计算机视觉领域。该框架是解决对象检测问题的创新有效方法。而且DETR极其快捷，高效，这是数据科学专业人员的梦想！

正如常驻数据科学家Prateek Joshi所说：

“ DETR模型非常简单，您无需安装任何库即可使用它。DETR借助基于变换器的编码器-解码器体系结构将对象检测问题视为直接集预测问题。”

在这里详细介绍了DETR，以帮助了解其下方的工作方式以及如何将其用于对象检测任务。也可以查看Facebook AI团队发布的Colab笔记本，以查看DETR模型的实际应用。

https://www.analyticsvidhya.com/blog/2020/05/facebook-detection-transformer-detr-a-transformer-based-object-detection-approach/?utm_source=blog&utm_medium=6-open-source-data-science-projects-interviewer

https://colab.research.google.com/github/facebookresearch/detr/blob/colab/notebooks/detr_demo.ipynb

实时图像动画

https://github.com/anandpawara/Real_Time_Image_Animation

另一个有趣的开源计算机视觉项目。顾名思义，使用OpenCV实时执行图像动画。看看从项目的GitHub存储库中获取的以下示例：

该模型模仿人在镜头前的表情，并相应地更改图像。这是对计算机视觉的出色使用，肯定会在内部进行尝试。这种项目将在时装，零售，市场营销和广告等行业中得到大量应用。

最初的开发人员足够友好，可以开源代码以及Colab笔记本。继续尝试内心的渴望。那是最好的学习方式！

https://colab.research.google.com/github/AliaksandrSiarohin/first-order-model/blob/master/demo.ipynb

OpenAI的GPT-3 –大规模的NLP版本！

https://github.com/openai/gpt-3

OpenAI再次做到了！在去年发布GPT-2并引起媒体热议之后，开源了最新的自然语言处理（NLP）框架– GPT-3！

简而言之，GPT-3是同类产品中最大的NLP模型。它具有1750亿个参数（是的，您没有看错），并且在大小方面非常庞大，将近350GB。GPT-3几乎是历史上最昂贵的模型之一（训练费用约为1200万美元）。

语言模型需要大量数据来训练人类可以在几秒钟内完成的任务并不是什么秘密。加强– GPT-3。在讨论GPT-3幕后工作原理的官方论文中，OpenAI展示了扩展语言模型如何极大地提高了与任务无关的性能和很少的表现。

https://arxiv.org/pdf/2005.14165.pdf

现在，这里是可能涉及到许多数据科学伦理学人士的部分– GPT-3可以轻松生成新闻报道的样本，人类将很难识别这些新闻为假新闻。在当今互连的世界中，这可能是灾难性的。为了公平对待OpenAI，他们在论文中解决了这个问题。

使用PyAudio进行实时音频分析

https://github.com/tr1pzz/Realtime_PyAudio_FFT

这个开源数据科学项目是个人的最爱。该Python库由Xander Steenbrugge创建并发布，Xander Steenbrugge是前两次DataHack峰会的著名发言人，该Python库使我们能够执行实时音频分析。

正如Xander将其放在他的GitHub存储库中一样，这是：

“使用PyAudio和Numpy从实时音频流中提取和可视化FFT功能的简单软件包，它可以在本地Python中进行实时音频分析。”

FFT在这里代表快速傅立叶变换。这是掌握数据科学技能的绝佳工具，它可以解决可以处理的各种问题。

肯定会在Analytics Vidhya中尝试PyAudio和Xander的工作。许多数据科学成员都是重音乐听众，迫不及待地想加入这个开源项目。

如果以前从未使用过音频数据，请阅读下面的文章以了解所有信息：

10个音频处理任务，帮助您开始使用深度学习应用程序（包括案例研究）

https://www.analyticsvidhya.com/blog/2018/01/10-audio-processing-projects-applications/?utm_source=blog&utm_medium=6-open-source-data-science-projects-interviewer

TextShot –很棒的抓取文字的Python工具

https://github.com/ianzhao05/textshot

是否曾经遇到过包含文本但无法完全提取文本的图像或屏幕截图？知道有一些用于此目的的工具，但不希望在计算机上安装任何其他软件！

现在，可以简单地使用此Python工具来抓取屏幕快照并从中提取文本，称为TextShot（很好的名称），这是一个出色的工具，可以快速收集数据科学项目所需的任何文本数据。这是TextShot工作原理的演示：

TextShot要求在计算机上安装Google的Tesseract。可以查看以下教程，以了解有关Tesseract如何工作的更多信息：

使用Google的Tesseract和OpenCV构建自己的光学字符识别（OCR）系统

https://www.analyticsvidhya.com/blog/2020/05/build-your-own-ocr-google-tesseract-opencv/?utm_source=blog&utm_medium=6-open-source-data-science-projects-interviewer

机器学习的视觉效果–与数据科学专业人员进行交流的绝佳方式

https://github.com/dair-ai/ml-visuals

喜欢dair.ai的这个开放源代码存储库。许多新来者（甚至是经验丰富的负责人）经常在技术和科学交流中挣扎。处理许多人想念的科学交流有细微差别。

ML Visuals是一项开放源代码的协作工作，旨在帮助数据科学界理解和改善技术交流。这个出色的资源库提供了许多视觉效果，模板和图形，可帮助构建完美的演示文稿或研究论文。

该项目的最好部分是可以在Google幻灯片上找到所有内容。看看从这些幻灯片中获得的一些视觉效果：

https://docs.google.com/presentation/d/11mR1nkIR9fbHegFkcFq8z9oDQ5sjv8E3JJp1LfLGKuk/edit#slide=id.p

漂亮的东西！如果确实使用了此项目中的任何内容，请感谢开发人员。还应该查看这篇有关分析和数据科学中的故事讲述的出色文章，以了解有关沟通技巧的更多信息。

https://www.analyticsvidhya.com/blog/2020/05/art-storytelling-analytics-data-science/?utm_source=blog&utm_medium=6-open-source-data-science-projects-interviewer

尾注

本月的收藏集中有许多有趣的开源数据科学项目！Analytics Vidhya的整个团队都在研究Facebook AI的DETR或OpenAI的GPT-3模型。两者在各自领域都提供了很多希望。