FL 体现了集中数据收集和最小化的原则，可以减轻传统的集中式机器学习和数据科学方法带来的许多隐私、安全性风险和成本。...这种计算方面的合作可以减少在一个组织中购买大量 GPU 节点的财务负担。 模型协作 — 以联合的方式服务于模型。服务大型基础模型也是一种挑战。...与传统的深度学习框架，例如 TensorFlow、Pytorch、Keras 等相比，DeepSpeed 通过将模型参数拆散分布到各个 GPU 上，以实现大模型的计算，使得可以用更少的 GPU 训练更大的模型...矩阵秩 (r) 可以非常低，比如对于 GPT-3 175B 模型，rank-1 或 rank-2 就能基本对齐原始 rank-12288 的效果： 与 Adam 微调的 GPT-3 175B 相比，LoRA...4、后续发展讨论 我们在这篇文章中讨论了与 FL+LLM 相关的一些方法，包括算法方面的改进、硬件方面的研发，以及分布式训练和联邦学习的架构。
缓存穿透 解决： 接口层增加校验，如用户鉴权校验，id做基础校验，比如 id的直接拦截； 从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，直接返回空值...缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击。 利用互斥锁，缓存失效的时候，先去获得锁，得到锁了，再去请求数据库。...关于互斥锁，可以看看下面这个例子： Redis 如果是使用Redis，可以使用Redis的SETNX，也就是只有不存在的时候才设置，可以利用它来实现锁的效果。...这样就可以避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题，用户直接查询事先被预热的缓存数据。 解决： 上线时加个接口，手动触发加载缓存，或者定时刷新缓存。...数据量不大，可以在项目启动的时候自动进行加载。
今日话题：如何快速掌握一门新技术，有什么独特的学习方法和技巧可以分享吗？图片这个话题引起了我的思考和总结，现在的技术这么多，我们该如何高效的学习呢？我先总结一下我所了解的技术和学习的路径。...比方说很老的技术jsp。我还记得最开始接触这门语言的时候，我的笔记本（纸质的）上记录了很多的这方面的笔记，到后来参加实习，但是前后端分离的，根本用不到jsp这门技术。...学习的过程也许是漫长的，枯燥的，但是一定要根据目标找到学习的激情和动力。唯有热爱抵漫长岁月。多种资源的利用现在的技术出来，我相信很少人会去看很厚很厚的教科书了，基本是去视频网站寻找对应的视频教程。...在这里，身边人也很重要，特别是open sharing 类型的人，可以共享学习成果，分享学习体验，营造一个好的学习环境和学习的圈子。...不断的分享新技术新体验新技巧，主打一个与shigen一起，每天不一样！以上就是shigen对于如何快速掌握一门新技术，你有什么独特的学习方法和技巧可以分享吗？的经验总结和分享了。
当我们刚开始学习数据科学时，这种方法尤为有用。 尝试从无到有地实现一个神经网络，你将会明白很多有趣的事情。但是当需要为现实世界的数据集构建深度学习模型时，这还是一个不错的主意吗？...如果你需要几天或几周的时间来建立起模型，这是完全不可能的。 对于那些无法访问无限计算资源的人来说，你们已经来到了正确的地方。 ?...我们要做的工作就是实现这个模型，对吗？如果从头开始编写一个卷积神经网络，则需要几天（甚至几周）才能得到一个有效的模型，我们却没法等这么长的时间！ 这正是深度学习框架真正改变了局面的地方。 ?...你习惯使用Python吗？如果是，那么可以立即连接到Keras。这是一个开启你的深度学习之旅的完美的框架。...记住，这些框架基本上只是帮助我们实现最终目标的工具，正确地选择它们可以减少大量的精力和时间。 最后附上资讯插图，详细介绍了我们所涵盖的每个深度学习框架。
答：检查是否正确安装了tensorflow-gpu或者pytorch的gpu版本，如果已经正确安装，可以去利用time.time()的方法查看detect_image里面，哪一段代码耗时更长（不仅只有网络耗时长...答：检查是否正确安装了tensorflow-gpu或者pytorch的gpu版本，如果已经正确安装，可以去利用time.time()的方法查看detect_image里面，哪一段代码耗时更长（不仅只有网络耗时长...问：为什么我运行train.py下面的命令行闪的贼快，还提示OOM啥的？ 答：这是在keras中出现的，爆显存了，可以改小batch_size。...答：基本上可以达到，我都用voc数据测过，我没有好显卡，没有能力在coco上测试与训练。 v、我的检测速度是xxx正常吗？我的检测速度还能增快吗？...答：检查是否正确安装了tensorflow-gpu或者pytorch的gpu版本，如果已经正确安装，可以去利用time.time()的方法查看detect_image里面，哪一段代码耗时更长（不仅只有网络耗时长
这是人们现在已经忽略的东西，但是用反向传播训练的端到端可微模型只是学习感知的模块化层次表示问题的一种解决方案，还有其他途径尚未得到探索。这个问题本身只是AI领域的众多问题之一。...（在这之前，通过配置文件来定义模型是最流行的方法，特别是对于Caffe和PyLearn2）。...如果你的资源有限，那么不要把时间花在担心GPU上，而是担心你是否在处理正确的问题，是否在提出正确的问题。 问：你一直是“AI伦理”的倡导者。你能分享一些在构建“AI产品”时必须注意的方面吗?...在某种程度上，机器学习是我们这个时代的蒸汽动力：这是一种非常基本的机制，但如果大规模使用，它仍有可能深刻地改变世界。...问：你认为博士或硕士学位的专业水平是必要的吗，还是一个人可以在不成为“专家”的情况下对深度学习领域做出贡献? Francois Chollet：当今在深度学习领域很多重要贡献的人都没有博士学位。
这是人们现在已经忽略的东西，但是用反向传播训练的端到端可微模型只是学习感知的模块化层次表示问题的一种解决方案，还有其他途径尚未得到探索。这个问题本身只是AI领域的众多问题之一。...（在这之前，通过配置文件来定义模型是最流行的方法，特别是对于Caffe和PyLearn2）。...在某种程度上，机器学习是我们这个时代的蒸汽动力：这是一种非常基本的机制，但如果大规模使用，它仍有可能深刻地改变世界。...问：你认为博士或硕士学位的专业水平是必要的吗，还是一个人可以在不成为“专家”的情况下对深度学习领域做出贡献Francois Chollet：当今在深度学习领域很多重要贡献的人都没有博士学位。...问：在我们结束之前，对于那些对如何开启深度学习感到不知所措的初学者，你有什么建议吗François Chollet：10年后，你能买到一本教科书，上面会可以很好地总结2010年到2020年期间AI的进展
翻译 | 赵朋飞 涂世文 整理 | 吴璇 这篇文章是对深度学习数据增强技术的全面回顾，具体到图像领域。这是《在有限的数据下如何使用深度学习》的第2部分。 ? 这些情况我们都经历过。...缓解这种情况的一种方法是添加更多的图片，这样我们就可以解释所有季节性变化。但这是一项艰巨的任务。扩展我们的数据增强概念，想象一下，人为地产生不同季节的效果会有多酷？...除此之外，你还可以设计自己的方法来处理未定义的空间， 但通常以上这些方法对大多数分类问题都有很好的效果。 那么，如果我使用了所有的这些技术，能保证我的机器学习算法的健壮性吗？...如果你用的是正确的方法，那这个问题的答案是 Yes ! 什么？你问正确方法是什么？嗯，有时不是所有的增强技术都对数据集有意义。再考虑一下我们的汽车例子。下面是可以修改图像的一些方法。 ?...你可以在GitHub repo中找到对应的示例代码片段 (不要忘记在代码段中插入模型的 ID)。 ? 对比结果令人印象深刻不是吗？事实上，大多数模型在更多的数据上可以表现更良好。
我是TensorFlow爱好者，现在正在学习，国内的这方面的资料不多，感谢你们提供的资料。我想问一下，学习TensorFlow有什么学习曲线，有没有什么实战的案例？...看了这个题目的一些提问，发现这个TensorFlow技术，学习曲线还是很陡峭，研究的人还是少数，有什么方法可以把学习曲线降低，更容易入门吗？还有学习这个技术，有什么必要的学科基础要求吗？...可以先通过keras上手，这是一个支持TensorFlow的上层封装。在学习TensorFlow之前，需要有基础的Python编程能力，以及对深度学习有一定了解。...有没有其他的方法实现估值网络？ 估值网络是深度强化学习中的一个模型，可以用来解决常见的强化学习问题，比如下棋，自动玩游戏，机器控制等等。 7 ....不知道有没有针对传统零售行业的实际案例，比如销售预测的案例。 用深度学习可以做销售预测模型，只要它可以转为一个分类预测的问题。 13 . 使用TensorFlow的产品有哪些？有比较有代表性的吗？
我们认为这是件很好的事情，人们可以用tensorflow训练模型，而其他人也可以使用这些数据并且在此基础上继续，GitHub上有很多这种资源，差不多提到了1.5万次，其中只有5个来自谷歌。...那么，没有什么机器学习背景或经验的人也能使用TensorFlow吗？ 【Jeff Dean】我认为你可以用机器学习去做很多很多的事情。...换句话说，只有是有基本编程经验的程序员，都能够利用TensorFlow已有的这些模块训练他的点子。...TensorFlow之所以会受欢迎的一个原因，就是因为它向人展示了6到7种不同的重要机器学习模型，并且让人知道了这些模型的底层原理，也知道了它们是如何在TensorFlow中运作的。...【Tom Simonite】能够总结一下机器学习的难点和突破吗？ 【John Giannandrea】全世界的研究人员都在努力。其中一个难点是从小数据学习。
Jeff Dean：当然可以。实际上，明年我们就打算把培训生计划拓展一下，让它囊括谷歌研究院更多的研究团队，包括我们的一些研究贝叶斯方法的研究员同事。...如果公平的话，你觉得这种根本的区别是什么原因造成的？2，能源效率是谷歌大脑团队目前的研究目标或者将来的研究目标之一吗？如果是的话，你可以说说对这个问题的其它方面的好点子吗？...实际上我们也已经开始尝试想要发现一些模型结构方面的革命性的方法（不过现在还处在很早的阶段所以没有什么可以公开的结果）。...Jeff Dean：我觉得会的。在很多情况下，谷歌的机器学习研究员开发出了新的、有意思的算法和模型，它们可以很好地解决某一类问题。...（这和目前多数的深度学习研究都不一样，目前基本都是人类指定了要选用的模型结构，然后优化过程在确定的模型结构下调整里面的连接的权重，但是学习过程中并不会引入新的神经元或者新的连接）。
我的目标是让所有人（几乎）所有年龄段的人都能适应它的基本术语：实例、标签、特性、模型、算法和有监督的学习。 实例 看下面四个例子！ ? 实例也称为「示例」或「观察」。...我想让你成为我的机器学习系统。使用你的大脑，再看一眼实例，做一些学习，你觉得这是什么？ 使用你从上面的示例中学习到的内容对该图像进行分类。 ? 「金发」？是的。你明白了！...总结：如果算法在每个实例中都有正确的标签，那么这将是有监督的学习。稍后，它将使用模型或配方来标记新实例，就像你所做的那样。 ?...无监督学习的秘密标签 如果你认为「坐着还是站着」是标签，那就再想想吧！这就是您用来创建集群的方法（模型）。...我们在这里所做的是可视化空假设世界，并弄清楚事情在那里是如何工作的，这样我们就可以为它制作一个玩具模型。这就是计算的全部内容。 这个证据让你吃惊吗？
人工智能难学吗？ 其实不难。一个有大学学历和基本编程经验的开发，在正确的材料和方向引导下3个星期的时间就能实现自己的第一个人工智能，甚至不需要你有python基础，边学python边学AI都行。...自从15年之后，AI的发展基本是以国外为领导，比如Google推出了Tensorflow这个实现人工智能的框架。...当然不是说这个方法就不行，如果有足够的毅力也可以。但是在这个过程中会发现有很多陌生的词不理解，很影响自学的效率。 说了这么多，正确的姿势是啥？ 先打基础。 基础是啥？...如果你有非常丰富的某方面经验，比如服务端开发，比如移动端开发，那么AI和你的经验的结合点是学习的方向。 换句话说，放弃你所擅长的去学AI，这是不值得的。...比如你是做Android的，那么可以把一个物体识别模型落地到Android客户端，让它用摄像头识别物体。如果是做服务端，可以试试用NLP模型把一些外部网站的内容进行分类。
所以下面七个问题是你的「执念」吗？ TensorFlow 是个张量运算库？ 不听不听，还是要用测试集调试调试模型的…… 训练数据大概对模型训练都是有用的吧。...将在训练集上训练得到模型，在验证集上进行效果评估，得出的效果用以指导开发者调节模型，以求在真实场景下获得效果最好的模型。直到模型调节好之后，才应该使用测试集，提供模型在真实场景下实际表现的无偏估计。...在机器学习研究高度竞争的环境下，对新算法/模型的评估，通常都会使用其在测试集上的表现。因此对于研究者而言，没有理由去写/提交一篇测试集效果不 SOTA 的论文。...这是一个振奋人心的消息，因为至少在 CIFAR-10 上，随着研究社区发明出更好机器学习模型/方法，由于「作弊」得到的泛化损失，也变得更加轻微。...谣传六：图像数据集反映了自然世界真实图像分布 为实现此攻击，研究者所使用的基本方法是 Goodfellow 提出的 FGSM（fast gradient sign method）方法的变体，这是最早的一种为实现有效对抗攻击而引入的方法
如果想自己建立一个像上文提到的那样精确的模型（有140百万个参数）。为了训练这个模型，你需要找到120万张图像，这是一个不可能完成的任务。 所以可以试试迁移学习。...通过下面的TensorFlow命令你可以执行随机裁剪。 数据增强因子=任意。 ? 5. 平移 平移是将图像沿X或Y方向（或者同时沿2个方向）移动。...缓解这种情况的一种方法是添加更多的图片，这样我们就可以解释所有季节性变化。但这是一项艰巨的任务。扩展我们的数据增强概念，想象一下，人为地产生不同季节的效果会有多酷？...除此之外，你还可以设计自己的方法来处理未定义的空间， 但通常以上这些方法对大多数分类问题都有很好的效果。 那么，如果我使用了所有的这些技术，能保证我的机器学习算法的健壮性吗？...如果你用的是正确的方法，那这个问题的答案是 Yes ! 什么？你问正确方法是什么？嗯，有时不是所有的增强技术都对数据集有意义。再考虑一下我们的汽车例子。下面是可以修改图像的一些方法。 ?
跟踪基本上是有限的，重新解释Python代码实际上需要重写Python编译器的大部分内容。 当然，通过限制在深度学习中使用的Python子集，范围可以大大简化。...机器学习框架的现状 PyTorch在研究领域领先，并试图扩展到工业领域。而TensorFlow正试图在不牺牲太多产业优势的情况下，更多的参与到研究领域。...虽然两者都还处于试验阶段，但代表了PyTorch在这方面的重大进展。 谷歌在行业中的孤立会伤害TensorFlow吗？谷歌推动TensorFlow的主要原因之一是帮助其蓬勃发展的云服务。...实现自动微分的方法有很多，大多数现代机器学习框架所选择的方法被称为“逆向模式自动微分”，也就是通常所说的“反向传播”。对神经网络的衍生而言，这种实现是非常有效的。...目前已经有许多处理工具，如Halide、TVM、PlaidML、TensorComprehensions、XLA、Taco等，但是正确的方法还没找到。
TF不仅拥有强大的计算集群，还可以在iOS和Android等移动平台上运行模型。 TF编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。...它得到谷歌的支持，这就说明该模型短期内不会被抛弃，因此值得投入时间来学习它。 PyTorch基本特性： 与TensorFlow不同，PyTorch库使用动态更新的图形进行操作 。...一旦你的 PyTorch 模型进入此 IR，我们将获得图形模式的所有好处。我们可以在不依赖 Python的情况下以 C ++ 部署 PyTorch 模型，或对其进行优化。...注意：PyTorch 已支持量化和移动技术，但两者都仍处于试验阶段，但代表了 PyTorch 在这方面的重大进展。 Google 在产业界的孤立会伤害到它吗？...有许多工具可以解决不同方面的问题（Halide、TVM、PlaidML、Tensor Comprehensions、XLA、Taco等），但是扔不清楚正确的方法到底是什么。
机器学习很复杂。你可能会遇到一个令你无从下手的数据集，特别是当你处于机器学习的初期。 在这篇文章中，你将学到一些基本的关于建立机器学习模型的技巧，大多数人都从中获得经验。...前提你有Theano或Tensorflow。 13.如何从机器学习开始？ 我从犹他大学的这些幻灯片中了解到有关机器学习的一些基本算法和概念。这本书关于python。...我经常看到通过合并许多模型赢得的比赛...这是现实生活中的情况吗？ 还是在真实的制作系统中解释模型比这些庞大的组合更有价值？ 在某些情况下，是的——可解释或快速（或记忆效率）更重要。...假设有一段时间过去了，你只需要想想你想玩的人，你认为你可以从中学习的人与可能和你采取不同的方法的人，所以你可以在组合方法时利用多样性的好处。 30.我已经完成了基本的机器学习课程（理论）。...一些基本概率以及线性代数（例如向量）。 然后一些统计数据也有帮助。 像平均值、频率、标准偏差等。 35.可以分享你以前的解决方案吗？ 看一些代码和一些没有（只是一般的方法）。
例如：我有一个用于生成猫和狗图片的模型，我可以利用前面的一些层级来生成狼和老虎的图片。 Ian Goodfellow：我还不知道目前有这样的研究，但我认为这种思路是可行的。...当然度量方法本身仍然是研究领域中非常重要的一部分。 Andres Diaz-Pinto：现在有方法将隐变量映射到生成图像的一部分吗？...Ian Goodfellow：通常情况下是可以实现的，但我们需要以特定的方式训练模型，详情请查看 InfoGAN：https://arxiv.org/abs/1606.03657。...在那之前，我基本只是一个编程爱好者，但上过课后，基本上我在软件开发方面就不会再困惑了。现在你们也可以在 YouTube 或 iTunes U 等站点找到该课程。...Gonçalo Abreu：以下陈述正确吗：「可能存在两个不同的 GAN，其中一个有较好的评分，但是在作为外部分类器时，从鉴别器中抽取特征要更差或更低效。」
在这篇文章中，机器之心对其中的重点内容进行了梳理。 主题介绍：使用 TensorFlow，可以将深度机器学习从一个研究领域转变成一个主流的软件工程方法。...训练数字（右上图）：训练数字每次 100 个被送入训练回路；也可以看到当前训练状态下的神经网络是已将数字正确识别（白色背景）还是误分类（红色背景，左侧印有正确的标示，每个数字右侧印有计算错误的标示）。...最后一个数字对于彩色图像是 3 但在这里并非是必须的。 None: 这是代表图像在小批量（mini-batch）中的数量。在训练时可以得到。 ? 接下来是定义模型： ?...在这里执行的 train_step 是当我们要求 TensorFlow 最小化交叉熵时获得的。这是计算梯度和更新权重和偏置的步骤。 最终，我们还需要一些值来显示，以便我们可以追踪我们模型的性能。...这说明你的神经网络在它当前的形态下已经无法从你提供的数据中抽取到更多的信息了，就像我们这个例子这样。 还记得我们如何使用我们的图像吗？是所有的像素都展平到一个向量里么？这是一个很糟糕的想法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
