首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

深度学习中超大规模数据集的处理

在机器学习项目中,如果使用的是比较小的数据集,数据集的处理上可以非常简单:加载每个单独的图像,对其进行预处理,然后输送给神经网络。但是,对于大规模数据集(例如ImageNet),我们需要创建一次只访问一部分数据集的数据生成器(比如mini batch),然后将小批量数据传递给网络。其实,这种方法在我们之前的示例中也有所涉及,在使用数据增强技术提升模型泛化能力一文中,我就介绍了通过数据增强技术批量扩充数据集,虽然那里并没有使用到超大规模的数据集。Keras提供的方法允许使用磁盘上的原始文件路径作为训练输入,而不必将整个数据集存储在内存中。

02

【GEE】8、Google 地球引擎中的时间序列分析【时间序列】

深水地平线漏油事件被认为是有史以来最大的海上意外漏油事件。该井释放了超过 490 万桶石油,其中 410 万桶在 2010 年 4 月 20 日至 7 月 15 日期间进入墨西哥湾。通过燃烧或撇去海洋表面的石油和通过在海洋表面释放超过 184 万加仑的化学分散剂 (Corexit) 并直接进入海洋表面以下约 5,000 英尺的油井排放的油流中。即使做出了这些努力,漏油事件也严重影响了海湾的沿海和海洋生态系统。尽管为评估石油在这些生态系统中的影响付出了广泛的努力,但受泄漏影响的大面积区域使其变得困难。在本模块中,我们将通过监测受溢油高度影响的区域内藻类浓度随时间的变化趋势,对此次溢油的生态影响进行自己的探索。由于藻类是海洋生态系统的主要生产者,监测它们的种群如何受到这种变化的影响可能有助于我们更好地了解石油对受影响生态系统状态的整体影响。

05
领券