首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【OCR】CTC loss原理

CTC loss原理 2.1 前序 在说明原理之前,首先要说明一下CTC计算的对象:softmax矩阵,通常我们在RNN后面会加一个softmax层,得到softmax矩阵,softmax矩阵大小是timestep...*num_classes, timestep表示的是时间序列的维度,num_class表示类别的维度。...只有在timestep=7时为a的路径才会使用​ 进行路径的分数计算,所以求偏导的时候只对这部分路径求取就可以啦 path1:“-ss-t-a-t-e-” 第7个timestep为a, path2: "...–stt-a-tt-e"第7个timestep也为a, 以a为中点,将这两条路径分别分成两段。...的解码成”blank“的概率是 ​, 解码成​中第一个字符的概率是 ​, 其他的字符的概率为0, 可以这样理解,如果路径能够解码成正确的”state", 那么第T个timestep的肯定是blank

2.8K20

使用Keras实现 基于注意力机制(Attention)的 LSTM 时间序列预测

生成的数据为: shape x 30000 x 20 x 2 y 30000 x 1 其中 x 的第11个 timestep 两维的数据 与y相同,其他timestep 维的数据为随机数。...所以当我们使用这样的数据去进行 注意力机制 LSTM 的训练,我们希望得到的结果是 注意力层 主要关注第11个timestep 而对其他timestep 的关注度较低。...attention_lstm.py 脚本 此时的网络结构为: 可以看到是在 LSTM 层之后使用了注意力机制 最后会汇总画一张图 可以看到 可以看到注意力的权重主要汇总在了第11个timestep...,说明注意力机制很成功 对于维的注意力机制 上述的例子 是将注意力机制使用在了 timestep 上,决定哪个时间步对于结果的影响较大。

5.5K20
领券