association memory 思路

AGIv0.01

多人车训练模型思考，冲出的人或车的突出光流的危险性预测方法：

hebb memory

association memory

及多传感器融合模型

hebb memory 将当时场景中同时发生的多种不同信息一起记忆下来，以后场景中特点突出的特征都能提取到此记忆，从此记忆推断出其他相关当时情景中的reward等需要的信息，次场景依据记忆的reward进行决策（cem）

场景中同时发生的信息包括（obs，stat，optical flow，pff，reward，声音，距离depth，压力等；可以加注意力1筛选，注意力1机制可以是突出的运动信息。

（pff突出的光流信息（相对的人车特征））对突出的光流运动区域的关注就限制了学习特征的范围，对此特征进行跟踪预测都会更容易，不用整张图像都重建。 （多帧pff光流特征只预测注意力关注的最突出区域） ）

对场景的认识可以是（Competitive Collaboration场景的静态 及其他运动物体 及自身运动 及对场景观察的深度距离理解、光流，seg（物体作为一个整体的基础概念，人对一个物体各种属性的综合记忆是一个hebb memory 记忆综合的多种属性事件信息，比如特定场景对怀旧的记忆，就是某个特征触发了之前记忆的某次事件记忆。认知书例子：特定杯子重复触发相同的记忆。））

hebb学习的优点：听见声音就留口水，看到水果的颜色就饿；水果的颜色和食物的reward绑定了。hebb学习是真正的多传感器融合。

hebb memoy可以one shot learnning；memory可以反复训练达到一次事件记忆就可以迷信特定的事件及reward结果：守株待兔，吉祥物

一次撞车 撞人就可以通过memory学会避免撞人车的情况。不用vae大量视频的训练。

通过hebb memory，训练的时候是多种信息一起训练，但是test的时候只需要视觉就可以提取其他相关信息，就像现在有人说人开车只需要眼睛，但其实人是通过多感知（5感 触（理解力，重力，移动等等）听（喇叭 发动机声音判断问题，敲西瓜）视 嗅 味 ）从小训练学习对世界的认识才达到一定年龄（大于4岁）只用眼睛开车的。

生成模型的人脸生成需要大量的训练，但是比如头发的密度温柔属性和脸的肉体属性温度是很不同的，从不同属性区分是很容易的。

区分视频中的不同物体应该不仅仅是从视觉区分（使用的时候是从视觉来区分，但是训练的时候是不同传感器直接区分的）

视频中不同物体的本质是物体的不同属性的区分，通过视觉联想（hebb memory提取）其他感知信息的内容来区分。从视觉中区分出不同远近，不同软硬的物体，不同用途的物体，不同冷热危险的物体。

多传感器多属性和注意力2的关系：注意力2就是从有明显特点属性的物体快速从hebb memory提取其他相关特征信息比如突出的正负reward，比如路中间的人，人在特定位置跟巨大的reward后果的快速推断。

模型提升：互信息、bayes把hebb memoy进行压缩，去除相关小的内容。

极度不完善，尽力批评。

参考paper：

https://www.mitpressjournals.org/doi/full/10.1162/neco_a_01143
http://papers.nips.cc/paper/6121-dense-associative-memory-for-pattern-recognition
https://www.sciencedirect.com/science/article/pii/S0893608019300152?via%3Dihub
http://www.mit.edu/~9.54/fall14/Classes/class07/Palm.pdf

链接: https://pan.baidu.com/s/1CRbfZ9UI7qRweBpCpOZrpw 提取码: 98pu