victory的博客

长安一片月，万户捣衣声

0%

发表于 更新于 分类于 ， ， ， ，

卷积和卷积核

1.卷积
原理:卷积过程就是卷积核行列对称翻转后,在图像上滑动,并且依次相乘求和.(与滤波器不同的一点就是多了一个卷积核翻转的过程).然后经过池化,激活后输入下一层.
单个卷积层可以提取特征,当多个卷积叠加后即可逐步学习出更高语义的抽象特征.
2.卷积核
卷积核:其中卷积核主要有两类,普通卷积核和11的卷积核.普通卷积核同时改变图像的空间域和通道域,如下图所示,每个卷积核的通道数与输入相同,
卷积后会得到一个通道为一的特征图,我们希望卷积后的通道数有几个,卷积核就有几个.
11卷积核,视野大小为单个特征位点,能够实现在空间域不改变的情况下实现通道域信息的交流,
并且获得我们想要的通道数量(一般是降维).

发表于 更新于 分类于 ， ， ， ，

VGG使用3x3卷积核的优点

2个3x3的卷积核串联和一个5x5的卷积核拥有相同的感受野，但是，2个3x3的卷积核拥有更少的参数，
对于通道为1的5x5特征图得到通道为1的输出特征图，前者有3x3x2=18个参数，后者5x5=25个参数，
其次，多个3x3的卷积核比一个较大的尺寸的卷积核加入了更多的非线性函数，增强了模型的非线性表达能力。
1x1卷积核的作用： 改变通道数目，保持尺度不变情况下增强非线性表达能力，可以实现跨通道的信息交互。

发表于 更新于 分类于 ， ， ， ，

BatchNormalization

由于深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，
通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。
为了训好模型，我们需要非常谨慎地去设定学习率、初始化权重、以及尽可能细致的参数更新策略。
也就是随是着网络加深，参数分布不断往激活函数两端移动(梯度变小)，导致反向传播出现梯度消失，收敛困难。
原理：可在每层的激活函数前，加入BN，将参数重新拉回0-1正态分布，加速收敛。

发表于 分类于 ， ，

垃圾回收机制

Pyhton垃圾回收机制

1.引用计数
引用计数法的原理是： 每个对象维护一个ob_ref字段，用来记录该对象当前被引用的次数，每当新的引用指向该对象时，它的引用计数ob_ref加1，每当该对象的引用失效时计数ob_ref减1，一旦对象的引用计数为0，该对象立即被回收，对象占用的内存空间将被释放。
缺点： 无法解决循环引用
2.标记清除
Python采用了“标记-清除”(Mark and Sweep)算法，解决容器对象可能产生的循环引用问题。
标记阶段 遍历所有的对象，如果是可达的（reachable），也就是还有对象引用它，那么就标记该对象为可达；
清除阶段 再次遍历对象，如果发现某个对象没有标记为可达，则就将其回收。
优点： 解决了循环引用问题
缺点： 标记清除算法在执行很多次数后，程序的堆空间会产生一些小的内存碎片。
3.分代回收(假设新生代、中生代和老生代的threshold分别为700、10、10.)
· 每新增 701 个需要 GC 的对象，触发一次新生代 GC
· 每执行 11 次新生代 GC ，触发一次中生代 GC
· 每执行 11 次中生代 GC ，触发一次老生代 GC (老生代 GC 还受其他策略影响，频率更低)
· 执行某个生代 GC 前，年轻生代对象链表也移入该代，一起 GC
· 一个对象创建后，随着时间推移将被逐步移入老生代，回收频率逐渐降低

参考资料

发表于 更新于 分类于 ， ， ，

Identifying Users and Activities with Cognitive Signal Processing from a Wearable Headband

Predictions

1.Predicting a person
2.Predicting an activity
3.Predicting a person as well as the activity

Contributions: propose a method of data representation-histograms representation

This paper shows that histograms of brain signals can be a very useful representation for data mining
activities. One of the primary advantages of the histograms is that they reduce the variable length
of signals to fixed length representations.

ideas from reading this paper

combining activities predicting/emotion recognition to a system.

Cite this paper

Wiechert, Glavin & Triff, Matt & Liu, Zhixing & Yin, Zhicheng & Zhao, Shuai & Zhong, Ziyun & Zhaou, Runxing & Lingras, Pawan. (2016). Identifying users and activities with cognitive signal processing from a wearable headband. 129-136. 10.1109/ICCI-CC.2016.7862025.