some CNN Models

下面是一些知名CNN的模型定义,主要用于物体分类,检测和分割等。

【开源网络库】

【相关模型】

【模型下载】

【神经元】

  • Conv层: 卷积,filter size = [fH,fW,Cin, Cout],例如了VGG网络第一层卷积核尺寸为[7,7,3,96],代表3通道下7*7长宽的96个卷积核;
  • Relu层: 数据截断, x = max(x, 0);
  • Pool 层: 下采样,包括maxPool, sumPool等,多变一,例如maxPool size =[2,2],代表 x=2, y=2窗口中进行最大化取值;
  • Norm层: 归一化,Y(i,j,k,t) = G(k) * (X(i,j,k,t) – mu(k)) / sigma(k) + B(k),针对每一channel独立计算均值和方差,然后进行乘值和加值;
  • FC层: 全连接,filter size = [H, W, Cin, Cout],例如VGG网络的最后一层fc6为[6,6,512,4096],代表对前一个卷积结果[6*6*512]的全连接,最终得到一个[1,1,1,4096]的线性向量;
  • Softmax层: x = exp(x-max(x))/sum(x);
  • Sigmoid层: x= 1/(1 + exp(-x));
  • Dropout层: 随机产生一个Mask,将某些数据变为0;

【相关文章】

【CVPR】

【ECCV】

【ICCV】

【Arxiv】

【Others】

  • 2012 PAMI Aggregating local image descriptors into compact codes
  • 2012 NIPS ImageNet classification with deep convolutional neural networks (Alex)
  • 2014 BMVC Return of the Devil in the Details: Delving Deep into Convolutional Nets (VGG)
    • http://www.robots.ox.ac.uk/~vgg/publications/2014/Chatfield14/
    • 基本思想:前面用了5套Conv(C)+Relu(R)+Pooling(P)结构,分别为CRCRP, CRCRP, CRCRCRP,CRCRCRP,CRCRCRP; 卷积核尺寸为3,步长为1,扩展区为1,因此卷积不对图像进行缩放;Pooling尺寸采用Max操作,尺寸都是2,步长为2,因此将图像缩放1/2, 5层之后将缩放为1/32,之后是全链接等。VGG网络由于结构简单,模型小,训练速度快,广泛用于构建各种新模型;
  • 2014 Very Deep Convolutional Networks for Large-Scale Image Recognition (VGG)
  • 2015 ICLR Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS (DeepLab)
    • http://liangchiehchen.com/projects/DeepLab.html
    • 基本思想:贡献点:1) 提出一种Atrous (dilation)卷积,用于增加作用域,2)多尺度融合后进行双线性插值上采样;3)在DCNN后增强CRF层;前面网络建立在VGG和ResNet基础上,例如将VGG的3*3卷积核修改dilation为2的Atrous (dilation)卷积,就是就是用邻域i-2, i, i+2进行卷积,因此修改后卷积神经元也不改变图像尺寸。
  • 2015 NIPS Faster {R-CNN}: Towards Real-Time Object Detection with Region Proposal Networks (Faster RCNN)

 

4 thoughts on “some CNN Models

  1. Pingback: GVK BIO
  2. Pingback: more tips here
  3. Pingback: DMPK Studies
  4. Pingback: SilverStar835

发表评论