Natural Language Generation II

Image Captioning and Beyond

Image Captioning 可以看作是一种 data-to-text 的生成过程。

阅读更多...

全自动调参环境部署

昨天终于完成了 snode5 上的全自动调参环境部署，目前 docker + fitlog 调参体验良好（雾），记录一下过程。

阅读更多...

2019-CCF-BDCI-Competition-Review

比赛简介

我们选取的赛题是离散制造过程中典型工件的质量符合率预测，赛题背景为：

在高端制造领域，随着数字化转型的深入推进，越来越多的数据可以被用来分析和学习，进而实现制造过程中重要决策和控制环节的智能化，例如生产质量管理。从数据驱动的方法来看，生产质量管理通常需要完成质量影响因素挖掘及质量预测、质量控制优化等环节，本赛题将关注于第一个环节，基于对潜在的相关参数及历史生产数据的分析，完成质量相关因素的确认和最终质量符合率的预测。在实际生产中，该环节的结果将是后续控制优化的重要依据。

赛题的任务是：

由于在实际生产中，同一组工艺参数设定下生产的工件会出现多种质检结果，所以我们针对各组工艺参数定义其质检标准符合率，即为该组工艺参数生产的工件的质检结果分别符合优、良、合格与不合格四类指标的比率。相比预测各个工件的质检结果，预测该质检标准符合率会更具有实际意义。

本赛题要求参赛者对给定的工艺参数组合所生产工件的质检标准符合率进行预测。

简单来说，对于给定的生产工艺参数，生产出来的工件会有相应的质量数据，以及根据质量数据进行质检得到的质检结果。

阅读更多...

Natural Language Generation I

NLG Tasks

传统的 NLG 问题可以被划分为如下子问题，越靠前的问题与实际数据的结合越紧密，越往后的问题越具有普适性：

阅读更多...

Neural Style Transfer Review IV

数据集

Flickr 30k

30k 图片，每张图片 5 句标注，并且和图中的实体有对应关系。但像 “outside, parade” 这样的场景或者事件信息没有对应的实体标注。

MS COCO

200k 有标注，每个图片 5 句标注，但多是以物体为主。

Google’s Conceptual Captions

使用互联网上带有 Alt-text HTML 标签的图片，做一定的预处理之后得到 3M 图片

阅读更多...

RBTree

阅读更多...

Neural Style Transfer Review III

实验及评价

从 qualitative evaluation 和 quantitative evaluation 两个方面进行分析。

数据集

• 10 style images: try to cover a range of image characteristics;
• 20 content images: select from NPRgeneral;
• MS-COCO is used for training (offline model) and all content images are not used in training.

为了公平性，本文作者尽量使用原作者提供的模型及参数，尽量使得每组模型都达到最好的效果。

阅读更多...

Neural Style Transfer Review II

快速图像重建

• 提出的原因：解决慢速图像重建效率过低的问题，只需一次前向传播即可完成风格的转换。
• 问题的目标：在训练集 $I_c$ （内容图片），$I_s$ （风格图片，一种风格或者多种风格）上训练网络 $g$，找到参数 $\theta$:

$$\theta^{*}=\underset{\theta}{\arg \min } \mathcal{L}_{\text {total}}\left(I_{c}, I_{s}, g_{\theta^{*}}\left(I_{c}\right)\right), I^{*}=g_{\theta^{*}}\left(I_{c}\right)$$ 阅读更多...

Batch Normalization

传统的 Mini-batch 随机梯度下降法训练神经网络时，调参工作变得非常复杂，网络学习的效率不高，主要是因为 Internal Convariate Shift 问题，而 Batch Normalization 就是用来解决这个问题的一个方案。

阅读更多...

Neural Style Transfer Review I

概述

在众多图像风格迁移算法中，图像被看作内容和风格的结合。图像风格迁移算法也可以看成是图像重建算法和纹理建模算法的结合。

纹理建模

• 纹理的定义：只有比较抽象的定义，包含任意模式的图像（image containing arbitrary patterns）；
• 纹理建模的定义：生成纹理的一种方式（同样是抽象定义）；
• 纹理建模的目标：给定一个纹理样例，生成一幅新的图像使得观察到新图像的纹理特征与样例相似。

常用的方法主要有：

• 基于统计分布的参数化纹理建模方法：将纹理建模为 N 阶统计量；
• 基于 MRF 的非参数化纹理建模方法：用 patch 相似度匹配进行逐点合成。
• e.g.

纹理建模的主要任务是研究如何表示图像的纹理特征，在图像风格转换中，主要用于对风格的建模和提取。

图像重建

图像重建的主要目的是利用输入的图像特征尽可能对图像进行还原。这和传统的图像特征提取其实属于相反的过程，在 CNN 中，我们也经常根据某个卷积层的特征对图像进行重建，以了解该卷积层的作用（根据图像的哪一部分建立特征）。在图像风格转换领域中，图像重建主要用于对图像内容的建模和提取。

常用的算法也可以分为两类：

• 基于在线图像优化的慢速图像重建方法：即给定输入图片，建立 Loss，并使用梯度下降对 Loss 进行优化，最终得到输出图片，优点是效果不错，但缺点同样明显，那就是速度太慢，实时性不够；o
• 基于离线模型优化的快速图像重建方法：即训练好一个网络，对于给定输入只需一次前向传播即可得到输出图片。优点是实时性较好，缺点是有可能不如慢速方法精细。

所以上述的方法相结合我们就可以得到 5 大类图像风格迁移算法：

• 基于在线图像优化的慢速图像重建方法：
  • 基于统计分布的参数化纹理建模方法；
  • 基于 MRF 的非参数化纹理建模方法；
• 基于离线模型优化的快速图像重建方法：
  • Per-style-per-model;
  • Multiple-style-per-model;
  • Arbitrary-style-per-model.

阅读更多...