Basic Models

Sequence to sequence mdoel的构成：

$$Encode~Network \rightarrow Decode~Network$$

它的思想可以用在Image captioning上，结构如下，

$$ConvNet (delete~softmax~layer) \rightarrow Decode Network$$

Word Representation

One hot编码有天然的劣势，比如，

• I want a glass of orange juice.
• I want a glass of apple juice.

如果我们从上面一句学到了orange后边是juice，是无法推断出来第二句的填空题中apple后边应该填juice。因为在One hot编码中，orange和apple两个向量之间没有任何的关联关系。因此，我们需要Word representation来对词进行表达，而不是用One hot编码。

Why not a standard network

传统网络不可行的原因，

1. Inputs, outputs can be different lengths in different examples.
2. Doesn’t share features learned across different positions of text.

RNN的网络结构如下所示，

What is Face Recognition

这里区分两个概念，Face verification和Face recognition，

• Verification
  • 输入：图像 + 名字/ID
  • 输出：输入的图像上是否有名字/ID表示的那个人
• Recognition
  • 数据库中有$K$个人
  • 输入：图像
  • 输出：图像上有的数据库中的人的名字/ID

很明显，Recognition比Verification的难度要大得多。

Object Localization

Object localization用来识别图像中是否包含特定对象以及该对象的位置，并最终使用一个矩形框在图像中标出该特定对象。为了简化问题，在这里我们假设图片中最多包含一个待识别的对象。下面对问题进行形式化描述。

定义目标变量$y$ (同时也是神经网络的输出层)，

$$y = [P_c~b_x~b_y~b_h~b_w~C_1~C_2~C_3]^T \tag{1}$$