This repository has been archived by the owner on Jan 24, 2024. It is now read-only.
Sentiment #24
Merged
Sentiment #24
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
merge up-to-date
Zrachel
reviewed
Dec 27, 2016
| |剧情四星。但是圆镜视角加上婺源的风景整个非常有中国写意山水画的感觉，看得实在太舒服了。。难怪作为今年TIFF special presentation的开幕电影。范爷美爆，再往上加一星。|正面| | ||
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
| <br/>  实际上，在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类问题可以分解为两个子问题：文本表示和分类。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，分类方法有SVM,LR,Boosting等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。例如，句子`这部电影糟糕透了`和`一个乏味，空洞，没有内涵的作品`在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子`小明很喜欢小芳，但是小芳不喜欢小明`和`小芳很喜欢小明，但是小明不喜欢小芳`的BOW相似度为1，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
小明很喜欢小芳，但是小芳不喜欢小明 这个例子不涉及情感分类，建议改成
一个乏味，空洞，没有内涵的作品 和 一个不乏味而且有内涵的作品 之类的
| 图 1 卷积神经网络文本分类模型 | ||
| </p> | ||
| <br/>  假设一个句子的长度为$n$，其中第$i$个词的word embedding为$x_i\in\mathbb{R}^k$,其维度大小为$k$，我们可以将整个句子表示为$x_{1:n}=x_1\oplus x_2\oplus \ldots \oplus x_n$，其中，$\oplus$表示拼接（concatenation）操作。一般地，我们用$x_{i:i+j}$表示词序列$x_{i},x_{i+1},\ldots,x_{i+j}$的拼接。卷积操作把filter(也称为kernel)$w\in\mathbb{R}^{hk}$应用于包含$h$个词的窗口$x_{i:i+h-1}$，得到特征$c_i$： | ||
| $$c_i=f(w\cdot x_{i:i+h-1}+b)$$ |
There was a problem hiding this comment.
| </p> | ||
| <br/>  假设一个句子的长度为$n$，其中第$i$个词的word embedding为$x_i\in\mathbb{R}^k$,其维度大小为$k$，我们可以将整个句子表示为$x_{1:n}=x_1\oplus x_2\oplus \ldots \oplus x_n$，其中，$\oplus$表示拼接（concatenation）操作。一般地，我们用$x_{i:i+j}$表示词序列$x_{i},x_{i+1},\ldots,x_{i+j}$的拼接。卷积操作把filter(也称为kernel)$w\in\mathbb{R}^{hk}$应用于包含$h$个词的窗口$x_{i:i+h-1}$，得到特征$c_i$： | ||
| $$c_i=f(w\cdot x_{i:i+h-1}+b)$$ | ||
| <br/>  其中$b\in\mathbb{R}$为偏置项(bias)，$f$为非线性激活函数，如sigmoid。将filter应用于句子中所有的词窗口${x_{1:h},x_{2:h+1},\ldots,x_{n-h+1:n}}$序列，产生一个feature map： |
There was a problem hiding this comment.
产生一个feature map->产生一个feature map, 即每个窗口的卷积特征
There was a problem hiding this comment.
每个窗口的卷积特征？？
一个feature map 对应的是所有输入（窗口）的卷积特征。。在单个窗口上说卷积是不是没有意义。。
| $$c_i=f(w\cdot x_{i:i+h-1}+b)$$ | ||
| <br/>  其中$b\in\mathbb{R}$为偏置项(bias)，$f$为非线性激活函数，如sigmoid。将filter应用于句子中所有的词窗口${x_{1:h},x_{2:h+1},\ldots,x_{n-h+1:n}}$序列，产生一个feature map： | ||
| $$c=[c_1,c_2,\ldots,c_{n-h+1}]$$ | ||
| <br/>  其中$c \in \mathbb{R}^{n-h+1}$。接下来我们对feature map采用max pooling over time操作得到此filter对应的特征： |
There was a problem hiding this comment.
操作得到此filter对应的特征 -> 操作得到此filter对应的整句话的特征
| <br/>  其中$c \in \mathbb{R}^{n-h+1}$。接下来我们对feature map采用max pooling over time操作得到此filter对应的特征： | ||
| $$\hat c=max(c)$$ | ||
| <br/>  即，$\hat c$是feature map中所有元素的最大值。pooling机制自动处理了句子长度不一的问题。在实际应用中，我们会使用多个filter来处理句子，窗口大小相同的filters堆叠起来形成一个矩阵（上文中的单个filter参数$w$相当于矩阵的某一行），这样可以更高效的完成运算。另外，我们也可使用窗口大小不同的filters来处理句子，最后，将所有filters得到的特征拼接起来即为文本的定长向量表示。对于文本分类问题，将其连接至softmax即构建出完整的模型。 | ||
| <br/>  可以将上文所述的卷积神经网络的filter理解为特定语义n-gram的探测器（detector），其优点是避免了传统n-gram的高维稀疏表示问题，运算和训练速度十分快，准确率也很高（ref）。但是它难以扩展为深层文本卷积网络，基于此，N. Kalchbrenner, et al.(2014)提出了k-max pooling，使用其可以构建出深层文本卷积网络，有兴趣的读者可以参考相关文献。 |
There was a problem hiding this comment.
特定语义n-gram的探测器（detector）-> 语义的n-gram feature detector
| $$h_t=f(x_t,h_{t-1})=\sigma(W_{xh}x_t+W_{hh}h_{h-1}+b_h)$$ | ||
| <br/>  其中$W_{xh}$是输入到隐层的矩阵参数，$W_{hh}$是隐层到隐层的矩阵参数，$b_h$为隐层的偏置向量（bias）参数，$\sigma$为elementwise的sigmoid函数。在处理自然语言时，一般会先将词（one-hot表示）映射为其embedding表示，然后再作为循环神经网络每一时刻的输入$x_t$。可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
| <br/>  可以看出，隐状态的输入来源于当前输入和前一时刻隐状态的值，这会导致很久以前的输入容易被覆盖掉。实际上，人们发现当序列很长时，循环神经网络就会表现很差（远距离依赖问题），训练过程中会出现梯度消失或爆炸现象(Bengio Y, Simard P, Frasconi P., 1994)。为了解决这一问题，Hochreiter S, Schmidhuber J. (1997)提出了lstm模型。 | ||
| #### 长时短期记忆循环神经网络 |
There was a problem hiding this comment.
长时短期记忆循环神经网络（LSTM），另外第一次出现的地方写上全称吧
LSTM需要配个图，显示三个门的
| <br/>  其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元（记忆单元一般对外不可见,$h_t$对外部可见）及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为elementwise的双曲正切函数，$\odot$表示elementwise的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数。这三种门各自以不同的方式控制着记忆单元$c$。实际上，lstm的思想正是通过给简单的循环神经网络增加记忆及控制门的方式增强了其处理远距离依赖问题的能力。类似原理的对于简单循环神经网络的改进还有Gated Recurrent Unit (GRU)( Cho K, Van Merriënboer B, Gulcehre C, et al. 2014),其设计更为简洁一些。**这些改进虽然各有不同，但是对他们的宏观描述却与简单的循环神经网络一样，如图1所示，隐状态依据当前输入及前一时刻的隐状态来改变，不断的循环这一过程直至输入处理完毕：** | ||
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
| <br/>  对于正常顺序的循环神经网络而言，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以构建更加强有力的深层双向循环神经网络（deep bi-directional recurrent neural networks）对时序数据进行建模。 | ||
| #### 使用循环神经网络的组合进行文本分类 |
There was a problem hiding this comment.
如果没有文章里用过这个模型，就给取个名字吧，比如Stacked Bidirectional LSTM Model
There was a problem hiding this comment.
‘’使用循环神经网络的组合进行文本分类’‘里面讲到了两个模型。。不光是Stacked Bidirectional LSTM
add pre-commit to my fork
luotao1
suggested changes
Jan 3, 2017
| dataprovider_copy_1.py | ||
| model.list | ||
| test.log | ||
| train.log |
There was a problem hiding this comment.
test.log和train.log没放在logs下面？那logs是放什么呢
| TODO: Write about https://github.com/PaddlePaddle/Paddle/tree/develop/demo/sentiment | ||
| # 情感分析 | ||
| ## 背景介绍 | ||
| <br/>  在自然语言处理中，情感分析一般是指判断一段文本所表达的情绪状态。其中，一段文本可以是一个句子，一个段落或一个文档。情绪状态可以是两类，如（正面，负面），（高兴，悲伤），也可以是三类，如（积极，消极，中性）等等。 |
There was a problem hiding this comment.
- 每段顶格写，不需要前面加
<br/>  ，即前面不需要空两格。下同。 - 两段之间空一行。下同。
- （高兴，悲伤）；也可以是三类
| ## 背景介绍 | ||
| <br/>  在自然语言处理中，情感分析一般是指判断一段文本所表达的情绪状态。其中，一段文本可以是一个句子，一个段落或一个文档。情绪状态可以是两类，如（正面，负面），（高兴，悲伤），也可以是三类，如（积极，消极，中性）等等。 | ||
| <br/>  情感分析的应用场景十分广泛，如把用户在购物网站（亚马逊、天猫、淘宝等）、旅游网站、电影评论网站上发表的评论分成正面评论和负面评论。为了分析用户对于某一产品的整体使用感受，抓取产品的用户评论并进行情感分析等等。 | ||
| <br/>  对电影评论进行情感分析（正面，负面）的例子如下面的表格1所示。 |
There was a problem hiding this comment.
第4和第5行合并成一段，同时”为了分析用户对于某一产品的整体使用感受“和前面的例子是否重复。
情感分析的应用场景十分广泛，如把用户在购物网站（亚马逊、天猫、淘宝等）、旅游网站、电影评论网站上发表的评论分成正面评论和负面评论。表格1展示了对电影评论进行情感分析的例子：
There was a problem hiding this comment.
不重复，产品可以指“app，如百度外卖等”。
done
| | 很不好看，好像一个地方台的电视剧 | 负面 | | ||
| | 为了讽刺官场刻意丑化农村人的傻片子，圆方镜头全程炫技，色调背景美则美矣，但剧情拖沓，口音不伦不类，一直努力却始终无法入戏。不建议进电影院观看，不然睡着了躺都没地方躺。| 负面| | ||
| |剧情四星。但是圆镜视角加上婺源的风景整个非常有中国写意山水画的感觉，看得实在太舒服了。。难怪作为今年TIFF special presentation的开幕电影。范爷美爆，再往上加一星。|正面| | ||
|
|
There was a problem hiding this comment.
现在表格的每一行宽度是普通文本的两行，太宽了。能否删减一点，变成1行宽。
| |剧情四星。但是圆镜视角加上婺源的风景整个非常有中国写意山水画的感觉，看得实在太舒服了。。难怪作为今年TIFF special presentation的开幕电影。范爷美爆，再往上加一星。|正面| | ||
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
| <br/>  实际上，在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类问题可以分解为两个子问题：文本表示和分类。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，分类方法有SVM,LR,Boosting等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。例如，句子`这部电影糟糕透了`和`一个乏味，空洞，没有内涵的作品`在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子`一个空洞，没有内涵的作品`和`一个不空洞而且有内涵的作品`的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
- ”实际上“三个字可以去掉，”即把“两个字可以连起来。
- 文本分类可以分解成两个子问题：文本表示和分类？这句话的意思是：分类属于文本分类？这句话还有别的表述么
- SVM，LR，Boosting需要像BOW一样给出完整的英文表述，最好加一下wiki链接。
- 句子
一个空洞，没有内涵的作品和一个不空洞而且有内涵的作品，改成：”一个空洞，没有内涵的作品“和”一个不空洞而且有内涵的作品“ ？
| <br/>  其中$W_{xh}$是输入到隐层的矩阵参数，$W_{hh}$是隐层到隐层的矩阵参数，$b_h$为隐层的偏置向量（bias）参数，$\sigma$为elementwise的sigmoid函数。在处理自然语言时，一般会先将词（one-hot表示）映射为其embedding表示，然后再作为循环神经网络每一时刻的输入$x_t$。可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
| <br/>  可以看出，隐状态的输入来源于当前输入和前一时刻隐状态的值，这会导致很久以前的输入容易被覆盖掉。实际上，人们发现当序列很长时，循环神经网络就会表现很差（远距离依赖问题），训练过程中会出现梯度消失或爆炸现象\[[6](#参考文献)\]。为了解决这一问题，Hochreiter S, Schmidhuber J. (1997)\[[5](#参考文献)\]提出了lstm(long short term memory)模型。 | ||
| #### lstm-rnn | ||
| <br/>  相比于简单的循环神经网络，lstm增加了记忆单元$c$，输入门$i$，遗忘门$f$及输出门$o$，这些门及记忆单元组合起来大大提升了循环神经网络处理远距离依赖问题的能力，若将基于lstm的循环神经网络表示的函数记为F，则其公式为： |
There was a problem hiding this comment.
记忆单元$c$、输入门$i$、遗忘XXX。这些门及记忆XXX。
| o_t & = \sigma(W_{xo}x_t+W_{ho}h_{h-1}+W_{co}c_{t}+b_o)\\\\ | ||
| h_t & = o_t\odot tanh(c_t)\\\\ | ||
| \end{align} | ||
| <br/>  其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元（记忆单元一般对外不可见,$h_t$对外部可见）及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为elementwise的双曲正切函数，$\odot$表示elementwise的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，这三种门各自以不同的方式控制着记忆单元$c$，如图3所示： |
There was a problem hiding this comment.
三种门的计算方式类似，但有着完全不同的参数，即各自以不同的方式控制着记忆单元$c$
| <img src="image/lstm.png"><br/> | ||
| 图 3 时刻$t$的lstm\[[7](#参考文献)\] | ||
| </p> | ||
| <br/>  实际上，lstm的思想正是通过给简单的循环神经网络增加记忆及控制门的方式增强了其处理远距离依赖问题的能力。类似原理的对于简单循环神经网络的改进还有Gated Recurrent Unit (GRU)\[[8](#参考文献)\],其设计更为简洁一些。**这些改进虽然各有不同，但是对他们的宏观描述却与简单的循环神经网络一样，如图2所示，隐状态依据当前输入及前一时刻的隐状态来改变，不断的循环这一过程直至输入处理完毕：** |
There was a problem hiding this comment.
lstm通过给简单的循环神经网络增加记忆及控制门的方式，增强了其处理远距离依赖问题的能力。类似原理的改进还有Gated Recurrent Unit (GRU)[8]，其设计更为简洁一些。这些改进虽然各有不同，但是它们的宏观描述却与简单的循环神经网络一样（如图2所示），即隐状态依据当前输入及前一时刻的隐状态来改变，不断的循环这一过程直至输入处理完毕：
|
|
||
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
|
|
||
| <br/>  对于正常顺序的循环神经网络而言，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以构建更加强有力的深层双向循环神经网络（deep bi-directional recurrent neural networks）对时序数据进行建模。 |
There was a problem hiding this comment.
- 对于正常顺序的循环神经网络，$h_t$
- 我们可以通过构建更加强有力的深层双向循环神经网络（deep bi-directional recurrent neural networks），来对时序数据进行建模。
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
|
|
||
| <br/>  对于正常顺序的循环神经网络而言，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以构建更加强有力的深层双向循环神经网络（deep bi-directional recurrent neural networks）对时序数据进行建模。 | ||
| #### 使用循环神经网络的组合进行文本分类 |
There was a problem hiding this comment.
这一小节要不放到后面的模型配置说明里，结合着配置来说把。
Zrachel
reviewed
Jan 4, 2017
| |剧情四星。但是圆镜视角加上婺源的风景整个非常有中国写意山水画的感觉，看得实在太舒服了。。难怪作为今年TIFF special presentation的开幕电影。范爷美爆，再往上加一星。|正面| | ||
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
| <br/>  实际上，在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类问题可以分解为两个子问题：文本表示和分类。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，分类方法有SVM,LR,Boosting等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。例如，句子`这部电影糟糕透了`和`一个乏味，空洞，没有内涵的作品`在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子`一个空洞，没有内涵的作品`和`一个不空洞而且有内涵的作品`的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。
->
BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，并不能充分表示文本的语义信息。
| <p align="center">表格 1 电影评论情感分析</p> | ||
| <br/>  实际上，在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类问题可以分解为两个子问题：文本表示和分类。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，分类方法有SVM,LR,Boosting等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。例如，句子`这部电影糟糕透了`和`一个乏味，空洞，没有内涵的作品`在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子`一个空洞，没有内涵的作品`和`一个不空洞而且有内涵的作品`的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 | ||
| ## 模型概览 | ||
| <br/>  本章所使用的文本表示模型为卷积神经网络（Convolutional Neural Networks）和循环神经网络(Recurrent Neural Networks)及其扩展。我们首先介绍处理文本的卷积神经网络。 |
| <img src="image/text_cnn.png"><br/> | ||
| 图 1 卷积神经网络文本分类模型 | ||
| </p> | ||
| <br/>  假设一个句子的长度为$n$，其中第$i$个词的word embedding为$x_i\in\mathbb{R}^k$,其维度大小为$k$，我们可以将整个句子表示为$x_{1:n}=x_1\oplus x_2\oplus \ldots \oplus x_n$，其中，$\oplus$表示拼接（concatenation）操作。一般地，我们用$x_{i:i+j}$表示词序列$x_{i},x_{i+1},\ldots,x_{i+j}$的拼接。卷积操作把filter(也称为kernel)$w\in\mathbb{R}^{hk}$应用于包含$h$个词的窗口$x_{i:i+h-1}$，得到特征$c_i$： |
|
|
||
| $$c_i=f(w\cdot x_{i:i+h-1}+b)$$ | ||
|
|
||
| <br/>  其中$b\in\mathbb{R}$为偏置项(bias)，$f$为非线性激活函数，如sigmoid。将filter应用于句子中所有的词窗口${x_{1:h},x_{2:h+1},\ldots,x_{n-h+1:n}}$序列，产生一个feature map： |
|
|
||
| $$c_i=f(w\cdot x_{i:i+h-1}+b)$$ | ||
|
|
||
| <br/>  其中$b\in\mathbb{R}$为偏置项(bias)，$f$为非线性激活函数，如sigmoid。将filter应用于句子中所有的词窗口${x_{1:h},x_{2:h+1},\ldots,x_{n-h+1:n}}$序列，产生一个feature map： |
| <br/>  卷积神经网络经常用来处理具有类似网格拓扑结构（grid-like topology）的数据。例如，图像可以视为2D网格的像素点，自然语言可以视为1D的词序列。卷积神经网络可以提取多种局部特征，并对其进行组合抽象得到更高级的特征表示，且其对于数据的某些变化具有不变性。大量实验表明，卷积神经网络能高效的对图像及文本问题进行建模处理。本小结我们讲解如何使用卷积神经网络处理文本（以句子为例）。 | ||
| <p align="center"> | ||
| <img src="image/text_cnn.png"><br/> | ||
| 图 1 卷积神经网络文本分类模型 |
There was a problem hiding this comment.
图1 只是放这了，需要加解释。讲完CNN说，如上图所示，有4个卷积核，其大小为多少。。。。。
Zrachel
reviewed
Jan 4, 2017
| <img src="image/text_cnn.png"><br/> | ||
| 图 1 卷积神经网络文本分类模型 | ||
| </p> | ||
| <br/>  假设一个句子的长度为$n$，其中第$i$个词的word embedding为$x_i\in\mathbb{R}^k$,其维度大小为$k$，我们可以将整个句子表示为$x_{1:n}=x_1\oplus x_2\oplus \ldots \oplus x_n$，其中，$\oplus$表示拼接（concatenation）操作。一般地，我们用$x_{i:i+j}$表示词序列$x_{i},x_{i+1},\ldots,x_{i+j}$的拼接。卷积操作把filter(也称为kernel)$w\in\mathbb{R}^{hk}$应用于包含$h$个词的窗口$x_{i:i+h-1}$，得到特征$c_i$： |
There was a problem hiding this comment.
得到特征$c_i$->得到这$h$个词在卷积核$w$下的卷积特征值$c_i$
|
|
||
| $$c=[c_1,c_2,\ldots,c_{n-h+1}]$$ | ||
|
|
||
| <br/>  其中$c \in \mathbb{R}^{n-h+1}$。接下来我们对feature map采用max pooling over time操作得到此filter对应的整句话的特征： |
There was a problem hiding this comment.
- 采用max pooling over time->在时间维度进行卷积
| $$\hat c=max(c)$$ | ||
|
|
||
| <br/>  即，$\hat c$是feature map中所有元素的最大值。pooling机制自动处理了句子长度不一的问题。在实际应用中，我们会使用多个filter来处理句子，窗口大小相同的filters堆叠起来形成一个矩阵（上文中的单个filter参数$w$相当于矩阵的某一行），这样可以更高效的完成运算。另外，我们也可使用窗口大小不同的filters来处理句子，最后，将所有filters得到的特征拼接起来即为文本的定长向量表示。对于文本分类问题，将其连接至softmax即构建出完整的模型。 | ||
| <br/>  对于一般的短文本分类问题，上文所述的简单的文本卷积网络即可达到很高的正确率\[[1](#参考文献)\]。若想得到更抽象更高级的文本特征表示，可以参考N. Kalchbrenner, et al.(2014)\[[2](#参考文献)\]或 Yann N. Dauphin, et al.(2016)\[[3](#参考文献)\]的构建深层文本卷积神经网络的方法。 |
There was a problem hiding this comment.
建议引用别人的方法写在文本CNN介绍的开头
另外参考文献，目前统一用[1]这种，不写作者名。
Zrachel
suggested changes
Jan 4, 2017
| <img src="image/rnn.png"><br/> | ||
| 图 2 循环神经网络按时间展开的示意图 | ||
| </p> | ||
| <br/>  循环神经网络按时间展开后如图2所示:在第$t$时刻，网络读入第$t$个输入$x_t$（向量表示）及前一时刻隐藏层的输出$h_{t-1}$（向量表示，$h_0$一般初始化为$0$向量），计算得出本时刻隐藏层的值$h_t$，重复这一步骤直至读完所有输入。如果将循环神经网络所表示的函数记为$f$，则其公式可表示为： |
| <img src="image/rnn.png"><br/> | ||
| 图 2 循环神经网络按时间展开的示意图 | ||
| </p> | ||
| <br/>  循环神经网络按时间展开后如图2所示:在第$t$时刻，网络读入第$t$个输入$x_t$（向量表示）及前一时刻隐藏层的输出$h_{t-1}$（向量表示，$h_0$一般初始化为$0$向量），计算得出本时刻隐藏层的值$h_t$，重复这一步骤直至读完所有输入。如果将循环神经网络所表示的函数记为$f$，则其公式可表示为： |
There was a problem hiding this comment.
| <br/>  其中$W_{xh}$是输入到隐层的矩阵参数，$W_{hh}$是隐层到隐层的矩阵参数，$b_h$为隐层的偏置向量（bias）参数，$\sigma$为elementwise的sigmoid函数。在处理自然语言时，一般会先将词（one-hot表示）映射为其embedding表示，然后再作为循环神经网络每一时刻的输入$x_t$。可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
| <br/>  可以看出，隐状态的输入来源于当前输入和前一时刻隐状态的值，这会导致很久以前的输入容易被覆盖掉。实际上，人们发现当序列很长时，循环神经网络就会表现很差（远距离依赖问题），训练过程中会出现梯度消失或爆炸现象\[[6](#参考文献)\]。为了解决这一问题，Hochreiter S, Schmidhuber J. (1997)\[[5](#参考文献)\]提出了lstm(long short term memory)模型。 | ||
| #### lstm-rnn | ||
| <br/>  相比于简单的循环神经网络，lstm增加了记忆单元$c$，输入门$i$，遗忘门$f$及输出门$o$，这些门及记忆单元组合起来大大提升了循环神经网络处理远距离依赖问题的能力，若将基于lstm的循环神经网络表示的函数记为F，则其公式为： |
| o_t & = \sigma(W_{xo}x_t+W_{ho}h_{h-1}+W_{co}c_{t}+b_o)\\\\ | ||
| h_t & = o_t\odot tanh(c_t)\\\\ | ||
| \end{align} | ||
| <br/>  其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元（记忆单元一般对外不可见,$h_t$对外部可见）及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为elementwise的双曲正切函数，$\odot$表示elementwise的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，这三种门各自以不同的方式控制着记忆单元$c$，如图3所示： |
There was a problem hiding this comment.
（记忆单元一般对外不可见,$h_t$对外部可见）这句话是想说明啥？可以去掉吗
| <br/>  其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元（记忆单元一般对外不可见,$h_t$对外部可见）及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为elementwise的双曲正切函数，$\odot$表示elementwise的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，这三种门各自以不同的方式控制着记忆单元$c$，如图3所示： | ||
| <p align="center"> | ||
| <img src="image/lstm.png"><br/> | ||
| 图 3 时刻$t$的lstm\[[7](#参考文献)\] |
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
|
|
||
| <br/>  对于正常顺序的循环神经网络而言，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以构建更加强有力的深层双向循环神经网络（deep bi-directional recurrent neural networks）对时序数据进行建模。 | ||
| #### 使用循环神经网络的组合进行文本分类 |
There was a problem hiding this comment.
不要说组合，改成“栈式LSTM”吧
stacked统一在教程中叫栈式
There was a problem hiding this comment.
done, ps. 个人觉得‘栈式’翻译并不是很好。
Zrachel
suggested changes
Jan 4, 2017
| </p> | ||
| ## 数据准备 | ||
| ### 数据介绍与下载 | ||
| 我们以IMDB情感分析数据集为例进行介绍。训练模型之前, 我们需要预处理数椐并构建一个字典。 首先, 你可以使用下面的脚本下载 IMDB 数椐集和[Moses](http://www.statmt.org/moses/)工具, 我们提供了一个数据预处理脚本，它不仅能够处理IMDB数据，还能处理其他用户自定义的数据。 为了使用提前编写的脚本，需要将标记的训练和测试样本移动到另一个路径，这已经在`get_imdb.sh`中完成。 |
There was a problem hiding this comment.
我们以IMDB情感分析数据集为例进行介绍。【line98】
首先, 使用下面的脚本下载 IMDB 数椐集和Moses工具:
| * data_dir: 输入数椐所在目录。 | ||
| * preprocess.py: 预处理脚本。 | ||
|
|
||
| 运行成功后目录`data/pre-imdb` 结构如下: |
There was a problem hiding this comment.
请check这里preprocess.py逻辑，这里pre-imdb是否正确？
因为上面是python preprocess.py -i data_dir
看上去data_dir就和pre-imdb没关系
或者，直接删掉line105-114也ok
| * args={"dictionary": word_dict}: 额外的参数，这里指定词典 | ||
|
|
||
| ### 模型结构 | ||
|
|
There was a problem hiding this comment.
在这段中，我们用PaddlePaddle分别基于文本卷积网络和栈式LSTM网络实现文本分类。
下面加两个小结，
基于文本卷积网络
基于栈式LSTM网络
| <p align="center">表格 1 电影评论情感分析</p> | ||
| <br/>  实际上，在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类问题可以分解为两个子问题：文本表示和分类。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，分类方法有SVM,LR,Boosting等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，这种表示浮于表面，并未充分表示文本的语义信息。例如，句子`这部电影糟糕透了`和`一个乏味，空洞，没有内涵的作品`在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子`一个空洞，没有内涵的作品`和`一个不空洞而且有内涵的作品`的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 | ||
| ## 模型概览 | ||
| <br/>  本章所使用的文本表示模型为卷积神经网络（Convolutional Neural Networks）和循环神经网络(Recurrent Neural Networks)及其扩展。我们首先介绍处理文本的卷积神经网络。 |
There was a problem hiding this comment.
我们首先介绍处理文本的卷积神经网络，其次介绍循环神经网络和它的改进：长短期记忆神经网络。在后面的模型配置说明 中，我们将分别用这两个网络进行文本情感分类。
| * CurrentEval: classification\_error\_evaluator: 最新log_period个batch的分类错误。 | ||
| * Pass=0: 通过所有训练集一次称为一个Pass。 0表示第一次经过训练集。 | ||
|
|
||
| 默认情况下，我们使用`stacked_lstm_net`网络，如果要使用双向LSTM或卷积网络，注释相应的行即可。 |
There was a problem hiding this comment.
config中默认使用stacked_lstm_net网络，如果希望使用卷积网络，请修改trainer_config.py中的配置。
| 2>&1 | tee 'test.log' | ||
| ``` | ||
|
|
||
| 函数`get_best_pass`依据分类错误率获取最佳模型。 与训练不同，测试时需要指定`--job = test`和模型路径，即`--model_list = $model_list`。如果运行成功，日志将保存在“test.log”中。例如，在我们的测试中，最好的模型是`model_output / pass-00002`，分类误差是0.115645，如下： |
There was a problem hiding this comment.
与训练不同，测试时需要指定--job = test和模型路径--model_list = $model_list。如果测试成功，日志将保存在test.log中。 在我们的测试中，最好的模型是model_output/pass-00002，分类误差是0.115645：
| 函数`get_best_pass`依据分类错误率获取最佳模型。 与训练不同，测试时需要指定`--job = test`和模型路径，即`--model_list = $model_list`。如果运行成功，日志将保存在“test.log”中。例如，在我们的测试中，最好的模型是`model_output / pass-00002`，分类误差是0.115645，如下： | ||
|
|
||
| ``` | ||
| Pass=0 samples=24999 AvgCost=0.280471 Eval: classification_error_evaluator=0.115645 |
There was a problem hiding this comment.
运行一遍，没错，就是Pass=0
| --batch_size=1 | ||
| ``` | ||
|
|
||
| * `cat ./data/aclImdb/test/pos/10007_10.txt` : 输入预测样本。 |
There was a problem hiding this comment.
下面预测结果给的是 10014_7.txt的，不一致
There was a problem hiding this comment.
运行一遍，发现实际输出里面没有文件名。。
luotao1
suggested changes
Jan 6, 2017
| # See the License for the specific language governing permissions and | ||
| # limitations under the License. | ||
|
|
||
| from os.path import join as join_path |
There was a problem hiding this comment.
15行就不用引了，27行和28行之间用os.path.join代替join_path即可
| data/imdb | ||
| data/pre-imdb | ||
| data/mosesdecoder-master | ||
| logs/ |
There was a problem hiding this comment.
我看train.sh和test.sh打印的日志都没放在logs下面，所以这里把logs/改成*.log？
| ## 背景介绍 | ||
| 在自然语言处理中，情感分析一般是指判断一段文本所表达的情绪状态。其中，一段文本可以是一个句子，一个段落或一个文档。情绪状态可以是两类，如（正面，负面），（高兴，悲伤）；也可以是三类，如（积极，消极，中性）等等。 | ||
|
|
||
| 情感分析的应用场景十分广泛，如把用户在购物网站（亚马逊、天猫、淘宝等）、旅游网站、电影评论网站上发表的评论分成正面评论和负面评论。为了分析用户对于某一产品的整体使用感受，抓取产品的用户评论并进行情感分析等等。表格1展示了对电影评论进行情感分析的例子： |
There was a problem hiding this comment.
- 第3行和5行可以连起来。
- “为了分析用户对于某一产品的整体使用感受，抓取产品的用户评论并进行情感分析等等。”这句和前一句连的不通顺，改为：
“；或为了分析用户对于某一产品的整体使用感受，抓取产品的用户评论并进行分析等等。”
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression), [Boosting](https://en.wikipedia.org/wiki/Boosting_(machine_learning))等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
- 第一句：即把需要XXX，中间的逗号可以去掉。
- “BOW忽略了词的”从这句开始换一行，然后得简单介绍下BOW是什么，不然直接说它的缺点和后面的示例，会不清楚为什么“BOW表示的相似度是0”。
- “本章我们XX”从这句开始再换一行。“词的顺序”-》“词顺序”。有显著的提升：有具体数据么？
There was a problem hiding this comment.
- 其性能相对于传统方法有显著的提升。->
其性能相对于传统方法可以有显著的提升[加参考文献]。
There was a problem hiding this comment.
1.去掉逗号不太好
2.done
3.done
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression), [Boosting](https://en.wikipedia.org/wiki/Boosting_(machine_learning))等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 | ||
| ## 模型概览 | ||
| 本章所使用的文本表示模型为卷积神经网络（Convolutional Neural Networks）和循环神经网络(Recurrent Neural Networks)及其扩展。我们首先介绍处理文本的卷积神经网络。 |
There was a problem hiding this comment.
“我们首先介绍处理文本的卷积神经网络”-》“下面将依次介绍这几个模型”
|
|
||
| $$h_t=f(x_t,h_{t-1})=\sigma(W_{xh}x_t+W_{hh}h_{h-1}+b_h)$$ | ||
|
|
||
| 其中$W_{xh}$是输入到隐层的矩阵参数，$W_{hh}$是隐层到隐层的矩阵参数，$b_h$为隐层的偏置向量（bias）参数，$\sigma$为逐元素（elementwise）的$sigmoid$函数。 |
There was a problem hiding this comment.
逐元素的翻译会不会别扭 @Zrachel 你看怎么处理
There was a problem hiding this comment.
不要用elementwise了，其他篇章里这种情况也没有写elementwise。
改成
There was a problem hiding this comment.
\sigma$和$tanh$的逐元素说明已取掉。$\odot$的逐元素需要保留说明
| o_t & = \sigma(W_{xo}x_t+W_{ho}h_{h-1}+W_{co}c_{t}+b_o)\\\\ | ||
| h_t & = o_t\odot tanh(c_t)\\\\ | ||
| \end{align} | ||
| 其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为逐元素的双曲正切函数，$\odot$表示逐元素的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，它们各自以不同的方式控制着记忆单元$c$，如图3所示： |
There was a problem hiding this comment.
”$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元及输出门的向量值“这句不用写了把。因为57行已经写了”记忆单元$c$、输入门$i$、遗忘门$f$及输出门$o$“
| 其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为逐元素的双曲正切函数，$\odot$表示逐元素的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，它们各自以不同的方式控制着记忆单元$c$，如图3所示： | ||
| <p align="center"> | ||
| <img src="image/lstm.png" width = "70%" height = "70%" align="center"/><br/> | ||
| 图 3 时刻$t$的lstm |
| <img src="image/lstm.png" width = "70%" height = "70%" align="center"/><br/> | ||
| 图 3 时刻$t$的lstm | ||
| </p> | ||
| lstm通过给简单的循环神经网络增加记忆及控制门的方式，增强了其处理远距离依赖问题的能力。类似原理的对于简单循环神经网络的改进还有Gated Recurrent Unit (GRU)\[[8](#参考文献)\],其设计更为简洁一些。**这些改进虽然各有不同，但是它们的宏观描述却与简单的循环神经网络一样（如图2所示），即隐状态依据当前输入及前一时刻的隐状态来改变，不断的循环这一过程直至输入处理完毕：** |
There was a problem hiding this comment.
- LSTM大写。下同。
- 类似原理的改进还有还有Gated Recurrent Unit (GRU)[8]。
- 不断地循环
|
|
||
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
|
|
||
| 对于正常顺序的循环神经网络，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以通过构建更加强有力的栈式双向循环神经网络，来对时序数据进行建模。 |
There was a problem hiding this comment.
76行和78行放到栈式双向LSTM那节吧。和那节原有的文字再组织协调下。
Zrachel
reviewed
Jan 6, 2017
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression), [Boosting](https://en.wikipedia.org/wiki/Boosting_(machine_learning))等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression), [Boosting](https://en.wikipedia.org/wiki/Boosting_(machine_learning))等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
- 其性能相对于传统方法有显著的提升。->
其性能相对于传统方法可以有显著的提升[加参考文献]。
| ## 模型概览 | ||
| 本章所使用的文本表示模型为卷积神经网络（Convolutional Neural Networks）和循环神经网络(Recurrent Neural Networks)及其扩展。我们首先介绍处理文本的卷积神经网络。 | ||
| ### 文本卷积神经网络（CNN） | ||
| 卷积神经网络经常用来处理具有类似网格拓扑结构（grid-like topology）的数据。例如，图像可以视为2D网格的像素点，自然语言可以视为1D的词序列。卷积神经网络可以提取多种局部特征，并对其进行组合抽象得到更高级的特征表示，且其对于数据的某些变化具有不变性。大量实验表明，卷积神经网络能高效的对图像及文本问题进行建模处理。本小结我们讲解如何使用卷积神经网络处理文本（以句子为例）\[[1](#参考文献)\]。 |
| ## 模型概览 | ||
| 本章所使用的文本表示模型为卷积神经网络（Convolutional Neural Networks）和循环神经网络(Recurrent Neural Networks)及其扩展。我们首先介绍处理文本的卷积神经网络。 | ||
| ### 文本卷积神经网络（CNN） | ||
| 卷积神经网络经常用来处理具有类似网格拓扑结构（grid-like topology）的数据。例如，图像可以视为2D网格的像素点，自然语言可以视为1D的词序列。卷积神经网络可以提取多种局部特征，并对其进行组合抽象得到更高级的特征表示，且其对于数据的某些变化具有不变性。大量实验表明，卷积神经网络能高效的对图像及文本问题进行建模处理。本小结我们讲解如何使用卷积神经网络处理文本（以句子为例）\[[1](#参考文献)\]。 |
There was a problem hiding this comment.
“且其对于数据的某些变化具有不变性" 中”某些“可以替换成具体的变换，比如pooling操作使得图像具有平移、旋转、大小缩放不变形。文本里可以相应说一下，并附上参考文献。
There was a problem hiding this comment.
可在识别数字那章第一次出现cnn时详细说明此类特性
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法。在深度学习的方法出现之前，主流的文本表示方法为BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression), [Boosting](https://en.wikipedia.org/wiki/Boosting_(machine_learning))等等。BOW忽略了词的顺序信息，而且是高维度的稀疏向量表示，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷，它在考虑词的顺序的基础上把文本映射到低维度的语义空间，并且以端对端（end to end）的方式进行文本表示及分类，其性能相对于传统方法有显著的提升。 |
There was a problem hiding this comment.
SVM、LR是分类器，Boosting是ensemble方法，还是分开说吧?
|
|
||
| 在处理自然语言时，一般会先将词（one-hot表示）映射为其词向量（word embedding）表示，然后再作为循环神经网络每一时刻的输入$x_t$。此外，可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
|
|
||
| ### 长时短期记忆（LSTM） |
There was a problem hiding this comment.
https://zh.wikipedia.org/wiki/LSTM 上叫 长短期记忆人工神经网络，就叫长短期记忆网络吧
| o_t & = \sigma(W_{xo}x_t+W_{ho}h_{h-1}+W_{co}c_{t}+b_o)\\\\ | ||
| h_t & = o_t\odot tanh(c_t)\\\\ | ||
| \end{align} | ||
| 其中，$i_t, f_t, c_t, o_t$分别表示输入门，遗忘门，记忆单元及输出门的向量值，带角标的$W$及$b$为模型参数，$tanh$为逐元素的双曲正切函数，$\odot$表示逐元素的乘法操作。输入门控制着新输入进入记忆单元$c$的强度，遗忘门控制着记忆单元维持上一时刻值的强度，输出门控制着输出记忆单元的强度。三种门的计算方式类似，但有着完全不同的参数，它们各自以不同的方式控制着记忆单元$c$，如图3所示： |
| 在处理自然语言时，一般会先将词（one-hot表示）映射为其词向量（word embedding）表示，然后再作为循环神经网络每一时刻的输入$x_t$。此外，可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
|
|
||
| ### 长时短期记忆（LSTM） | ||
| 循环神经网络隐状态的输入来源于当前输入和前一时刻隐状态的值，这会导致很久以前的输入容易被覆盖掉。实际上，人们发现当序列很长时，循环神经网络就会表现很差（远距离依赖问题），训练过程中会出现梯度消失或爆炸现象\[[6](#参考文献)\]。为了解决这一问题，Hochreiter S, Schmidhuber J. (1997)提出了lstm(long short term memory\[[5](#参考文献)\])。 |
There was a problem hiding this comment.
实际上那句
->
实际上，在90年代早期，人们发现梯度爆炸或梯度消失现象严重影响了RNN的效果。这是因为RNN采用 时间维度反向传播（backpropagation through time，BPTT）算法进行网络优化[参考文献]。以长度为3的时序序列为例，RNN网络状态$h(3)=f(x_3, f(x_2, f(x1, h_0)))$，如果每一步更新梯度都>1， 则会导致。。。；如果<1，则会导致。。。后文介绍LSTM是怎样避免了这个问题。。。
There was a problem hiding this comment.
个人觉得没必要在此展开这一问题的论述，已有参考文献。 修改表达方式。
| Pass=0 samples=24999 AvgCost=0.280471 Eval: classification_error_evaluator=0.115645 | ||
| ``` | ||
|
|
||
| ### 预测 |
|
|
||
| ``` | ||
| Loading parameters from model_output/pass-00002/ | ||
| predicting label is pos |
luotao1
reviewed
Jan 10, 2017
|
|
||
| <p align="center">表格 1 电影评论情感分析</p> | ||
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法两个问题。在深度学习的方法出现之前，主流的文本表示方法为词袋模型BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression)等等。 |
There was a problem hiding this comment.
14行第一句的"即把"，中间的逗号为什么去掉不太好
|
|
||
| 在自然语言处理中，情感分析属于典型的**文本分类**问题，即，把需要进行情感分析的文本划分为其所属类别。文本分类涉及文本表示和分类方法两个问题。在深度学习的方法出现之前，主流的文本表示方法为词袋模型BOW(bag of words)，话题模型等等；分类方法有SVM(support vector machine), LR(logistic regression)等等。 | ||
|
|
||
| BOW假定对于一段文本，忽略其词顺序和语法、句法，将其仅仅看做是一个词集合，它并不能充分表示文本的语义信息。例如，句子“这部电影糟糕透了”和“一个乏味，空洞，没有内涵的作品”在情感分析中具有很高的语义相似度，但是它们的BOW表示的相似度为0。又如，句子“一个空洞，没有内涵的作品”和“一个不空洞而且有内涵的作品”的BOW相似度很高，但实际上它们的意思很不一样。 |
There was a problem hiding this comment.
对于一段文本，BOW方法会忽略其词顺序、语法和句法，将这段文本仅仅看做是一个词集合，因此BOW方法并不能充分表示文本的语义信息。
|
|
||
| 接下来我们对特征图采用时间维度上的最大池化（max pooling over time）操作得到此卷积核对应的整句话的特征$\hat c$，它是特征图中所有元素的最大值： | ||
|
|
||
| $$\hat c=max(c)$$ |
There was a problem hiding this comment.
这里描述的只是文本卷积的一个个例，很多方法并非按图中的四步来。卷积可以千变万化，分成固定的4步反而不好。
- 因为放了那张图，所以下面的解释要和图对应。可以再加上类似的文字描述“卷积有很多种，我们这里介绍文本卷积的一个示例”。
- 另外分成四步是为了让文案更新清晰。现在每一步的描述和上一步的公式描述在一起，比如“其中$b\in\mathbb{R}$为偏置项（bias），$f$为非线性激活函数，如$sigmoid$。将卷积核应用于句子中所有的词窗口${x_{1:h},x_{2:h+1},\ldots,x_{n-h+1:n}}$，产生一个特征图（feature map）”，前半句属于上一步的公式描述，后半句属于下一步的文字描述。
这块还需要修改一下。
|
|
||
| $$\hat c=max(c)$$ | ||
|
|
||
| 在实际应用中，我们会使用多个卷积核来处理句子，窗口大小相同的卷积核堆叠起来形成一个矩阵（上文中的单个卷积核参数$w$相当于矩阵的某一行），这样可以更高效的完成运算。另外，我们也可使用窗口大小不同的卷积核来处理句子，最后，将所有卷积核得到的特征拼接起来即为文本的定长向量表示。对于文本分类问题，将其连接至softmax即构建出完整的模型。图1是使用卷积神经网络进行文本分类的一个示意图（只画了四个卷积核，黄色的卷积核窗口大小为3，红色的为2）。 |
There was a problem hiding this comment.
图1XXX这句话和图的位置离的太远了。建议可以先讲述27行（除了最后一句），其次讲图1这句话，接着放图，最后描述图中的四步。
|
|
||
| 对于一般的短文本分类问题，上文所述的简单的文本卷积网络即可达到很高的正确率\[[1](#参考文献)\]。若想得到更抽象更高级的文本特征表示，可以构建深层文本卷积神经网络\[[2](#参考文献),[3](#参考文献)\]。 | ||
| ### 循环神经网络（RNN） | ||
| 循环神经网络是一种能对序列数据进行精确建模的有力工具。实际上，循环神经网络的理论计算能力是图灵完备的\[[4](#参考文献)\]。自然语言是一种典型的序列数据（词序列），近年来，循环神经网络及其变体(如long short term memory\[[5](#参考文献)\]等)在自然语言处理的多个领域，如语言模型、句法解析、语义角色标注（或一般的序列标注）、语义表示、图文生成、对话、机器翻译等任务上均表现优异甚至成为目前效果最好的方法。 |
There was a problem hiding this comment.
(如long short term memory[5]等)的括号改成中文括号
|
|
||
| 在处理自然语言时，一般会先将词（one-hot表示）映射为其词向量（word embedding）表示，然后再作为循环神经网络每一时刻的输入$x_t$。此外，可以根据实际需要的不同在循环神经网络的隐层上连接其它层。如，可以把一个循环神经网络的隐层输出连接至下一个循环神经网络的输入构建深层（deep or stacked）循环神经网络，或者提取最后一个时刻的隐层状态作为句子表示进而使用分类模型等等。 | ||
|
|
||
| ### 长短期记忆（LSTM） |
| <img src="image/lstm.png" width = "65%" height = "65%" align="center"/><br/> | ||
| 图3. 时刻$t$的LSTM | ||
| </p> | ||
| LSTM通过给简单的循环神经网络增加记忆及控制门的方式，增强了其处理远距离依赖问题的能力。类似原理的改进还有Gated Recurrent Unit (GRU)\[[8](#参考文献)\],其设计更为简洁一些。**这些改进虽然各有不同，但是它们的宏观描述却与简单的循环神经网络一样（如图2所示），即隐状态依据当前输入及前一时刻的隐状态来改变，不断地循环这一过程直至输入处理完毕：** |
|
|
||
| $$ h_t=Recrurent(x_t,h_{t-1})$$ | ||
|
|
||
| 对于正常顺序的循环神经网络，$h_t$包含了$t$时刻之前的输入信息，也就是上文信息。同样，为了得到下文信息，我们可以使用反方向（将输入逆序处理）的循环神经网络。结合构建深层循环神经网络的方法，我们可以通过构建更加强有力的栈式双向循环神经网络，来对时序数据进行建模。 |
There was a problem hiding this comment.
这样突出承上启下
“结合构建深层循环神经网络的方法，我们可以通过构建更加强有力的栈式双向循环神经网络，来对时序数据进行建模。”这句话放在LSTM这节不合适，LSTM这节讲的是基本的LSTM，不要出现栈式双向LSTM的概念，这样便于从其他文章引用LSTM过来阅读的情况。所以这句话还是挪到栈式双向LSTM那节把，或者删掉。
| is_predict=False): | ||
|
|
||
| hid_lr = 1e-3 | ||
| assert stacked_num % 2 == 1 |
There was a problem hiding this comment.
- 255行的
hid_lr = 1e-3去掉，直接在260行的fc_para_attr = ParameterAttribute(learning_rate=hid_lr)赋值，因为258-263的赋值都是这样的。请对应修改代码。 - 256行的
assert stacked_num % 2 == 1请解释下必须是奇数的原因
| ``` | ||
| ./predict.sh | ||
| ``` | ||
| predict.sh: |
There was a problem hiding this comment.
predict.sh的内容如下，注意应该确保默认模型路径model_output/pass-00002存在或更改为其它模型路径。（把444行挪上来）
Zrachel
reviewed
Jan 11, 2017
| 卷积神经网络主要由卷积（convolution）和池化（pooling）操作构成，其应用及组合方式灵活多变，种类繁多。本小结我们以一种简单的文本分类卷积神经网络为例进行讲解\[[1](#参考文献)\]，如图1所示： | ||
| <p align="center"> | ||
| <img src="image/text_cnn.png" width = "90%" height = "90%" align="center"/><br/> | ||
| 图1. 卷积神经网络文本分类模型 |
|
|
||
| $$\hat c=max(c)$$ | ||
|
|
||
| 在实际应用中，我们会使用多个卷积核来处理句子，窗口大小相同的卷积核堆叠起来形成一个矩阵（上文中的单个卷积核参数$w$相当于矩阵的某一行），这样可以更高效的完成运算。另外，我们也可使用窗口大小不同的卷积核来处理句子（图1作为示意画了四个卷积核，黄色的卷积核窗口大小为3，红色的为2），最后，将所有卷积核得到的特征拼接起来即为文本的定长向量表示。对于文本分类问题，将其连接至softmax即构建出完整的模型。 |
There was a problem hiding this comment.
“黄色的卷积核窗口大小为3，红色的为2”
这句去掉，改成“具有不同的窗口大小”
因为后面会改图中线条颜色。
luotao1
approved these changes
Jan 11, 2017
Zrachel
approved these changes
Jan 11, 2017
Sign up for free
to subscribe to this conversation on GitHub.
Already have an account?
Sign in.
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
schinger=wangxuguang