Sentiment Analysis Application #1505

1649759610 · 2021-12-23T05:12:50Z

PR types

New features

PR changes

Models

Description

add sentiment_analysis application.

tianxin1860

通篇中英文之间需要加 1 个空格

tianxin1860 · 2021-12-23T13:53:49Z

applications/sentiment_analysis/README.md

+    - 手把手搭建起 细粒度 情感分析系统：抽取语句中评论维度以及相应观点，并基于评价维度的粒度进行情感分析。
+    - 提供训练、预测、部署一站式能力。
+- 效果好
+    - 基于情感分析建模的专属模型SKEP，解决通用模型对情感信息不敏感的痛点。


中英文字符间需要 1 个空格

tianxin1860 · 2021-12-23T13:54:06Z

applications/sentiment_analysis/README.md

+
+针对以上提到的细粒度情感分析，我们提出的解决方案如下图所示。整个情感分析的过程包含两个阶段，依次是评论维度和观点抽取模型，细粒度情感分类模型。对于给定的一段文本，首先基于前者抽取出文本语句中潜在的评论维度以及该维度相应的评论观点，然后将评论维度、观点以及原始文本进行拼接，传给细粒度情感分类模型以识别出该评论维度的情感色彩。
+
+这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的SKEP预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。


中英文字符间需要 1 个空格

tianxin1860 · 2021-12-23T13:54:15Z

applications/sentiment_analysis/README.md

+
+这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的SKEP预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。
+
+另外，本项目使用的是Large版的SKEP模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型[PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM)以及一套量化策略，用户可以使用相应情感数据集对PP-MinLM进行微调，然后进行量化，以达到更快的使用效率。


中英文字符间需要 1 个空格

tianxin1860 · 2021-12-23T13:54:47Z

applications/sentiment_analysis/README.md

+
+这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的SKEP预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。
+
+另外，本项目使用的是Large版的SKEP模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型[PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM)以及一套量化策略，用户可以使用相应情感数据集对PP-MinLM进行微调，然后进行量化，以达到更快的使用效率。


PP-MiniLM 要链接 PaddleNLP 的官方地址

tianxin1860 · 2021-12-23T13:57:54Z

applications/sentiment_analysis/README.md

+- 效果好
+    - 基于情感分析建模的专属模型SKEP，解决通用模型对情感信息不敏感的痛点。
+- 性能优
+    - 提供开源小模型以及配套优化策略，以解决大模型预测效率问题。


提供开源小模型及量化加速方案，大幅提升预测性能。

tianxin1860 · 2021-12-23T14:03:09Z

applications/sentiment_analysis/README.md

+python == 3.8
+CUDA Version: 10.2
+NVIDIA Driver Version: 440.64.00
+GPU： Tesla V100


只需要 1 个空格吧？

tianxin1860 · 2021-12-23T14:03:30Z

applications/sentiment_analysis/README.md

+```
+
+### 3.2 数据说明
+本项目需要训练两个阶段的模型：评论维度和观点抽取模型，细粒度情感分类模型。本次针对这抽取和分类模型，我们分别开源了Deomo数据：[data_ext](https://bj.bcebos.com/v1/paddlenlp/data/data_ext.tar.gz)和[data_cls](https://bj.bcebos.com/v1/paddlenlp/data/data_cls.tar.gz)。


Deomo -> Demo

tianxin1860 · 2021-12-23T14:04:06Z

applications/sentiment_analysis/README.md

+```
+
+### 3.6 小模型优化策略
+本项目提供了一套基于[PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM)中文特色小模型的细粒度情感分类解决方案。PP-MiniLM提供了一套完整的小模型优化方案：首先使用Task-agnostic的方式进行模型蒸馏、然后依托于[PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim) 进行模型裁剪、模型量化等模型压缩技术，有效减小了模型的规模，加快了模型运行速度。


PP-MiniLM 链接到官方地址

tianxin1860 · 2021-12-23T14:04:47Z

applications/sentiment_analysis/README.md

+
+[1]  [文本情感分析](https://baike.baidu.com/item/%E6%96%87%E6%9C%AC%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90/19431243?fr=aladdin)
+
+[2] [SKEP论文](https://aclanthology.org/2020.acl-main.374.pdf)


论文的引用格式是否规范一下？

tianxin1860

utils.py 感觉可以抽取出来作为共享模块。
直接新建 1 个 pp-minilm 子目录不确定用户是否容易理解？

tianxin1860 · 2021-12-23T14:08:35Z

applications/sentiment_analysis/classification/README.md

+
+## 1. 方案设计
+
+本项目将针对语句中的维度级别进行情感分析，对于给定的一段文本，我们在基于评论维度和观点抽取模型抽取出评论维度和观点后，便可以有针对性的对各个维度进行评论。具体来讲，本实践将抽取出的评论维度和评论观点进行拼接，然后原始语句进行拼接作为一条独立的训练语句。


然后原始语句 -> 然后和原始语句

tianxin1860 · 2021-12-23T14:16:01Z

applications/sentiment_analysis/dynamic_predict.py

+            }
+            results.append(result)
+
+        # print results


没用的注释删掉吧

tianxin1860 · 2021-12-23T14:19:59Z

applications/sentiment_analysis/ppminilm/utils.py

@@ -0,0 +1,31 @@
+# Copyright (c) 2020 PaddlePaddle Authors. All Rights Reserved.


utils.py 感觉可以抽出来作为共享模块？

…mynlp

chenxiaozeng · 2021-12-24T08:36:02Z

applications/sentiment_analysis/README.md

+
+### 2.2 架构&功能
+
+针对以上提到的细粒度情感分析，我们提出的解决方案如下图所示。整个情感分析的过程包含两个阶段，依次是评论维度和观点抽取模型，细粒度情感分类模型。对于给定的一段文本，首先基于前者抽取出文本语句中潜在的评论维度以及该维度相应的评论观点，然后将评论维度、观点以及原始文本进行拼接，传给细粒度情感分类模型以识别出该评论维度的情感色彩。


评论维度统一成评价维度吧

chenxiaozeng · 2021-12-24T08:38:09Z

applications/sentiment_analysis/README.md

+另外，本项目使用的是 Large 版的 SKEP 模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型 [PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM) 以及一套量化策略，用户可以使用相应情感数据集对 PP-MiniLM 进行微调，然后进行量化，以达到更快的使用效率。
+
+<center> <img src="./imgs/sentiment_system.png" /></center>
+<center>图1 情感分析系统图 </center>


图说明需要居中下

chenxiaozeng · 2021-12-24T08:45:30Z

applications/sentiment_analysis/README.md

+├── run_export.sh                      # 动转静模型导出命令
+├── run_static_predict.sh              # 全流程静态图单条预测命令
+├── requirements.txt                   # 环境依赖
+└── README.md


shell脚本和python脚本命名建议统一下；是否单建一个/predict的目录呢

chenxiaozeng · 2021-12-24T08:47:23Z

applications/sentiment_analysis/README.md

+
+### 3.1 运行环境和依赖安装
+(1) 运行环境  
+除非特殊说明，本实验默认是在以下配置环境研发运行的：


这样的话，可以加一个环境依赖，python、paddlepaddle、paddlenlp等所有library的版本依赖。版本依赖一般是xx以上吧
格式比如：
python >= 3.6
paddlepaddle >= 2.2

chenxiaozeng · 2021-12-24T08:52:26Z

applications/sentiment_analysis/README.md

@@ -0,0 +1,138 @@
+# 情感分析


开头加下目录吧

chenxiaozeng · 2021-12-24T08:58:57Z

applications/sentiment_analysis/extraction/README.md

+```shell
+.
+├── data             # 数据目录
+├── checkpoints      # 模型保存目录


是否需要checkpoints ？

chenxiaozeng · 2021-12-24T08:59:51Z

applications/sentiment_analysis/classification/README.md

+```shell
+.
+├── data             # 数据目录
+├── checkpoints      # 模型保存目录


是否需要checkpoints ？

chenxiaozeng · 2021-12-24T09:00:45Z

applications/sentiment_analysis/requirements.txt

@@ -0,0 +1,4 @@
+numpy==1.19.5


版本依赖需要明确下是==，还是>=

chenxiaozeng · 2021-12-24T09:03:29Z

applications/sentiment_analysis/speedup/README.md

+
+本项目中，无论是评论维度和观点抽取模型，还是细粒度情感分类模型，使用的均是 Large 版的 SKEP 模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目提供了开源小模型 [PP-MiniLM](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/model_compression/pp-minilm) 及量化加速方案，大幅提升预测性能。
+
+在本项目中，我们基于 PP-MiniLM 中文特色小模型进行 fine-tune 细粒度情感分类模型、然后使用 [PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim) 进行模型量化，减小模型规模，加快模型预测性能。


chenxiaozeng · 2021-12-24T09:08:49Z

applications/sentiment_analysis/speedup/README.md

+## 3. 对量化后的小模型进行性能测试
+
+### 3.1 环境要求
+本节需要使用安装有 Inference 预测库的 [PaddlePaddle 2.2.1](https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html) 进行预测，请根据合适的机器环境进行下载安装。若想要得到明显的加速效果，推荐在 NVIDA Tensor Core GPU（如 T4、A10、A100) 上进行测试，若在 V 系列 GPU 卡上测试，由于其不支持 Int8 Tensor Core，将达不到预期的加速效果。


Inference -> Paddle Inference

ZeyuChen · 2021-12-24T07:43:25Z

applications/sentiment_analysis/README.md

+```
+
+### 3.6 小模型优化策略
+本项目提供了一套基于 [PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM) 中文特色小模型的细粒度情感分类解决方案。PP-MiniLM 提供了一套完整的小模型优化方案：首先使用 Task-agnostic 的方式进行模型蒸馏、然后依托于 [PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim) 进行模型裁剪、模型量化等模型压缩技术，有效减小了模型的规模，加快了模型运行速度。


这里的链接需要改成官方的版本，而且目录我改成小写得了。
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/model_compression/pp-minilm

ZeyuChen · 2021-12-24T14:16:11Z

applications/sentiment_analysis/README.md

+
+这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的 SKEP 预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。
+
+另外，本项目使用的是 Large 版的 SKEP 模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型 [PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM) 以及一套量化策略，用户可以使用相应情感数据集对 PP-MiniLM 进行微调，然后进行量化，以达到更快的使用效率。


链接地址要使用PaddlePaddle org的版本

ZeyuChen · 2021-12-25T03:43:00Z

applications/sentiment_analysis/requirements.txt

@@ -0,0 +1,4 @@
+numpy==1.19.5
+tqdm==4.27.0


不能限制版本。会导致未来新框架版本用户冲突，我理解这些requirements都是不需要的，请删除。

ZeyuChen · 2021-12-25T03:43:56Z

applications/sentiment_analysis/run_dynamic_predict_by_batch.sh

@@ -0,0 +1,12 @@
+export CUDA_VISIBLE_DEVICES=7


提交代码的时候这些CUDA VISIBLE都需要默认为0，默认外部单卡用户会运行失败

不太理解为什么需要两个脚本区分batch和非batch的概念

ZeyuChen · 2021-12-25T03:51:22Z

applications/sentiment_analysis/static_predict.py

+    print("default input_text:", input_text)
+    predictor.predict(input_text.strip().replace(" ", ""))
+
+    while True:


为什么是用循环的方式呢？

ZeyuChen · 2021-12-25T03:51:42Z

applications/sentiment_analysis/utils.py

+    np.random.seed(seed)
+
+
+def compute_md5(file_path):


这个函数没看到有用到？

ZeyuChen · 2021-12-25T03:52:06Z

applications/sentiment_analysis/speedup/run_static_predict.sh

@@ -0,0 +1,10 @@
+export CUDA_VISIBLE_DEVICES=1


VISIBILE DEVICES整统一一下到0

ZeyuChen · 2021-12-25T04:04:31Z

applications/sentiment_analysis/extraction/README.md

@@ -0,0 +1,63 @@
+# 评论维度和观点抽取模型


可否简化为『评论观点抽取』
与AI开放平台使用场景保持一致

1649759610 added 4 commits December 13, 2021 23:54

sentiment analysis initializing

38786a7

modify README.md

d458c55

sentiment analysis initializing

2785b2b

modify data_ext and data_cls link in README.md

227cb1e

tianxin1860 changed the title ~~Mynlp~~ Sentiment Analysis Application Dec 23, 2021

1649759610 added 4 commits December 23, 2021 17:21

sentiment analysis initializing

d82cb13

sentiment analysis initializing

6e5d9b2

sentiment analysis initializing

4d12fd7

delete unuseful info.

df7e55f

chenxiaozeng requested review from tianxin1860, chenxiaozeng and ZeyuChen December 23, 2021 11:25

1649759610 added 3 commits December 23, 2021 20:43

sentiment analysis initializing

a45c887

sentiment analysis initializing

79ac7c5

sentiment analysis initializing

c40edd0

tianxin1860 reviewed Dec 23, 2021

View reviewed changes

1649759610 and others added 7 commits December 23, 2021 23:03

sentiment analysis initializing

dce2c24

delete sentiment_system.png

8b18b36

add sentiment_system.png

3d9429a

refine readme.md

dce8380

Merge branch 'develop' into mynlp

0fbea92

sentiment analysis intializing

fe64135

Merge branch 'mynlp' of https://github.com/1649759610/PaddleNLP into …

a9befda

…mynlp

chenxiaozeng reviewed Dec 24, 2021

View reviewed changes

1649759610 added 5 commits December 24, 2021 19:55

mv data and checkpoints in sub_dir to parent_dir

07fa679

refine readme.md

0dda6a0

refine readme

1c30c3e

refine readme.md, modify requirements

50aa913

refine readme.md

1b34ee6

1649759610 added 3 commits December 24, 2021 23:31

refine readme.md

d518b37

refine readme.md

e15cd91

mv run_export.sh to run_export_model.sh

e21659e

ZeyuChen reviewed Dec 25, 2021

View reviewed changes

1649759610 and others added 11 commits December 26, 2021 20:26

refine readme.md

c06169e

remove some

240af3f

remove some unnecessary packages

0bca33e

delete unuseful compute_md5 method

56af6c2

sentiment analysis initializing

95982d6

sentiment analysis initializing

f9f4b51

refine readme.md

0eddb94

set CUDA_VISIBLE_DEVICES=0

f7f052b

refine style with pre-commit

13e54c7

use ppminilm in ernie instead of offline ppminilm

584934a

Merge branch 'develop' into mynlp

9275b4d

chenxiaozeng approved these changes Dec 27, 2021

View reviewed changes

chenxiaozeng merged commit a93a047 into PaddlePaddle:develop Dec 27, 2021

tianxin1860 mentioned this pull request Dec 28, 2021

PaddleNLP 2.2.3 Release Note Candidate #1509

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Sentiment Analysis Application #1505

Sentiment Analysis Application #1505

1649759610 commented Dec 23, 2021

tianxin1860 left a comment

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 left a comment

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

tianxin1860 Dec 23, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

chenxiaozeng Dec 24, 2021

ZeyuChen Dec 24, 2021

ZeyuChen Dec 24, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021

ZeyuChen Dec 25, 2021


		针对以上提到的细粒度情感分析，我们提出的解决方案如下图所示。整个情感分析的过程包含两个阶段，依次是评论维度和观点抽取模型，细粒度情感分类模型。对于给定的一段文本，首先基于前者抽取出文本语句中潜在的评论维度以及该维度相应的评论观点，然后将评论维度、观点以及原始文本进行拼接，传给细粒度情感分类模型以识别出该评论维度的情感色彩。

		这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的SKEP预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。


		这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的SKEP预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。

		另外，本项目使用的是Large版的SKEP模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型[PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM)以及一套量化策略，用户可以使用相应情感数据集对PP-MinLM进行微调，然后进行量化，以达到更快的使用效率。


		[1] [文本情感分析](https://baike.baidu.com/item/%E6%96%87%E6%9C%AC%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90/19431243?fr=aladdin)

		[2] [SKEP论文](https://aclanthology.org/2020.acl-main.374.pdf)


		## 1. 方案设计

		本项目将针对语句中的维度级别进行情感分析，对于给定的一段文本，我们在基于评论维度和观点抽取模型抽取出评论维度和观点后，便可以有针对性的对各个维度进行评论。具体来讲，本实践将抽取出的评论维度和评论观点进行拼接，然后原始语句进行拼接作为一条独立的训练语句。

		@@ -0,0 +1,31 @@
		# Copyright (c) 2020 PaddlePaddle Authors. All Rights Reserved.


		### 2.2 架构&功能

		针对以上提到的细粒度情感分析，我们提出的解决方案如下图所示。整个情感分析的过程包含两个阶段，依次是评论维度和观点抽取模型，细粒度情感分类模型。对于给定的一段文本，首先基于前者抽取出文本语句中潜在的评论维度以及该维度相应的评论观点，然后将评论维度、观点以及原始文本进行拼接，传给细粒度情感分类模型以识别出该评论维度的情感色彩。


		本项目中，无论是评论维度和观点抽取模型，还是细粒度情感分类模型，使用的均是 Large 版的 SKEP 模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目提供了开源小模型 [PP-MiniLM](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/model_compression/pp-minilm) 及量化加速方案，大幅提升预测性能。

		在本项目中，我们基于 PP-MiniLM 中文特色小模型进行 fine-tune 细粒度情感分类模型、然后使用 [PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim) 进行模型量化，减小模型规模，加快模型预测性能。


		这里需要提到的是，由于目前市面上的大多数模型是基于通用语料训练出来的，这些模型可能并不会对情感信息那么敏感。基于这样的考量，本项目使用了百度自研的 SKEP 预训练模型，其在预训练阶段便设计了多种情感信息相关的预训练目标进行训练。作为一种情感专属的模型，其更适合用来做上边提到的评论维度和观点抽取任务，以及细粒度情感分类任务。

		另外，本项目使用的是 Large 版的 SKEP 模型，考虑到企业用户在线上部署时会考虑到模型预测效率，所以本项目专门提供了一个通用版的小模型 [PP-MiniLM](https://github.com/LiuChiachi/PaddleNLP/tree/add-ppminilm/examples/model_compression/PP-MiniLM) 以及一套量化策略，用户可以使用相应情感数据集对 PP-MiniLM 进行微调，然后进行量化，以达到更快的使用效率。

		@@ -0,0 +1,4 @@
		numpy==1.19.5
		tqdm==4.27.0

Sentiment Analysis Application #1505

Sentiment Analysis Application #1505

Conversation

1649759610 commented Dec 23, 2021

PR types

PR changes

Description

tianxin1860 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

tianxin1860 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment