Support Problem Constants Injection #54

kyuridenamida · 2019-01-02T01:38:42Z

MODとかYES, NOをコードに差し込む

存在していれば挿入というロジックのために今より高度なテンプレートエンジンが必要だったので、Jinja2を導入した
その際、下位互換性を持たせるために"${"が文字列に含まれていたら古いテンプレートエンジンを使うようにした。

対応した定数は以下の通り

mod MOD値
yes_str Yes or Noを出力する問題でのYesのための文字列
no_str Yes or Noを出力する問題でのNoのための文字列

どうせ間違ってたら使われないだけなのでかなり適当なのでRecallが重要だと思う。
とりあえずMVPということRecallは定量的にできていない。

新しいテンプレートエンジン(Jinja2)を用いたテンプレート記述例

#include <bits/stdc++.h>
using namespace std;

{% if mod %}const int mod = {{ mod }};{% endif %}
{% if yes_str %}const string YES = "{{ yes_str }}";{% endif %}
{% if no_str %}const string NO = "{{ no_str }}";{% endif %}

void solve({{formal_arguments}}){

}

int main(){
    {{input_part}}
    solve({{actual_arguments}});
    return 0;
}

とか書くと生成してくれる。

codecov-io · 2019-01-02T01:46:04Z

Codecov Report

Merging #54 into master will increase coverage by 0.29%.
The diff coverage is 93.57%.

@@            Coverage Diff             @@
##           master      #54      +/-   ##
==========================================
+ Coverage   91.07%   91.36%   +0.29%     
==========================================
  Files          32       34       +2     
  Lines        1579     1668      +89     
==========================================
+ Hits         1438     1524      +86     
- Misses        141      144       +3

Impacted Files	Coverage Δ
atcodertools/codegen/template_engine.py	`100% <100%> (ø)`	⬆️
atcodertools/tools/envgen.py	`81.81% <100%> (+0.23%)`	⬆️
atcodertools/fileutils/create_contest_file.py	`100% <100%> (ø)`	⬆️
...odertools/models/constpred/problem_constant_set.py	`100% <100%> (ø)`
atcodertools/codegen/code_generator.py	`88.88% <100%> (+1.38%)`	⬆️
atcodertools/codegen/cpp_code_generator.py	`94.28% <100%> (+0.05%)`	⬆️
atcodertools/models/problem_content.py	`95.23% <81.81%> (+2.73%)`	⬆️
...codertools/constprediction/constants_prediction.py	`92.3% <92.3%> (ø)`
... and 1 more

Continue to review full report at Codecov.

Legend - Click here to learn more
Δ = absolute <relative> (impact), ø = not affected, ? = missing data
Powered by Codecov. Last update e67a223...de22982. Read the comment docs.

…ectly

kyuridenamida · 2019-01-02T02:00:05Z

テストが重いのでAGCに対してしか実行していませんが、検出状況はこんな感じです。
https://github.com/kyuridenamida/atcoder-tools/pull/54/files#diff-ff3e9b33f0682b2697a42e773baa07bf

kyuridenamida · 2019-01-02T02:02:31Z

あと、Jinja2は十分強力なので--replacementと--templateの２つを指定しなくなって使いやすくなる気がします。このPRにはその廃止は含まれていませんが。

tests/resources/test_atc_env/test_backup/agc029/A/main.cpp

asi1024 · 2019-01-02T12:39:11Z

@kyuridenamida コンフリクト解消して

kyuridenamida · 2019-01-02T12:41:15Z

@asi1024 わかったまって

kyuridenamida · 2019-01-02T12:45:41Z

した。あとは

formal_arguments -> parameters
actual_arguments -> arguments

にする作業をする

asi1024 · 2019-01-02T12:46:11Z

名前変えるのは別PRにしたほうがいいかも？

kyuridenamida · 2019-01-02T12:46:29Z

↑たしかに　ではこのPRでは行いません

atcodertools/constprediction/constants_prediction.py

atcodertools/models/problem_content.py

atcodertools/codegen/template_engine.py

Co-Authored-By: kyuridenamida <tyotyo3@gmail.com>

…o issue/53

…ndidates. Instead, show warning message when detecting multiple values returning None.

asi1024 · 2019-01-02T20:04:34Z

atcodertools/constprediction/constants_prediction.py

+    return None
+
+
+def predict_yes_no(html: str) -> Optional[Tuple[str, str]]:


型が実装と合ってなくないですか？

確かにOptional[Tuple[Optional[str], Optional[str]]]でしたね。うっかりしてました。
Noneに失敗の意味を持たせるのもあまり好きじゃないので、Optionalの代わりにエラー吐くようにしました。

なので型が

def predict_yes_no(html: str) -> Tuple[Optional[str], Optional[str]]:

になった。

yes_str が定義されているとき，その時に限り no_str が定義されているというのは保証してほしいです (型を Optional[Tuple[...]] にしてほしいというのはそういう意図でした)

解があるなら普通に出力、ないならImpossibleを出力するみたいな問題を想定した上で今の実装にしていました(no_strだけが存在するケース)。
ただ、その反対のパターンつまりyes_strだけが存在するケースってのは多分想像つかないので型としてはちょっと緩いですが実用上問題ないというつもりでいます。
どう思いますか?

No と Impossible を同じ no_str に入れるのは微妙な気がしますが，どうなんでしょう

ひとまずはこれでいっか

asi1024 · 2019-01-02T20:06:38Z

atcodertools/tools/templates/cpp/template_success.cpp

@@ -1,13 +1,16 @@
 #include <bits/stdc++.h>
 using namespace std;

-void solve(${formal_arguments}){
-
+{% if mod %}const long long MOD = {{ mod }};{% endif %}


この if は C でいう #ifdef 的なやつですよね． mod 自体は bool 値ではないので，わかりづらい気がします．

そうですね。pythonのif文と同じ挙動をします。てことはやっぱり明示的に mod is not Noneって書いたほうがいいですね

同じ挙動をするというのは嘘で、jinja2独自の動作をするが正しかったです。どちらにせよ none かどうかを明示的に判定したほうがよいのはそうっぽいのでそうします。

tests/test_constpred.py

asi1024 · 2019-01-03T09:05:13Z

{% if ... %} と {% endif %} はネストできますか？できるのならばテストにそういうケースを追加してほしいです．できないならサポートしてほしいです．

kyuridenamida · 2019-01-03T15:52:08Z

@asi1024 jinja2の機能としてはできるはずです。そのテストを追加しますね。

…s, not lines.

tests/resources/test_codegen/test_nested_embeddings_on_template/answer_x_none_y_2.txt

Add constants prediction logic (mod, yes/no) and its unittest

93567a6

kyuridenamida mentioned this pull request Jan 2, 2019

yes/noとかMODみたいな定数を問題文から抽出する #53

Closed

kyuridenamida requested a review from asi1024 January 2, 2019 01:44

Support Problem constants injection with new template engine Jinja2

90a9dc9

kyuridenamida force-pushed the issue/53 branch from ce96180 to 90a9dc9 Compare January 2, 2019 01:46

fix issue that some test is recognized as test due to its name incorr…

683e3f3

…ectly

asi1024 reviewed Jan 2, 2019

View reviewed changes

tests/resources/test_atc_env/test_backup/agc029/A/main.cpp Show resolved Hide resolved

kyuridenamida added this to the 1.0.5 milestone Jan 2, 2019

Merge branch 'master' into issue/53

52d6f3b

asi1024 reviewed Jan 2, 2019

View reviewed changes

asi1024 and others added 7 commits January 3, 2019 00:30

Update atcodertools/models/problem_content.py

164b6a6

Co-Authored-By: kyuridenamida <tyotyo3@gmail.com>

Update atcodertools/models/problem_content.py

f065a2b

Co-Authored-By: kyuridenamida <tyotyo3@gmail.com>

Update atcodertools/models/problem_content.py

edb6ca7

Co-Authored-By: kyuridenamida <tyotyo3@gmail.com>

Refactor the codes that were pointed out

008e79f

Merge branch 'issue/53' of github.com:kyuridenamida/atcoder-tools int…

225483a

…o issue/53

import Optional to fix compile error

3271b94

Remove strange heuristics to select one modulo value from multiple ca…

b74cc2e

…ndidates. Instead, show warning message when detecting multiple values returning None.

asi1024 reviewed Jan 2, 2019

View reviewed changes

asi1024 added the enhancement label Jan 2, 2019

kyuridenamida added 3 commits January 3, 2019 11:15

Raise prediction error instead of returning None and write unit tests

23b1c15

autopep

afb43f1

Fix templates

4a019b9

kyuridenamida added 5 commits January 4, 2019 01:26

fix bug that increases false-positive by splitting samples into token…

b544e2d

…s, not lines.

add unittest only_with_no_str

dc64040

add unittest with tricky yes/no string case (+ rename test)

034acba

add unit test test_nested_embeddings_on_template

6083a78

follow pep8

acd59b5

kyuridenamida self-assigned this Jan 3, 2019

Fix ugly typo in tests

de22982

kyuridenamida commented Jan 3, 2019

View reviewed changes

tests/resources/test_codegen/test_nested_embeddings_on_template/answer_x_none_y_2.txt Outdated Show resolved Hide resolved

asi1024 approved these changes Jan 4, 2019

View reviewed changes

asi1024 mentioned this pull request Jan 4, 2019

introduce postprocess config with exec_on_each_problem_dir / exec_on_contest_dir… #59

Merged

kyuridenamida merged commit 8a710a3 into master Jan 4, 2019

kyuridenamida deleted the issue/53 branch April 17, 2021 10:05

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Support Problem Constants Injection #54

Support Problem Constants Injection #54

kyuridenamida commented Jan 2, 2019 •

edited

Loading

codecov-io commented Jan 2, 2019 •

edited

Loading

kyuridenamida commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

asi1024 commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019 •

edited

Loading

asi1024 commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

asi1024 Jan 2, 2019

kyuridenamida Jan 3, 2019 •

edited

Loading

asi1024 Jan 3, 2019 •

edited

Loading

kyuridenamida Jan 3, 2019

asi1024 Jan 4, 2019

asi1024 Jan 4, 2019

asi1024 Jan 2, 2019

kyuridenamida Jan 3, 2019

kyuridenamida Jan 3, 2019

asi1024 commented Jan 3, 2019

kyuridenamida commented Jan 3, 2019

		return None


		def predict_yes_no(html: str) -> Optional[Tuple[str, str]]:

Support Problem Constants Injection #54

Support Problem Constants Injection #54

Conversation

kyuridenamida commented Jan 2, 2019 • edited Loading

codecov-io commented Jan 2, 2019 • edited Loading

Codecov Report

kyuridenamida commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

asi1024 commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019 • edited Loading

asi1024 commented Jan 2, 2019

kyuridenamida commented Jan 2, 2019

asi1024 Jan 2, 2019

Choose a reason for hiding this comment

kyuridenamida Jan 3, 2019 • edited Loading

Choose a reason for hiding this comment

asi1024 Jan 3, 2019 • edited Loading

Choose a reason for hiding this comment

kyuridenamida Jan 3, 2019

Choose a reason for hiding this comment

asi1024 Jan 4, 2019

Choose a reason for hiding this comment

asi1024 Jan 4, 2019

Choose a reason for hiding this comment

asi1024 Jan 2, 2019

Choose a reason for hiding this comment

kyuridenamida Jan 3, 2019

Choose a reason for hiding this comment

kyuridenamida Jan 3, 2019

Choose a reason for hiding this comment

asi1024 commented Jan 3, 2019

kyuridenamida commented Jan 3, 2019

kyuridenamida commented Jan 2, 2019 •

edited

Loading

codecov-io commented Jan 2, 2019 •

edited

Loading

kyuridenamida commented Jan 2, 2019 •

edited

Loading

kyuridenamida Jan 3, 2019 •

edited

Loading

asi1024 Jan 3, 2019 •

edited

Loading