Feature/exclusion url okodayon #123
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
gatherCandidates内で行われていた不要なfor文を削除。それに伴いfor分の削除と、postかgetの条件式を変更。
fullscan語にmessageがIssueを空にし、candidateが埋まっているsitemapをダウンロードできます。それをImportしてQuickScanをすることにより、2回目以降にgatherをせずにstoredを見つけることができる。
hrefなどタグ内のURLは今まで元のURLにくっつけて送信するだけだったが、そこにランダムなcsrfトークンなどが含まれた場合に、無限ループに陥る可能性がある。そこで、applyDataと関連付けることにより、applyDataに入力された値をQueryに入れるようになり、ランダムなcsrfトークンなどによる無限ループを回避できる。
除外したいURLを入力できるように。除外したいURLと見つけたURLの比較には、Parseした後の、pathの文字列比較を行っています。
exclusionと書かれていた場所をexclusiveに変更
今までリセットが行われなかったため、二回目以降にも除外URLが引き継がれてしまった。また、毎回Parseしていたが、一回やれば十分なのでcontrollerで受け取った時にParseするように。
y0d3n
reviewed
Dec 1, 2021
| } | ||
| fmt.Println("QuickScan : ", scanner.QuickScan) |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
概要
isSameOriginの関数名の変更を行いました。Pathの部分で行っています。関連するIssue
#118 #74
変更点
isSameOrigin→shouldCrawlに名前が変更になりました。shouldCrawl関数内で、除外したいURLと次にアクセスするURLのPathの部分を比較しています。falseを返すようにしています。チェック項目
再現手順
crawl画面で除外したいURLを入力し、crawlを行ってください。