センシティブワードを正規表現、CWにも適用するように

[nenohi]

What

CWにてセンシティブワードが含まれていた場合にホーム投稿とします。
また、センシティブワードを正規表現で指定できるようにしました。

Why

注釈を悪用するユーザーが懸念されるため

Additional info (optional)

ローカルにてテスト済み

Checklist

• Read the contribution guide
• Test working in a local environment
• (If needed) Add story of storybook
• (If needed) Update CHANGELOG.md
• (If possible) Add tests

[codecov]

Codecov Report

Merging #10688 (5ecf9d3) into develop (1f9f63d) will increase coverage by 0.94%.
The diff coverage is n/a.

@@             Coverage Diff             @@
##           develop   #10688      +/-   ##
===========================================
+ Coverage    77.37%   78.31%   +0.94%     
===========================================
  Files          899      168     -731     
  Lines        89419    21023   -68396     
  Branches      6532      375    -6157     
===========================================
- Hits         69184    16465   -52719     
+ Misses       20235     4558   -15677     

see 741 files with indirect coverage changes

[nenohi]

ちょっと正規表現のテストもしたい

[nenohi]

正規表現めんどくさいかも、とりあえずこれでよさそう
（うんこがセンシティブワードに登録されている場合下記）

[nenohi]

/test/gにも対応したい

[nenohi]

対応した

[nenohi]

なんかテスト通らなくなったかも？

[nenohi]

#10701 これもクローズできるかも？（問題なければ

[syuilo]

正規表現要る？

[u1-liquid]

少なくともワードバウンダリ（\b）はほしいかも

[acid-chicken]

まんま ReDoS になりそう

[nenohi]

ReDOSのこと考えてなかったかも

[nenohi]

正規表現使うかどうかオプションにする？

[nenohi]

これにすれば/test/系のみが正規表現になって良さそう？

[nenohi]

正規表現要る？

１つの単語じゃなく、２つの単語が含まれていた場合とかで必要かも

[yuriha-chan]

CWで隠された内容がセンシティブであるのにも関わらず、それ以外の理由でCWにしているという誤解を与えるような投稿をしていることを懸念しているのであれば、「（※この投稿はセンシティブな語句を含んでいます）」などの文言を注釈に自動で挿入すれば事足りると思われるのですがどうでしょうか。

[nenohi]

CWに関して懸念しているものはCWを付けているにも関わらず注釈にてセンシティブな語句が含まれていた場合にホームに投稿されないという事象があります。
これはバグに値すると思っています

[yuriha-chan]

なるほど理解しました。
ありがとうございます。

[acid-chicken]

#10715 で調査した結果 RE2 であってもリストが大きいとめちゃくちゃ遅くなることがわかったので正規表現やりたくなさゲージが上昇した

[acid-chicken]

というかよく考えたら misc/check-word-mute と共通化してよくね

[nenohi]

たしかに

[nenohi]

これ型が違うからマイグレーションが必要かも？
ワードミュート→jsonb
センシティブワード→varchar

[acid-chicken]

というかよく考えたら misc/check-word-mute と共通化してよくね

センシティブワードの場合、CWにセンシティブのものが入っておらず

textにセンシティブワードが入っていた場合はスルーにするべきだと思うので

共通化と言うよりは抜き出しのほうがいい感じしそう

について

センシティブワードの場合、CWにセンシティブのものが入っておらず

textにセンシティブワードが入っていた場合はスルーにするべきだと思うので

が理由になっているのがよく分からない

[nenohi]

というかよく考えたら misc/check-word-mute と共通化してよくね

センシティブワードの場合、CWにセンシティブのものが入っておらず
textにセンシティブワードが入っていた場合はスルーにするべきだと思うので
共通化と言うよりは抜き出しのほうがいい感じしそう

センシティブワードの場合、CWにセンシティブのものが入っておらず
textにセンシティブワードが入っていた場合はスルーにするべきだと思うので

共通化した場合、センシティブワードに含まれているものでCWにしているものでも
強制的にホームになってしまって理不尽を感じるのでは？ということです

[nenohi]

センシティブワードに含まれていてもCWを使用して注意を促すような場合はOKにしたいというお気持ち

[acid-chicken]

string を引数に取っているに過ぎない（note を表すオブジェクトを取っていない）ので呼び出し元で如何様にもできるのでは？

[acid-chicken]

仮にそうなっていなかったとしてもそうなるようにリファクタすれば良い

[nenohi]

note取るか

[nenohi]

noteからにした

[syuilo]

👍🏻

[acid-chicken]

引数が変わっただけで共通化はされてなくないか

misskey/packages/backend/src/core/NoteCreateService.ts

Lines 676 to 699 in 11ea1a2

	@bindThis
	private isSensitive(note: Option, sensitiveWord: string[]): boolean {
	if (sensitiveWord.length > 0) {
	const text = note.cw ?? note.text ?? '';
	if (text === '') return false;
	const matched = sensitiveWord.some(filter => {
	// represents RegExp
	const regexp = filter.match(/^\/(.+)\/(.*)$/);
	// This should never happen due to input sanitisation.
	if (!regexp) {
	const words = filter.split(' ');
	return words.every(keyword => text.includes(keyword));
	}
	try {
	return new RE2(regexp[1], regexp[2]).test(text);
	} catch (err) {
	// This should never happen due to input sanitisation.
	return false;
	}
	});
	if (matched) return true;
	}
	return false;
	}

misskey/packages/backend/src/misc/check-word-mute.ts

Lines 18 to 65 in 11ea1a2

	export async function checkWordMute(note: NoteLike, me: UserLike | null | undefined, mutedWords: Array<string | string[]>): Promise<boolean> {
	// 自分自身
	if (me && (note.userId === me.id)) return false;
	if (mutedWords.length > 0) {
	const text = ((note.cw ?? '') + '\n' + (note.text ?? '')).trim();
	if (text === '') return false;
	const acable = mutedWords.filter(filter => Array.isArray(filter) && filter.length === 1).map(filter => filter[0]).sort();
	const unacable = mutedWords.filter(filter => !Array.isArray(filter) || filter.length !== 1);
	const acCacheKey = acable.join('\n');
	const ac = acCache.get(acCacheKey) ?? AhoCorasick.withPatterns(acable);
	acCache.delete(acCacheKey);
	for (const obsoleteKeys of acCache.keys()) {
	if (acCache.size > 1000) {
	acCache.delete(obsoleteKeys);
	}
	}
	acCache.set(acCacheKey, ac);
	if (ac.isMatch(text)) {
	return true;
	}
	const matched = unacable.some(filter => {
	if (Array.isArray(filter)) {
	return filter.every(keyword => text.includes(keyword));
	} else {
	// represents RegExp
	const regexp = filter.match(/^\/(.+)\/(.*)$/);
	// This should never happen due to input sanitisation.
	if (!regexp) return false;
	try {
	return new RE2(regexp[1], regexp[2]).test(text);
	} catch (err) {
	// This should never happen due to input sanitisation.
	return false;
	}
	}
	});
	if (matched) return true;
	}
	return false;
	}

このロジックが別々に存在しているのが嫌

[nenohi]

共通化するにも型が別々なので難しいのでは・・・？

ワードミュート→jsonb
センシティブワード→varchar

[acid-chicken]

なぜ DB の型が出てくるのか分からないが

JSの力を使えばそんなに難しくはない

[nenohi]

こういう感じ・・・？
https://github.com/nenohi/misskey/tree/fix-regsensitive

[acid-chicken]

こういう感じ・・・？ https://github.com/nenohi/misskey/tree/fix-regsensitive

概ねそうだけど正規表現の判定を最初にやる必要がある→正規表現ならそのまま、違うなら配列に包む

[acid-chicken]

ただこれはミュート側の方を変更する余地大有りかも

[nenohi]

ミュート側はuserId: Note['userId'];が必須でセンシティブワード側にはないからという認識でいい？

[acid-chicken]

ミュート側はuserId: Note['userId'];が必須でセンシティブワード側にはないからという認識でいい？

いや単純に (string | string)[] という引数がインターフェースとして意味がわからないため（配列なら文字そのまま、そうでないなら正規表現、などといった仕様になっていることを型から推察するのは困難すぎる）