[2023.10.1.beta-1] アップグレード以前にTLを遡れない

[fruitriin]

💡 Summary

世界5分前仮説

https://misskey.systems

10月3日21時43分ごろより前のノートを主要な導線で見ることができない

お気に入りやクリップからなら見ることができるので、データが消滅したわけではないらしい

🥰 Expected Behavior

アップデート前のノートも見ることができる

🤬 Actual Behavior

過去のノートを見ることができない

📝 Steps to Reproduce

1. TLを表示する

📌 Environment

💻 Frontend

• Model and OS of the device(s):
• Browser:
• Server URL:
• Misskey:
  13.x.x

🛰 Backend (for server admin)

• Installation Method or Hosting Service:
• Misskey: 2o23.10.1.beta1
• Node: v18.17.1　←古い！
• PostgreSQL: 15.x.x
• Redis: 7.x.x
• OS and Architecture: Ubuntus

[syuilo]

これは意図したものになります🙏

[fruitriin]

えっ

[syuilo]

TLがPush型に変更されたからPushされない限り表示されない

[fruitriin]

https://misskey.systems/@fruitriin
自分の投稿したノートも遡ることができない？

[syuilo]

そうね、それが特に重かったため

[syuilo]

今後投稿されていく分は遡り可能

[acid-chicken]

長期運用したらその方が重くならない？

[fruitriin]

🤯

[tkmrgit]

これ仕様ににゃったらあちこちで混乱起きるのでは

[fruitriin]

リアルタイムに今そのときにいるユーザーとのやりとりを楽しむ分にはよいのだけど、過去のノートを資産と捉えているユーザーが一定数いるので過去の投稿のマイグレーション手段がほしい

[CAT5NEKO]

タイムラインを遡って交流を楽しむっていう挙動を封じて、特定の投稿を探し当てて表示させるようにするっていう方法になってしまうと、SNSというよりも「検索データベース」になってしまうのではないでしょうか。😭
偶然の出会いが乏しいのは処理向上の期待を上回る懸念点であると思います。

[syuilo]

タイムラインを遡って交流を楽しむっていう挙動を封じて、特定の投稿を探し当てて表示させるようにするっていう方法になってしまう

どういうことかしら？
これから投稿されるものは遡りは可能

[syuilo]

以前から遡りできる範囲は限られている

[syuilo]

なのでマイグレーションしたとしてもマイグレーションされた投稿が遡れなくなるまでの数日〜数週間便利になるだけだからモチベーションとしては低いかも？

[CAT5NEKO]

POST型採用した以前にしか投稿してない方は探さないと全く表示されなくなる？

[tkmrgit]

以前から遡りできる範囲は限られている

そうかにゃ？もっと見る操作繰り返せば一番最初まで戻れたように思うけどにゃ？

[syuilo]

• 遡れる範囲に制限があるのは昔から(API的にもクライアントの負荷的にも)
• これから投稿されるものは従来通り遡り可能
• 今遡れる範囲にあるものをマイグレーションしたとしても結局しばらく経つとそれらの投稿は遡れなくなる(前述したように古い投稿は遡れなくなるのは昔からの仕様)から効果は少なそう

[VillSnow]

さかのぼれる範囲が限られていると言うのは具体的にどのような範囲ですか？

[tkmrgit]

[ノート]タブでは見える投稿が[全て]タブに出てこないのはバグ？ → #11960

[CAT5NEKO]

あるユーザーのより過去の投稿を遡って読みたい利用者が現れた時のために、プロフにTL読み込ませるボタン設けておいたらニーズに応えられるかも

[slofp]

横からですいません

遡れる範囲に制限があるのは昔から

notes/local-timelineなどは10日前までを取得するような制限がありましたがusers/notesの場合はそのような制限がないので実質過去すべての投稿が見れるようになっていました。

[tkmrgit]

notes/local-timelineなどは10日前までを取得するような制限がありましたがusers/notesの場合はそのような制限がないので実質過去すべての投稿が見れるようになっていました。

やっぱりそんな感じした。前に1年前くらいまで遡って見れた覚えがあったので

[kakkokari-gtyih]

users/notes などを遡れないのはキツい（ユーザーページの投稿は遡ることが多い）

[VillSnow]

横からですいません

遡れる範囲に制限があるのは昔から

notes/local-timelineなどは10日前までを取得するような制限がありましたがusers/notesの場合はそのような制限がないので実質過去すべての投稿が見れるようになっていました。

私の経験と一致しますね

[yuriha-chan]

そもそも、Redisに無限にたまっていくと容量的にきつくなりそうですし、事故でオンメモリデータベースが吹き飛んだときに大変になるので、Redis になかったらデータベースを見に行く実装がよさそうです。

[syuilo]

難しそう

[yuriha-chan]

#11976 こんな感じの実装でよいですかね…？
（実装というより、必要なところをrevertしただけですが）

[grarich]

push型のTLにすること自体はいいと思うけれど、新しくリモートサーバーの人をフォローするときに過去のTLが見れないので何を上げていたのかわからない。

#11958 (comment)
にもある通りユーザーのTLは遡れるように実装してあったほうが良さそう。
(実装が可能かどうかは不明)

[syuilo]

新しくリモートサーバーの人をフォローするときに過去のTLが見れないので何を上げていたのかわからない。

これって今まで見れていたっけ？

[grarich]

新しくリモートサーバーの人をフォローするときに過去のTLが見れないので何を上げていたのかわからない。

これって今まで見れていたっけ？

ローカルからリモート参照するのは見れません（subしていないので当たり前だと思っています。）
リモートで表示したときに見れるかどうかですね。
今まではリモートで表示から閲覧することで過去TLを参照できていましたが、push型に変更になったあとはピン留め以外が見れません。

[syuilo]

修正しました 🙏🏻

[grarich]

修正しました 🙏🏻

有難うございます🙏🏻🙏🏻🙏🏻

この修正でアップデート前のTLも全部見れたので意図した修正か確認するといいかもしれません。
また、ユーザーのハイライトの場所にも取得できているノートを表示してもらえたらTLを遡れない問題も解決されるような気がします。

[fruitriin]

みすてむず、プロフィールから過去のノートまでみれるようになった（beta-7の次まで入れた）

[grarich]

みすてむず、プロフィールから過去のノートまでみれるようになった（beta-7の次まで入れた）

これまた取れなくなったね。。

[ityuki]

ここにつなげても良いのかな……？

通常TL系が遡れないのは遡れるようにすると負荷増えるって話は聞いているのですが、ローカルタイムラインで生きてるようなサーバだと、ローカルTL消えるのは、かなりしんどいです。

各TLに対して、Redis になかったらデータベースを見に行く実装を管理者権限からオプションで出来るようにしてほしいです……

[syuilo]

PR募集中🙏

[syuilo]

ローカルTLの遡りできなくなるのは流速にもよるけど1日程度だからそんなに影響はなさそうな気がする

[ityuki]

のんびりLTLで話すタイプのインスタンスだと、１週間分ぐらい出てるのは普通なので、一時的にしろ消えてなくなるのは、しんどかったです

少人数インスタンスの方が影響範囲が大きそうな気はします

[ityuki]

ふと思ったのですが、流速あればローカルTLがほとんどredisに乗るのであれば、チェックボックスとか無しでも負荷はかかりにくいのでは……

[syuilo]

投稿が数億くらいになってくるとそれでも負荷は無視できなくなってくる

[ityuki]

表現悪くてすみません。

ローカルTL表示するのに、DBにアクセスしに行く処理って、規模の大きいサーバだとユーザが意図しない限り起きないのでは？（普段見る部分は全部redisにいるのでは？）　と思いました。

[syuilo]

たしかに

[ityuki]

規模の大きいサーバ
　→ 普段見える部分は全部redisに残るので、ユーザが意図しない限りDBにはアクセス行かない
規模の小さいサーバ
　→ 見たい部分はDBにいることも多いが、規模が小さいのでDBにアクセスしに行ってもたかがしれている

とすれば、特にチェックボックスとか無くて、「redisに無ければDBに読みに行く」を実装しても問題ないかなぁと思いました

[tai-cha]

これってリストTLは対応しない感じでしょうか？
そうなるとredisがリセットされた際や2023.9.3までからのアプデ後、相変わらずリストTLは遡れなくなるかなと思ったのですが

[syuilo]

リストに関しては今のところ対応予定ないわね

[tai-cha]

なるほど

[anatawa12]

STLどのような感じですか？パージが入ったことにより、新たにフォローしてリロードするとSTLからHTL成分が消えそうな気がするのですが

[syuilo]

修正しました 🙏🏻

[tetradice]

同じ問題にハマる人がいるかもしれないため、v2023.10.2で私が遭遇した問題をここでコメント・共有させていただきます。
（Issueとして上げたかったのですが、手順内にバージョンアップを含むことから、再現できるかどうかの確認が難しかったので……）

1. v2023.10.1にバージョンアップして、ソーシャルタイムラインに過去のノートが表示されなくなる
2. ノートを1つ以上新規投稿
3. v2023.10.2にバージョンアップする

という手順を踏むと、2)で投稿したノートのみしかソーシャルタイムラインに表示されず、過去のノートが表示されないままとなる現象が起きました。

暫定対応として、redis-cliコマンドからauth→flushallでredis内のデータを全削除することで、再びソーシャルタイムラインに過去のノートが表示されるようになりました。
※ただしこれにより、過去のプッシュ通知の履歴はすべて削除されてしまうようです

[tai-cha]

アンテナや通知を残しながらTLのキャッシュを消したい場合に

redis-cli KEYS "list:homeTimeline*" | xargs redis-cli DEL
redis-cli KEYS "list:localTimeline*" | xargs redis-cli DEL

みたいな方法は使えるかもしれないです（手元できちんと動かしてはいないですが）