怎么让llm学会很大的pdf文档呢

[flowermlh]

llama基于知识问答时，能够携带的上下文token数量有限，怎么让llama学会并记住整个文档的内容呢。
现在langchain也是把文档分片，llama只是把跟问题相关的知识放到上下文作为背景。
这种只能回答很简单的很局部的小问题。怎么让llm学习整个文档呢。求各位大佬交流讨论。

---

Admin Note: Transferred and edited from issue #445

[ymcui]

所以你的文档有多大呢（以token计）？
大多数问题实际上并不需要把整个文档作为上下文送入LLM，因此切片是简单可行的办法。
你可以考虑使用我们的16K模型，这样每个切片大小就会相比原始的模型（4K）大很多。

[flowermlh]

比如从一篇小说里面，提取故事主线。如果是人去总结，是不断翻阅、整理、总结，或者凭借记忆去总结。
现在llm类模型是不是还做不到这种场景呀?