This is the repository for "千问LLM"

欢迎大家关注！并且提需要分享的内容，我这边准备。

不更新到千问 绝不罢休！

千问LLM之一：Batch输入训练或者推理为何需要padding？

千问LLM之二：LLM tokenizer 是怎么做的？

千问LLM之三：LLM Embedding是怎么做的？

千问LLM之四：LLM Transformer 架构：Encoder

千问LLM之五：LLM Transformer 架构：Decoder

千问LLM之六：LLM 生成式 GPT

千问LLM之七：LLM 之 BERT

千问LLM之八：LLM 之 AutoRegressive and MLM

千问LLM之九：LLM 之 幻觉 hallucination

千问LLM之十：Transformer 解决了RNN的哪些问题？

千问LLM之十一：LLM之什么是 Diffusion Model 扩散模型？

千问LLM之十二：什么是梯度爆炸？

千问LLM之十三：Sequence 2 Sequence 模型和Transformer模型有什么根本差别？

千问LLM之十四：什么是LoRA

千问LLM之十五：什么是QLoRA？

千问LLM之十六：开源模型文件里面通常包含哪些内容？可以逆向推出模型的训练脚本吗？

千问LLM之十七：什么是 word2vector ?

千问LLM之十八：何谓损失函数？如何设计损失函数？LLM 损失函数长啥样？

千问LLM之十九：为啥GPT-4 Tokenize 中文的某些词语为 UNK 但是它的中文输出却感觉挺好的？

千问LLM之二十：什么是CNN卷积模型？

千问LLM之二十一：什么是MultiModal多模态模型？

千问LLM之二十二：到底谁才是LLM训练的真正幕后英雄？

千问LLM之二十三：自动微分：让梯度跳起优雅的广场舞

千问LLM之二十四：什么是UNET？

千问LLM之二十五：你猜AI界的“破案”扛把子会是谁？

千千问LLM之二十六：“破案”扛把子是如何训练出来的？从所犯的错误中学习。

千问LLM之二十七：三大AI助手的“奇葩说”：ChatGPT、KiMi和Claude的对决

千问LLM之二十八：什么是Batch Normalization？什么又是Layer Normalization？

千问LLM之二十九：什么是Pre-LayerNorm 和 Post-LayerNorm ？