李宏毅深度学习教程LeeDL-Tutorial

李宏毅老师是台湾大学的教授，其《机器学习》（2021年春）是深度学习领域经典的中文视频之一。李老师幽默风趣的授课风格深受大家喜爱，让晦涩难懂的深度学习理论变得轻松易懂，他会通过很多动漫相关的有趣例子来讲解深度学习理论。李老师的课程内容很全面，覆盖了到深度学习必须掌握的常见理论，能让学生对于深度学习的绝大多数领域都有一定了解，从而可以进一步选择想要深入的方向进行学习，对于想入门深度学习又想看中文讲解的同学是非常推荐的

本教程主要内容源于《机器学习》（2021年春），并在其基础上进行了一定的原创。比如，为了尽可能地降低阅读门槛，笔者对这门公开课的精华内容进行选取并优化，对所涉及的公式都给出详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者较为轻松地入门。此外，为了丰富内容，笔者在教程中选取了《机器学习》（2017年春） 的部分内容，并补充了不少除这门公开课之外的深度学习相关知识。

注：

• 基于《机器学习》（2017年春）的李宏毅机器学习笔记在线阅读地址：https://datawhalechina.github.io/leedl-tutorial/#/

• 基于《机器学习》（2017年春）的李宏毅机器学习笔记源文件：https://github.com/datawhalechina/leedl-tutorial/tree/pre_master

最新版PDF下载

地址：https://github.com/datawhalechina/leedl-tutorial/releases

国内地址(推荐国内读者使用)：https://pan.baidu.com/s/14vaVeAVZrWsqQcMYIgN9Nw 提取码: ynuf

内容介绍

• 引言 @王琦

• 深度学习 @王琦

  • 局部最小值与鞍点
  • 训练技巧
  • 自适应学习率
  • 分类问题损失函数
  • 归一化

• 卷积神经网络和自注意力机制 @王琦

  • 卷积神经网络
  • 自注意力机制

• 循环神经网络 @王琦

• Transformer @王琦

  • Transformer

• 生成模型 @杨毅远

  • 生成对抗网络基础
  • 生成对抗网络理论与 Wasserstein 生成对抗网络
  • 生成对抗网络的评估与有条件的生成对抗网络
  • 循环生成对抗网络

• 自监督学习 @王琦

  • 芝麻街的模型
  • BERT
  • GPT-3

• 自动编码器概念及其应用 @江季

• 对抗攻击 @杨毅远

  • 对抗攻击基本概念
  • 对抗攻击的攻击与防守

• 可解释人工智能 @杨毅远

• 迁移学习 @王琦

  • 领域自适应
  • 领域对抗训练

• 深度强化学习 @王琦

  • 深度强化学习基础
  • 策略梯度
  • 演员-评论员算法
  • 稀疏奖励
  • 模仿学习

• 终身学习 @杨毅远

  • 灾难性遗忘
  • 缓解灾难性遗忘

• 网络压缩 @王琦

  • 剪枝与彩票假设
  • 知识蒸馏

• 集成学习 @王琦

• 元学习 @杨毅远

配套代码

点击或者网页点击Homework文件夹进入配套代码

贡献者

Qi Wang 上海交通大学博士生 中国科学院大学硕士

Yiyuan Yang 牛津大学博士生 清华大学硕士

John Jim 北京大学硕士

引用信息

@misc{wang2023leedltutorial,
title = {李宏毅深度学习教程},
year = {2023},
author = {王琦，杨毅远，江季},
url = {https://github.com/datawhalechina/leedl-tutorial}
}

@misc{wang2023leedltutorialen,
title = {Deep Learning Tutorial by Hung-yi Lee},
year = {2023},
author = {Qi Wang，Yiyuan Yang，Ji Jiang},
url = {https://github.com/datawhalechina/leedl-tutorial}
}

致谢

特别感谢 @Sm1les、@LSGOMYP 对本项目的帮助与支持。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。