Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

西瓜书待推导或待解析公式征集 #1

Closed
Sm1les opened this issue Dec 28, 2018 · 126 comments
Closed

西瓜书待推导或待解析公式征集 #1

Sm1les opened this issue Dec 28, 2018 · 126 comments
Assignees
Labels
help wanted Extra attention is needed

Comments

@Sm1les
Copy link
Contributor

Sm1les commented Dec 28, 2018

请评论留下西瓜书需要补充推导细节或者需要解析的公式编号,我们看到后会尽快进行补充。

@Sm1les Sm1les added the wontfix This will not be worked on label Dec 28, 2018
@Sm1les Sm1les added help wanted Extra attention is needed and removed wontfix This will not be worked on labels Mar 5, 2019
@Sm1les Sm1les self-assigned this Mar 5, 2019
@Sm1les Sm1les changed the title 第3章待解析或待推导公式征集 西瓜书待推导或待解析公式征集 Mar 5, 2019
@eeechoo
Copy link

eeechoo commented Mar 11, 2019

第一章的 no free lunch theory

这是我读书时遇见的第一个,感觉对我来说也是比较难的数学公式推导。

我还记得旁边有个注释说 如果你看不懂这个公式,就不用看这本书了,Σ( ° △ °|||)︴

非常感谢

@Sm1les Sm1les closed this as completed Mar 11, 2019
@Sm1les Sm1les reopened this Mar 11, 2019
@Sm1les
Copy link
Contributor Author

Sm1les commented Mar 11, 2019

第一章的 no free lunch theory

这是我读书时遇见的第一个,感觉对我来说也是比较难的数学公式推导。

我还记得旁边有个注释说 如果你看不懂这个公式,就不用看这本书了,Σ( ° △ °|||)︴

非常感谢

好的,我们尽快补充上。

@Sm1les
Copy link
Contributor Author

Sm1les commented Mar 12, 2019

@eeechoo 你好,公式1.2的解析已经补充好了,顺便说一下,西瓜书前两章的公式能看懂最好,看不懂也没关系,不会是你像说的“如果你看不懂这个公式,就不用看这本书了”那样夸张,看完第三章以及后续章节讲的各种模型以后再回过头看前两章会容易很多,同时也会理解得更深刻,个人愚见,仅供参考 :)

@eeechoo
Copy link

eeechoo commented Mar 19, 2019

@Sm1les 非常感谢,确实是这样的。后面很多模型思想还是很简单的(很多基于常识和高中数学),思想简单,为了解决一个一个问题逐渐复杂化(例如SVM,为了解决异或问题引入核函数)。大家不要被我误导,其实看不懂的时候跳着看也有很多收获(手动斜眼笑)。
again, thank you for your work @Sm1les

@mxl1990
Copy link

mxl1990 commented Apr 4, 2019

公式3.40的推导St = Sb + Sw是怎么的得到之后的3.40中表示的式子的,xi和miu,m这几个变量都表意不明

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 4, 2019

@mxl1990 同学你好,式3.40、3.41、3.42都是定义来的,西瓜书上对每个变量都有作说明,唯独式3.43是需要推导的,我刚刚已经将式3.43的推导过程添加进南瓜书了,您可以查阅一下,如果还有疑问可以继续反馈 :)

@songbo0925
Copy link

你好,公式6.34那个括号里面为什么不应该是max(0, 2 - yi(w^Txi + b)),从上文看z =yi(w^Txi + b)-1,所以1-z应该等于2 - yi(w^Txi + b)呀?

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 6, 2019

@soNGBoO 同学你好,你所说的上文应该是式6.29和6.30吧,式6.29和6.30中所说的z和式6.31中所说的z并不是完全相同的z,但是都指代的是损失的决策边界(我自己诌的哈),在式6.29和6.30中考察的是z是否大于0,而在式6.31中考察的是z是否大于1,所以是不能把式6.29和6.30中的z直接搬到式6.31中的,再结合前文SVM的建模思路应该不难理解式6.34中的后半部分,个人愚见,仅供参考 :) ps:如果还是不能理解的话欢迎关注Datawhale公众号(直接搜“Datawhale”),点击公众号菜单栏中的“加入学习---学习社群”加入学习群,群里面有很多很有爱很能干的同学会为你解答。

@songbo0925
Copy link

@Sm1les 非常感谢

@jbb0523
Copy link

jbb0523 commented Apr 8, 2019

《机器学习(西瓜书)注解》百度网盘链接: https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w (目前已有第3-4,6-11,13章共九章的内容),建议这里重点攻克后三章(第14-16章)内容

@shaoyuhlq
Copy link

公式3.44怎么来的?能不能解释一下

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 9, 2019

@jbb0523 好的,感谢前辈的建议,我们这边已经有在推进所有未完成章节的推导,前辈写的注解相当详细,不知是否愿意合作一起完善南瓜书,我的邮箱:sm1les@qq.com,期待您的回复 :)

@wizcheu
Copy link

wizcheu commented Apr 9, 2019

啥时候把12章的公式都上一上,虽然会比较硬核😂

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 9, 2019

@wizcheu 同学你好,我们已经有专人在跟进这一章了,我们会尽快更新上来,请保持关注 :)

@wizcheu
Copy link

wizcheu commented Apr 9, 2019

@Sm1les 好的,谢谢哈~

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 9, 2019

@shaoyuhlq 好的,我们尽快将其补充进去 :)

@jbb0523
Copy link

jbb0523 commented Apr 9, 2019

@jbb0523 好的,感谢前辈的建议,我们这边已经有在推进所有未完成章节的推导,前辈写的注解相当详细,不知是否愿意合作一起完善南瓜书,我的邮箱:sm1les@qq.com,期待您的回复 :)

我也是初入机器学习,入门中。后面我还会推一下其余几章,目前打算先2/5/12吧,最后三章再看时间吧,但我不太会用github,感觉大家尽量利用好有限的精力,已经推出来的可以让会github的编辑放到这里来~
现在深度学习大火,建议另弄一个开源,把goodfellow等人写的“深度学习”推一遍~

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 9, 2019

@jbb0523 好的,您方便留一下联系方式吗?不想公开可以发我邮箱,我想和您进一步交流一下可以吗?:)

@jbb0523
Copy link

jbb0523 commented Apr 9, 2019

@jbb0523 好的,您方便留一下联系方式吗?不想公开可以发我邮箱,我想和您进一步交流一下可以吗?:)

就是我的名字AT163.com~

@Sm1les
Copy link
Contributor Author

Sm1les commented Apr 10, 2019

@shaoyuhlq 同学你好,式3.44的解析已经更新上去了,请查阅 :)

@SiyingLiang
Copy link

10.11 对矩阵的计算不太懂,谢谢

@Ggmatch
Copy link
Contributor

Ggmatch commented Apr 23, 2019

@SiyingLiang 10.11公式其实是利用对角矩阵的特殊性(可以把一个对角矩阵拆成两个其开方后的对角矩阵的乘法形式),使B=V(^1/2^1/2)VT=(^1/2VT)T(^1/2VT)=ZTZ。所以Z=^1/2VT。即10.11。

@SiyingLiang
Copy link

SiyingLiang commented Apr 23, 2019 via email

@Fusaiji
Copy link

Fusaiji commented Jun 22, 2019

@Sm1les 收到啦,谢谢

@Sm1les
Copy link
Contributor Author

Sm1les commented Jun 22, 2019

@Fussiji 同学你好,公式9.33倒数第二行令其等于0以后两边乘上一个sigma_i就可以得到最后一行,我已经将这一恒等变形过程补充上去了,你查阅一下。

@Fusaiji
Copy link

Fusaiji commented Jun 23, 2019 via email

@Fusaiji
Copy link

Fusaiji commented Jun 23, 2019

请问(10.14)和(10.17)公式推导的证明中,涉及到了矩阵向迹转化的情形,请问是用的什么公式转化的呢

@Ggmatch
Copy link
Contributor

Ggmatch commented Jun 23, 2019

请问(10.14)和(10.17)公式推导的证明中,涉及到了矩阵向迹转化的情形,请问是用的什么公式转化的呢

没有特定的公式,我一般都是先判断该项最终结果是不是为一个常数,如果是,转换为矩阵乘法的话(最终结果为矩阵),就必然会涉及到迹。其次,有一个累和情形(有x_i*x_i^T)下,通常是转换为tr(XX^T)的。

@Fusaiji
Copy link

Fusaiji commented Jun 23, 2019

请问(10.17)是怎么向(10.19)转化的呢

@Ggmatch
Copy link
Contributor

Ggmatch commented Jun 23, 2019

请问(10.17)是怎么向(10.19)转化的呢

10.19与10.17形式上是保持一致的,只不过此时样本点不再是原来低维的xi,而是通过核技巧升维后的样本点zi。

@Fusaiji
Copy link

Fusaiji commented Jun 23, 2019 via email

@Ggmatch
Copy link
Contributor

Ggmatch commented Jun 28, 2019

请问,2.4中错误率的求法中为啥会有累乘符号?f(xi)!=yi是不是应该映射为1,代表两者不相等?

@hyperlyz
Copy link

hyperlyz commented Jun 28, 2019 via email

@Ggmatch
Copy link
Contributor

Ggmatch commented Jun 28, 2019

那是累加。。,可以参考下旁边说明

---原始邮件--- 发件人: "Ggmatch"notifications@github.com 发送时间: 2019年6月28日 21:29:13 收件人: "datawhalechina/pumpkin-book"pumpkin-book@noreply.github.com; 抄送: "LinusRobot"724171951@qq.com;"Mention"mention@noreply.github.com; 主题: Re: [datawhalechina/pumpkin-book] 西瓜书待推导或待解析公式征集 (#1) 请问,2.4中错误率的求法中为啥会有累乘符号?f(xi)!=yi是不是应该映射为1,代表两者不相等? — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

我说的是累和里面的那个符号,两个||

@Sm1les
Copy link
Contributor Author

Sm1les commented Jun 28, 2019

@Ggmatch 那是指示函数,西瓜书在第1章的公式1.1那里就有进行交代。

@Ggmatch
Copy link
Contributor

Ggmatch commented Jun 28, 2019

@Ggmatch 那是指示函数,西瓜书在第1章的公式1.1那里就有进行交代。

噢噢,这就是我想问的,谢谢。

@Fusaiji
Copy link

Fusaiji commented Jul 3, 2019

请问关于公式(11.19)的公式推导中,公式变形是怎么得来的,谢谢

@Fusaiji
Copy link

Fusaiji commented Jul 3, 2019

式(11.24)中的矩阵是不是就是A矩阵,只是将表11.1中的“?“换成了0构成的矩阵呢

@feijuan
Copy link
Contributor

feijuan commented Jul 3, 2019

请问关于公式(11.19)的公式推导中,公式变形是怎么得来的,谢谢

式(11.24)中的矩阵是不是就是A矩阵,只是将表11.1中的“?“换成了0构成的矩阵呢

你可以认为X是个大矩阵,A是观测到的部分矩阵,维度可小于等于X,未观测到的元素位置用0填充,然后通过添加一些约束,补全整个矩阵

@feijuan
Copy link
Contributor

feijuan commented Jul 3, 2019

请问关于公式(11.19)的公式推导中,公式变形是怎么得来的,谢谢

你说的是11.9的公式变形吗?

@Fusaiji
Copy link

Fusaiji commented Jul 3, 2019

@feijuan

请问关于公式(11.19)的公式推导中,公式变形是怎么得来的,谢谢

你说的是11.9的公式变形吗?

对的,不好意思打错啦

@feijuan
Copy link
Contributor

feijuan commented Jul 4, 2019

@feijuan

请问关于公式(11.19)的公式推导中,公式变形是怎么得来的,谢谢

你说的是11.9的公式变形吗?

对的,不好意思打错啦

这个是按照L-Lipschitz条件定义来的,然后进行了个不等式变换,你说的公式变形指的哪儿?

@Ggmatch
Copy link
Contributor

Ggmatch commented Jul 10, 2019

请问下,式3.27为关于beta的高阶可导连续凸函数,有什么简易的数学定理可以判断这一点吗?

@Sm1les
Copy link
Contributor Author

Sm1les commented Jul 10, 2019

@Ggmatch 有,根据多元函数的二阶导数,也就是Hessian矩阵的正定性来判定凹凸性,书上的式3.31就给出了式3.27关于beta的二阶导数(Hessian矩阵),所以直接判断式3.31的正定性即可判断出式3.27的凹凸性。

@Fusaiji
Copy link

Fusaiji commented Jul 10, 2019

您好,请问第十二章(12.24)的证明中,H|D'中的串会在H|D中出现一次或两次是什么意思,以及为什么H(D|D')中的串在H|D‘中仅出现了一次,能否举例说明一下,谢谢

@Nono17
Copy link
Contributor

Nono17 commented Jul 18, 2019

您好,请问第十二章(12.24)的证明中,H|D'中的串会在H|D中出现一次或两次是什么意思,以及为什么H(D|D')中的串在H|D‘中仅出现了一次,能否举例说明一下,谢谢

@Fussiji 请问下你想要我们举啥例子,这是个条件,从这推导后面的概念

@Fusaiji
Copy link

Fusaiji commented Jul 19, 2019

@Nono17 您好,我知道是从这推导的后面的概念,我只是不知道如何理解”H|D'中的串会在H|D中出现一次或两次“以及”H(D|D')中的串在H|D‘中仅出现了一次“这两句话的意思

@Fusaiji
Copy link

Fusaiji commented Jul 24, 2019

image
红色圈出来的bu'fe部分,r的下标为什么时t+1,而不是t+2

@Fusaiji
Copy link

Fusaiji commented Jul 24, 2019

请问(16.36)的推导中,VΠ(x)=r+γVΠ(x')是怎么得来的

@Fusaiji
Copy link

Fusaiji commented Jul 24, 2019

@MrBigFan
image
您好,蓝色圈出来的才是r1吧,后面不应该从r2算起嘛

@MrBigFan
Copy link
Contributor

请问(16.36)的推导中,VΠ(x)=r+γVΠ(x')是怎么得来的

这是时序差分公式,用下一状态的r+γVΠ(x')来近似表示VΠ(x),同学你可以查一下时序差分算法,并与蒙特卡罗方法进行比较。

@Sm1les Sm1les closed this as completed Aug 11, 2019
@MrBigFan
Copy link
Contributor

@MrBigFan

您好,蓝色圈出来的才是r1吧,后面不应该从r2算起嘛

同学您好,需要和你纠正一下,第四行最后一个求和还是从t = 0 开始,因为和上一行条件不同,x0 = x‘,蓝色框部分是状态x转换到x’的奖赏,并不是r1,后面才是按照r折扣迭代式展开。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
help wanted Extra attention is needed
Projects
None yet
Development

No branches or pull requests