【第8章集成学习】待推导或待解析公式征集+答疑专区 about pumpkin-book

[feng-1985]

从(8.28)过渡到(8.31)

[Ye980226]

从(8.28)过渡到(8.31)

同学您好，(8.29)的式子减去(8.30)的的式子，是等于(h_i(x)-H(x))^2的，也就能得到(8.31)的式子，可以类比回归中的TSS,ESS,RSS（Total,Explain,Residual）

[johnmaster]

@Sm1les （8.15）十分感谢！^_^

[Sm1les]

@johnmaster 同学你好，（8.15）是一个定义式来的，对于这种定义式通常只需知道就好，可以不必深究，你是希望我们补充哪方面的内容呢？

[johnmaster]

懂了，我自己看了一会，就看明白了。不好意思，打扰你了！不过十分感谢你的回复！

[ChineseTaoist]

8.12中为什么f2(x) = ht2(x) = 1啊，怎么推出8.13的啊

[johnmaster]

@ChineseTaoist 这俩的值都属于{-1，+1}。

[superraincc]

还是不太理解（8.31），为什么只有一半的加权，可以麻烦写一下过程吗

[Ye980226]

@superraincc 其实是都有加权的，只是后面那一项是一个常数，\sum_{i=0}^T wi*E(H|x)=E(H|x)

[superraincc]

@superraincc 其实是都有加权的，只是后面那一项是一个常数，\sum_{i=0}^T wi*E(H|x)=E(H|x)

啊明白了，谢谢！

[mxl1990]

还是不明白，式8.29与8.30相减，a^2-b^2不是=(a-b)(a+b)，也就是(H(x)-hi(x))(2f(x)-hi(x)-H(x))吗，跟8.31的形式还是不同吧

[demolpc]

我认为对l_{exp}(H|D)的解释不对，这个式子就是对x的分布求期望，结果应该是不包含x的。只不过它的最小化可以通过对x逐点最小化来达到。
ps：我认为书中有的地方就是不太严谨，没必要强行去解释。

[Ye980226]

@mxl1990 同学你好，最近比较忙，不好意思，你看下这个能理解不

[Ye980226]

@demolpc 同学，我觉得这里含了x只是中间的计算式，并不是最终结果

[demolpc]

@Ye980226 对啊，求期望后l_{exp}(H|D)是一个和x无关的值，但是网页中l_{exp}(H|D)得到的却是和一个具体的x有关。

[mxl1990]

@mxl1990 同学你好，最近比较忙，不好意思，你看下这个能理解不

ok，辛苦啦，我已经看懂了，还要加上条件\[H(x) = \sum\limits_{i = 1}^T {{w_i}{h_i}(x)} \]以及
\[\sum\limits_{i = 1}^T {{w_i}} = 1\]

[Ye980226]

@demolpc 是的，如果H(x),f(x)都确定的话，应该是个确定的式子，但是这里H(x)相当于自变量了，并不确定，所以它后面是对H(x)求了偏导

为什么8.12式求期望时ht没有加权重系数呢αt？

[Ye980226]

@HAI-U 同学，来迟了，抱歉￣□￣｜｜你可以8.12上面说了一句话，理想的h_t可以纠正H_{t-1}的全部错误，所以不加权重系数。我认为如果权重系数α_t不随着x的变化而变化是个常数的话，对8.14的式子没有影响。

[yanglei-github]

关于8.5，期望求解应该要对x求和吧，感觉第二个等式少了求和符号，但是如果有求和符号，后面对H求导结果就多了一个求和符号？

[Ye980226]

@yanglei-github 事件{f(x)=1}和{f(x)=-1}已经是完备事件组了，求期望是 权重（概率）*值，然后P(f(x)=1|x)是概率，e^(-H(x)f(x))为值，又知道f(x)=1，那么值就是e^(-H(x))，然后把P(f(x)=-1|x)也加上就出现了上述式子

请问8.17式中2后面的两个竖线的数学意义是什么呢？没有看到这种表示呢

[Sm1les]

@HAI-U 同学你好，这是指示函数，具体定义参见第1章的公式1.1

[yanglei-github]

请问您知道github里create new file那个绿色按钮是灰的没办法按是什么原因吗?

…

---原始邮件--- 发件人: ":)s"<[email protected]&gt; 发送时间: 2019年11月21日(周四) 上午9:14 收件人: "datawhalechina/pumpkin-book"<[email protected]&gt;; 抄送: "Mention"<[email protected]&gt;;"yanglei-github"<[email protected]&gt;; 主题: Re: [datawhalechina/pumpkin-book] 【第8章集成学习】待推导或待解析公式征集+答疑专区 (#67) @HAI-U 同学你好，这是指示函数，具体定义参见第1章的公式1.1 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[Sm1les]

@yanglei-github 同学你好，你是想给我们的项目提交相关内容是吗？

[yanglei-github]

对的。

…

---原始邮件--- 发件人: ":)s"<[email protected]&gt; 发送时间: 2019年12月19日(周四) 凌晨4:58 收件人: "datawhalechina/pumpkin-book"<[email protected]&gt;; 抄送: "Mention"<[email protected]&gt;;"yanglei-github"<[email protected]&gt;; 主题: Re: [datawhalechina/pumpkin-book] 【第8章集成学习】待推导或待解析公式征集+答疑专区 (#67) @yanglei-github 同学你好，你是想给我们的项目提交相关内容是吗？ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[yanglei-github]

看了好久南瓜书，觉得很有帮助，也想贡献一点力量。

…

---原始邮件--- 发件人: ":)s"<[email protected]&gt; 发送时间: 2019年12月19日(周四) 凌晨4:58 收件人: "datawhalechina/pumpkin-book"<[email protected]&gt;; 抄送: "Mention"<[email protected]&gt;;"yanglei-github"<[email protected]&gt;; 主题: Re: [datawhalechina/pumpkin-book] 【第8章集成学习】待推导或待解析公式征集+答疑专区 (#67) @yanglei-github 同学你好，你是想给我们的项目提交相关内容是吗？ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[Sm1les]

@yanglei-github 好的，非常欢迎，我的邮箱是[email protected] :)

[yudayuta]

请问公式8-9这一步怎么得到呐？

[archwalker]

@yudayuta 你好， e^{-f(x)\alpha_t h_t(x)} = e^{-\alpha_t}e^{f(x)h_t(x)} 注意到f(x) 和 h_t(x) 的取值范围均是{-1, +1} ，因此f(x)h_t(x) 只有两种可能，当f(x) = h_t(x)的时候 f(x)h_t(x) = 1，当f(x) \neq h_t(x) 的时候 f(x)h_t(x) = -1，带入上式即得结果

[yudayuta]

@archwalker 懂了，谢谢！

[Penuoz]

南瓜书（8.6）那里，‘因此’的上一行是如何推到‘因此’的下一行的qaq不太明白D(x_i)怎么就没了的？

[archwalker]

南瓜书（8.6）那里，‘因此’的上一行是如何推到‘因此’的下一行的qaq不太明白D(x_i)怎么就没了的？

您好，这里推导中存在错误，已修正，请查阅。

[s0rel]

您好，我在看西瓜书第八章的推导，我觉得式8.3是不是有点问题，您那边好像把\epsilon和\delta弄混了，我仿照您的思路自己写了一个，您看看有没有问题

另外，我想请问一下，红线部分到绿线部分就是小于号两边同时减去了(1- \epsilon)T，请问这样做的合理性是什么，这是在一个概率里面

[archwalker]

您好，我在看西瓜书第八章的推导，我觉得式8.3是不是有点问题，您那边好像把\epsilon和\delta弄混了，我仿照您的思路自己写了一个，您看看有没有问题

另外，我想请问一下，红线部分到绿线部分就是小于号两边同时减去了(1- \epsilon)T，请问这样做的合理性是什么，这是在一个概率里面

您好，这里存在typos，已修正，谢谢反馈！
概率里面的式子描述的是事件，这两个事件是等价的，因此合理。

[jianglonger]

您好，请问公式8.6得证明中，结论中的p(f(xi) =1|xi)这个事件要总么理解啊？是理解为在选定xi得情况下f(xi)=1得概率么？这么理解得话不是100%或者0%了么？另外，huang'se黄色方框中得那个符号是什么意思，我的概率论比较渣，抱歉了

[archwalker]

您好，请问公式8.6得证明中，结论中的p(f(xi) =1|xi)这个事件要总么理解啊？是理解为在选定xi得情况下f(xi)=1得概率么？这么理解得话不是100%或者0%了么？另外，huang'se黄色方框中得那个符号是什么意思，我的概率论比较渣，抱歉了

我重新推导了一下，看看能不能帮助你理解

[EasyVector]

您好，在最新的released版本中：https://github.com/datawhalechina/pumpkin-book/releases/tag/v1.0.1 有一处错误，在49页的公式8.6的一处推导中，没有求和符号，与https://datawhalechina.github.io/pumpkin-book/#/chapter8/chapter8 不一致，请您confirm一下，谢谢！

[Sm1les]

@yuhuitech 同学你好，pdf是会略微有一点滞后的，累积到一定的错误后我们会更新pdf的

[EasyVector]

@yuhuitech 同学你好，pdf是会略微有一点滞后的，累积到一定的错误后我们会更新pdf的

好的，谢谢！

[ZuoGangwei]

还是那个问题，8.12解释里，“带入”应为“代入”。

[Sm1les]

@ZuoGangwei 好的，收到，回头我们统一改掉

[zxh18754075532]

式8.6推倒过程中涉及到的P(f(xi)=1|xi)，这个概率是不是指当xi确定后，他真实标签为1的概率，那也就是说这个概率值是非0即1的？

[archwalker]

式8.6推倒过程中涉及到的P(f(xi)=1|xi)，这个概率是不是指当xi确定后，他真实标签为1的概率，那也就是说这个概率值是非0即1的？
不是：南瓜书中写的很清晰，其表示在数据集D中进行一次随机抽样，使得f(x_i)=1的样本x_i被抽到的概率

[zxh18754075532]

式8.6推倒过程中涉及到的P(f(xi)=1|xi)，这个概率是不是指当xi确定后，他真实标签为1的概率，那也就是说这个概率值是非0即1的？
不是：南瓜书中写的很清晰，其表示在数据集D中进行一次随机抽样，使得f(x_i)=1的样本x_i被抽到的概率

那这样理解，就不是条件概率了呀。按照概率论的规范应该写成P(f(xi)=1 , xi)，也就是交事件（抽到xi，且f(xi)=1）的概率才更符合上述理解呀。

[Niuwujia]

公式（8.5）到（8.6），式子本来是在对x求期望，结果一步就变出了x已知的条件概率，中间省了很多步吧；还有这里对H（x）求导可能是把H（x）当成一个泛函？这样的具体怎么求导可以说清楚吗

[AlexNovus]

8.2.16 AdaBoost 的个人推导 里面这一段应该是 $\epsilon_t = 0$ 吧

[archwalker]

8.2.16 AdaBoost 的个人推导 里面这一段应该是 ϵt=0 吧

是的，这里是笔误，你的理解是对的

[Acumen7]

这里是两边同乘1/2吧

[Sm1les]

这里是两边同乘1/2吧

是的，感谢同学的勘误，我们这就更正并登记到勘误表中