黄色一级毛片网站_日韩在线国产_国产一级a在线观看_亚洲综合一区在线_99av视频_久久久7

一、什么是過(guò)擬合?

過(guò)擬合（overfitting）是指深度學(xué)習(xí)中選擇的模型所包含的參數(shù)過(guò)多（即模型容量很大），以至于出現(xiàn)這一模型對(duì)已知數(shù)據(jù)預(yù)測(cè)得很好，但對(duì)未知數(shù)據(jù)預(yù)測(cè)得很差的現(xiàn)象。

下圖是過(guò)擬合的例子，曲線(xiàn)很好的擬合了樣本，跟樣本非常重疊，同樣樣本中的噪聲數(shù)據(jù)也被擬合了，噪音數(shù)據(jù)影響了模型訓(xùn)練。

二、什么是Dropout？

Srivastava等大牛在2014年的論文《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》提出了Dropout正則化：

Dropout的表示每次訓(xùn)練時(shí)隨機(jī)忽略一部分神經(jīng)元，這些神經(jīng)元dropped-out了。換句話(huà)講，這些被dropped-out的神經(jīng)元在正向傳播時(shí)當(dāng)前神經(jīng)元權(quán)重值相當(dāng)于為0，對(duì)后面層的神經(jīng)元的影響被忽略，反向傳播時(shí)也不會(huì)更新其權(quán)重。

三、Dropout技術(shù)的動(dòng)機(jī)？

Dropout技術(shù)的主要?jiǎng)訖C(jī)是防止神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中，訓(xùn)練數(shù)據(jù)過(guò)擬合。Dropout通過(guò)隨機(jī)丟棄一部分神經(jīng)元，使得模型在每次迭代中使用不同的神經(jīng)元組合進(jìn)行計(jì)算，從而減少模型對(duì)某些神經(jīng)元的依賴(lài)，增強(qiáng)模型的泛化能力‌。

四、Dropout如何防止過(guò)擬合？

1. 減少神經(jīng)元之間的相互依賴(lài)：由于每次迭代都會(huì)隨機(jī)丟棄一些神經(jīng)元，所以網(wǎng)絡(luò)不能過(guò)度依賴(lài)任何一個(gè)特定的神經(jīng)元。這使得網(wǎng)絡(luò)能夠?qū)W習(xí)到更獨(dú)立、更魯棒的特征表示。

2. 增加模型的泛化能力：由于 dropout 引入了隨機(jī)性，所以每次迭代都在訓(xùn)練一個(gè)略有不同的網(wǎng)絡(luò)。還學(xué)習(xí)到了如何適應(yīng)新的、未見(jiàn)過(guò)的數(shù)據(jù)。這有助于提高模型的泛化能力。

3. 模擬集成學(xué)習(xí)：Dropout 可以看作是一種集成學(xué)習(xí)方法。每次迭代都在訓(xùn)練一個(gè)略有不同的網(wǎng)絡(luò)，這些網(wǎng)絡(luò)可以看作是對(duì)原始網(wǎng)絡(luò)的不同“猜測(cè)”。在測(cè)試階段，我們實(shí)際上是在平均所有“猜測(cè)”的結(jié)果，這通常比單一網(wǎng)絡(luò)的結(jié)果要好。