- 相關(guān)推薦
總結(jié)深度學(xué)習(xí)技巧
總結(jié)是把一定階段內(nèi)的有關(guān)情況分析研究，做出有指導(dǎo)性的經(jīng)驗(yàn)方法以及結(jié)論的書面材料，它可以促使我們思考，為此要我們寫一份總結(jié)。那么如何把總結(jié)寫出新花樣呢？以下是小編幫大家整理的總結(jié)深度學(xué)習(xí)技巧，歡迎大家借鑒與參考，希望對(duì)大家有所幫助。
總結(jié)深度學(xué)習(xí)技巧1
正如我們所看到的，深層網(wǎng)絡(luò)需要大量的數(shù)據(jù)。遺憾的是，對(duì)于許多新的應(yīng)用程序來說，這些數(shù)據(jù)可能很難得到并且開銷很大。如果我們希望模型表現(xiàn)良好，可能需要數(shù)萬或數(shù)十萬個(gè)新的訓(xùn)練樣例來進(jìn)行訓(xùn)練。如果數(shù)據(jù)集不易獲取，則必須全部手動(dòng)收集并標(biāo)記。
這就是遷移學(xué)習(xí)的起點(diǎn)。通過遷移學(xué)習(xí)，我們不需要太多的數(shù)據(jù)！這個(gè)想法是從一個(gè)在數(shù)百萬圖像上訓(xùn)練過的網(wǎng)絡(luò)開始的`，比如在ImageNet上預(yù)訓(xùn)練的ResNet。然后，我們將“重新調(diào)整ResNet模型，只重新訓(xùn)練最后幾層。
我們將ResNet從數(shù)百萬圖像中學(xué)到的信息（圖像特征）進(jìn)行微調(diào)，以便將其應(yīng)用于不同的任務(wù)。因?yàn)榭缬虻膱D像的特征信息經(jīng)常是非常相似的所以這個(gè)方法是可行的，但是這些特征的分析根據(jù)應(yīng)用而不同。
一個(gè)基本的遷移學(xué)習(xí)示例
總結(jié)深度學(xué)習(xí)技巧2
在很多情況下，都要處理不平衡的數(shù)據(jù)，特別是實(shí)際應(yīng)用程序中。一個(gè)簡(jiǎn)單而實(shí)際的例子如下：訓(xùn)練您的深度網(wǎng)絡(luò)以預(yù)測(cè)視頻流中是否有人持有致命武器。但是在你的訓(xùn)練數(shù)據(jù)中，你只有50個(gè)拿著武器的人的視頻和1000個(gè)沒有武器的人的視頻！如果你只是用這些數(shù)據(jù)來訓(xùn)練你的網(wǎng)絡(luò)，那么你的模型肯定會(huì)非常偏向于預(yù)測(cè)沒有人有武器！
你可以做用以下的方法來解決它：
·在損失函數(shù)中使用類權(quán)重。本質(zhì)上就是，讓實(shí)例不足的類在損失函數(shù)中獲得較高的權(quán)重，因此任何對(duì)該類的錯(cuò)分都將導(dǎo)致?lián)p失函數(shù)中非常高的.錯(cuò)誤。
·過度采樣：重復(fù)一些實(shí)例較少的訓(xùn)練樣例，有助于平衡分配。如果可用的數(shù)據(jù)很小，這個(gè)方法最好。
·欠采樣：一些類的訓(xùn)練實(shí)例過多，可以簡(jiǎn)單地跳過一些實(shí)例。如果可用數(shù)據(jù)非常大，這個(gè)方法最好。
·為少數(shù)類增加數(shù)據(jù)�？梢詾樯贁�(shù)類創(chuàng)建更多的訓(xùn)練實(shí)例！例如，在前面檢測(cè)致命武器的例子中，你可以改變屬于具有致命武器的類別的視頻的顏色和光照等。
總結(jié)深度學(xué)習(xí)技巧3
多年來，已經(jīng)開發(fā)了許多梯度下降優(yōu)化算法，各有其優(yōu)缺點(diǎn)。一些最流行的包括：·隨機(jī)梯度下降（SGD）+動(dòng)量方法· Adam · RMSprop · Adadelta RMSprop，Adadelta和Adam被認(rèn)為是自適應(yīng)優(yōu)化算法，因?yàn)樗鼈儠?huì)自動(dòng)更新學(xué)習(xí)速率。使用SGD時(shí)，您必須手動(dòng)選擇學(xué)習(xí)率和動(dòng)量參數(shù)，通常會(huì)隨著時(shí)間的推移而降低學(xué)習(xí)率。在實(shí)踐中，自適應(yīng)優(yōu)化器傾向于比SGD更快地收斂，然而，他們的最終表現(xiàn)通常稍差。SGD通常會(huì)達(dá)到更好的最小值，從而獲得更好的最終準(zhǔn)確性，但這可能需要比某些優(yōu)化程序長(zhǎng)得多的時(shí)間。它也更依賴于強(qiáng)大的'初始化和學(xué)習(xí)速率衰減時(shí)間表，這在實(shí)踐中可能非常困難。因此，如果你需要一些快速的結(jié)果，或者只是想測(cè)試一個(gè)新的技術(shù)，選擇自適應(yīng)優(yōu)化器。我發(fā)現(xiàn)Adam很容易使用，因?yàn)樗鼘?duì)你選擇完美的學(xué)習(xí)率并不是很敏感。如果您想獲得絕對(duì)最佳的最終表現(xiàn)，請(qǐng)使用SGD + Momentum，并使用學(xué)習(xí)率，衰減和動(dòng)量值來最大化表現(xiàn)。兩全其美的方法有木有！它最近的研究顯示，你可以做到兩全其美：高速訓(xùn)練頂尖的性能通過切換從Adam到SGD！這個(gè)想法是，訓(xùn)練的早期階段實(shí)際上是SGD對(duì)參數(shù)調(diào)整和初始化非常敏感的時(shí)候。因此，我們可以通過使用Adam來啟動(dòng)我們的訓(xùn)練，這將使您節(jié)省相當(dāng)長(zhǎng)的時(shí)間，而不必?fù)?dān)心初始化和參數(shù)調(diào)整。那么，一旦Adam運(yùn)轉(zhuǎn)起來，我們可以切換到SGD +動(dòng)量?jī)?yōu)化，以達(dá)到最佳性能！
Adam vs SGD表現(xiàn)。由于魯棒性和自適應(yīng)學(xué)習(xí)速度，Adam在一開始表現(xiàn)更好，而SGD最終達(dá)到更好的全局最小值。
【總結(jié)深度學(xué)習(xí)技巧】相關(guān)文章：
粵語(yǔ)學(xué)習(xí)技巧08-04
各省中考狀元學(xué)習(xí)技巧總結(jié)03-10
學(xué)習(xí)數(shù)學(xué)的小技巧08-08
學(xué)習(xí)粵語(yǔ)的發(fā)音技巧08-04
科目二的學(xué)習(xí)技巧07-30
中考物理的學(xué)習(xí)技巧08-13