Yinelenen Yapay Sinir Ağları

Yinelenen yapay sinir ağları (RNN'ler), zaman serilerindeki diziler üzerinde işlemler yapmak üzere tasarlanmış bir derin öğrenme türüdür. Standart yapay sinir ağlarından farklı olarak, RNN'ler önceki girdilerin kaydedilmesine izin veren bir "durum" kavramını kullanır.

RNN'ler, aşağıdakiler dahil olmak üzere çeşitli uygulamalarda kullanılır:

• Doğal dil işleme (metin çevirisi, metin özeti)
• Konuşma tanıma
• Tıbbi tanı ve prognostik
• Zaman serisi tahmini

En yaygın RNN türleri şunlardır:

• Uzun Kısa Süreli Bellek (LSTM): Uzun vadeli bağımlılıkları yakalayabilen, unutma mekanizmasına sahip bir RNN türüdür.
• Kapılı Yinelenen Birimler (GRU): LSTM'lere benzer, ancak daha basit bir mimariye sahip bir RNN türüdür.
• Tek Yönlü RNN: Girdi dizisini yalnızca bir yönde işleyen bir RNN türüdür.
• Çift Yönlü RNN: Girdi dizisini hem ileri hem de geri yönde işleyen bir RNN türüdür.

RNN'leri eğitimek zordur, çünkü "kaybolan ve patlayan gradyan" sorunundan muzdarip olabilirler. Bu, zamanla gradyanların ya çok küçük ya da çok büyük hale geldiği ve modelin etkin bir şekilde eğitilemediği anlamına gelir.

RNN'leri eğitme zorluklarını aşmanın yolları şunları içerir:

• Gradyan kaybolmasını önlemek için özel aktivasyon fonksiyonları kullanma (örneğin, ReLU, tanh)
• Gradyanları normalleştirmek için gradyan kırpma veya gradyan düzeltme kullanma
• Daha kısa zaman aralıklarına odaklanan özel RNN mimarileri kullanma (örneğin, Bellek Ağları, Dikkatli Mechanikler)