yz-ai / yz-ai.github.io Goto Github PK

https://yz-ai.github.io/blog/pekistirmeli-ogrenme/temporal-difference-zamansal-fark-ogrenmesi-bolum-6

Temporal-Difference (Zamansal Fark) Öğrenmesi başlığı için:

1. "Pekiştirmeli öğrenmenin en temel yöntemlerinden biri olan zamansal fark öğrenmesi, daha önceki bölümlerde gördüğümüz dinamik programlama ve Monte Carlo yöntemlerinin bir çeşit kombinasyonudur. " cümlesinde en kelimesini kaldırmalıyız.

Zamansal Fark Öğrenmesinde Öngörü Problemi başlığı için:

1. kitapta şekil 6.1 deki örnek belki bu başlık altına eklenebilir (bu sadece öneri laflar ve denklemler daha anlaşılır olur, zamanla da eklenebilir acil bişey değil)

Tahmin probleminde Zamansal Fark Öğrenmesinin Avantajları başlığı için:

1. İlk paragraftaki şu cümleyi Dinamik programlamaya karşı en büyük artısı açıkça görülebileceği gibi zamansal fark öğrenmesi yöntemlerinin ortamın modeline ihtiyaç duymamasıdır. yeniden yazıyorum: "Zamansal fark öğrenme açıkça görülebileceği gibi ortamın modeline ihtiyaç duymamaktadır. Bu özelliği dinamik programlamaya göre en önemli avantajıdır."
2. Örnek 6.2 hakkında birkaç cümle daha eklenip diğer iki şekilde eklenebilir. Şuan mevcut grafikte bölüm sayısı ne vs net anlaşılmıyor.

Zamansal Fark Öğrenmesinin En Uygunluğu (Optimality) başlığı için:

1. batch kelimesini genelde **küme / paket ** olarak kullanıyoruz ama emin olamadım.

Zamansal Fark Öğrenmesiyle Politikalı (On-policy) Kontrol başlığı için:

1. Bu başlığın başında Sarsa da desek olmaz mı kitaba uygun olarak.

Q-Öğrenmesi: Zamansal Fark Öğrenmesiyle POlitikasız (Off-policy) Kontrol başlığı için:

1. Bu başlıktaki ilk örnek eklense harika olur. Bu haliyle anlaşılır ama örnekle daha güzel olur. Zamanla eklenecekler içinde de kalabilir.

Beklentili (Expected) Sarsa başlığı için:

1. şekil 6.3 ü de eklersek harika olur.

En Büyütme (Maximization) Sorunu ve İkili Öğrenme (Double Learning) başlığı için:

1. "ençoklama" kelimesinin yanına parantez içinde sadece ilkinde (maksimizasyon) yazabiliriz.
2. ikinci paragrafın ilk cümlesinde "Ençoklama işleminin neden sorun olduğunu anlamak için bir örnek verelim." dedikten sonraki cümle Örneğin kelimesi ile başlamasın. Direkt başlasın.
3. En büyütme diye bir kavram geçiyor. Bu ençoklama ile aynı şeyse aynı şekilde yazılmalı.

gerisi okay! 👍

https://yz-ai.github.io/blog/pekistirmeli-ogrenme/on-policy-control-bolum-10

Episodik Yarı-Gradyan Kontrolü başlığı için:

1. "Mountain Car Görevi" başlığında karakterlerde bi gariplik var sanki.
2. şekil ing. ama kötü görünmüyor kalabilir.

N-adımlı Yarı-Gradyen Sarsa başlığı için:

1. formüller iki kez yazılmış (ikinciler resim sanıırm silinmesi gerek)
   2.episodic gösterimini ingilizce bırakmayalım bence

Diferansiyel Yarı-Gradyende n−adımlı Sarsa başlığı için:

1. burdaki algoritma tablosu da ingilizce olmasın bence.

Elinize sağlık 💯

https://yz-ai.github.io/blog/pekistirmeli-ogrenme/monte-carlo-yontemleri-bolum-5
Pekiştirmeli Öğrenme - Bölüm 5: Monte Carlo Yöntemleri

Eylem Değerlerinin Monte Carlo Tahmini başlığı için:

1. MC denmeye başlanmış Monte Carlo için baka bişeymiş gibi anlaşılmaması için son kez Monte Carlo'yu açıkça yazdığınız yere (MC) kısaltmasını parantez içinde eklerseniz. Devamı daha anlaşılır olur.

Monte Carlo Kontrolü başlığı için:

1. İlk paragrafın ardından kitaptaki evalution-improvement şeklini ve 5.1 denklem akışını vermekte fayda var.
2. Bu başlıkta yine 'Monte Carlo' demeye başlıyoruz. Karar verelim ya MC ile devam edelim ya da Monte Carlo yazalım.

Keşfi Başlatmadan Monte Carlo Kontrolü başlığı için:

1. Bu bölümde yöntem olarak, açgözlü (ε-greedy) kullanılacaktır çünkü, genellikle tahmini maksimum eylem değerine sahip olanı seçtikleri içindir.
   Bu cümleyi şu şekilde yeniden yazıyorum: "Bu bölümde; genellikle tahmini maksimum eylem değerine sahip olanı seçtikleri için açgözlü (ε-greedy) yöntem olarak kullanılacaktır. "
2. Son paragrafın ilk cümlesinde v∗ la denen yeri v∗ ile diye düzeltmekte fayda var.

Önem Örneklemesi ile Politika Dışı Tahmin (Off-Policy Prediction via Importance Sampling) başlığı için:

1. Politika-dışı yazarken araya - işaretini koyuyorsak hep koyalım. Bir koyup bir koymamazlık yapmayalım.
2. 4. paragrafın son cümlesinde (gre-açgözlü) yanlış mı yazılmış?
3. Aksine, sıradan önem-örnekleme tahmincisinin (5.5) ilk ziyaret versiyonu, beklenti içinde her zaman vπ(s) olur, fakat bu aşırı olabilir. Şeklinde bir cümle var (5.5) denklemi bu cümlenin üstünde yazıyor ama onun 5.5 olduğunu anlamak için kitaba bakmak gerekiyor. Bu yüzden V(s) denklemi diye düzeltebiliriz.
4. önem-örneklemesi arasında - bir var bir yok. Ona da karar vermek lazım.

Politika Dışı Monte Carlo Kontrol (Off-policy Monte Carlo Control) başlığı için:

1. Yine Monte Carlo ve MC ler uçuşuyor.
2. %Burada bir resim mevcut istenirse alt bölüm ve o resim eklenilecekti. diye bir ekleme yapılmış ama resim eklenmemiş durumda.
3. Daha önce Examles lara Örnek demiştiniz şimdi Alıştırma dediniz. Onları da tek dile çevirmek gerek.

Elinize sağlık bu bölüm için bu kadar düzeltme şimdilik yeter.

• Dinamik Programlama

  • İlk Paragrafın çevirisinin tekrar gözden geçirilip düzenlenmesi
  • Bölüm 3: Sonlu Markov Karar Süreçleri kısmına link verilmesi.

• Politika İterasyonu

  • İngilizce eklenen algoritmanın Türkçeye çevirisinin yapılması.

• Value Iteration

  • İngilizce eklenen algoritmanın Türkçeye çevirisinin yapılması.

https://github.com/yz-ai/yz-ai.github.io/blob/master/_data/projects.yml

Projeler altında "Predictive Maintenance of Aircraft Motor Health with LSTM" başlığının altındaki blog url Teknofest projesindeki gibi kalmış.

• Tahmin probleminde Zamansal Fark Öğrenmesinin Avantajları

  • Örnek 6.2 Random Walk'in alt yazısının geliştirilmesi. Kontrol edilmesi.

• Q-Öğrenmesi: Zamansal Fark Öğrenmesiyle Politikasız (Off-policy) Kontrol

  • Örnek 6.6 Cliff Walking'in genel yazısının geliştirilmesi. Kontrol edilmesi.

• Beklentili (Expected) Sarsa

  • Şekil 6.3 Alt yazısının çevirisinin yapılması.

Pekiştirmeli Öğrenme - Bölüm 8: Tabular Metotlar
https://yz-ai.github.io/blog/pekistirmeli-ogrenme/tabular-metotlar-bolum-8

Başlık altı yazısı için:
"Modele dayalı yöntemler, temel bileşen olarak planlama yapmaya dayanırken, model içermeyen yöntemler temel olarak öğrenmeye dayanır. Bu iki yöntem arasında farklılıklar ve benzerlikler vardır. Özellikle, her iki yöntemin temelin de , değer fonksiyonlarının hesaplanması vardır. Bu bölümdeki amacımız, model tabanlı ve modelsiz yöntemlerin birleştirilmesidir (integration)."

Bu cümleyi anlamını koruyarak yeniden yazıyorum:

Bu iki yöntemin benzer ve farklı yanları vardır. En önemli farklılıkları; model gerektiren yöntemlerin temel bileşeni planlama iken model içermeyen yöntemlerin öğrenmeye dayalı bir temel bileşene sahip olmasıdır. En önemli benzerlikleri ise, değer fonksiyonlarının hesaplama gereksinimleridir. Bu bölümdeki amacımız model gerektiren ve model içermeyen yöntemlerin birleştirilmesidir (integration).

Bu lafın aynısı Planlama ve Tabular Metotlar ile Öğrenme başlığı altında da geçiyor.

Modeller ve Planlama başlığı için:

1. Dağıtım modeli (distribution model) : buna emin miyiz genellikle dağılım denir. RL de dağıtım deniyorsa kalsın tabi.
2. simülasyon etmek yerine simüle etmek daha iyi olur gibi.
3. Model→Taklitdeneyimi→Değerler→Politika kısmı çok güzel ama önündeki ve arkasındaki satırdan ayırıp tek başına yani iki paragraf arasında bırakmak daha güzel görünebilir. Bir de Taklit Deneyimi arasına bir boşluk :)

Dyna: Entegre Planlama, Oyunculuk (Acting) ve Öğrenme başlığı için:

1. ilk kullanılan şeklin üstündeki yazının harflerinden sarkan kuyturklar görünüyor tekrar üst kısmı kesilde bide şekil sayfada ortalanabiliyorsa süper olur. Bir de şekilde "acting" ingilizce kalmış.
2. Bu başlık altında da simülasyon edilmiş diye geçiyor.
3. (Direct RL) her seferinde parantez içinde verilmeli mi emin olamadım. Ama kalabilir herkes tüm kitabı okumayabilir karşılaşınca görsün. (yazılı düşündüm :) )
4. Örneğin, Şekil 8.2’de diye başlayan paragrafın altındaki şeklin öyle bir numarası yok burda kitaptaki numarasına atıf verince kafalar karışıyor. Aşağıdaki şekil diyip parantez içinde de kitaptaki 8.2 gibi bi atıflama yoluna mı gitsek acaba.
5. Aynı şekil iki kez eklenmiş (Türkçe ve İng. olarak) ve arasına % kontrol edilmeli yazılmış bilginize.
6. "E_ylemler arasında açgözlü( greedily) seçerken, bağlar rastgele kırıldı. Ajanların, planlama adımlarının sayısı da değişti."_ kırılır ve değişir desek daha iyi.
7. Şekil 8.3 denen yer içinde şekil atıfları konusunu düşünmek gerek.
8. Son şekilde hem Türkçe hem İngilizce olarak duruyor.
9. Son paragrafta yine simülasyon edilmiş demişiz.

Model Yanlış Olduğunda başlığı için:

1. "Model boş başladı ve daha sonra sadece tam olarak doğru bilgilerle dolduruldu. Genel olarak, bu kadar şanslı olmayı bekleyemeyiz. Modeller yanlış olabilir, çünkü ortam stokastiktir ve sadece sınırlı sayıda örnek gözlemlenmiştir, ya da model, kusurlu bir şekilde genelleştirilen fonksiyon yaklaşımı kullanılarak ya da çevrenin değiştiği ve yeni davranışının henüz gözlemlenmediği için öğrenilmiştir. Model yanlış olduğunda, planlama sürecinin optimal bir politika oluşturması muhtemeldir."
   Bu paragrafı yeniden yazıyorum:
   _ Boş olarak başlayan model ve sonrasında sadece doğru bilgilerle doldurulur desek de genel olarak bu kadar şanslı olmayı beklemeyiz. Ortam stokastiktir ve sadece sınırlı sayıda örnek ile gözlemlenmektedir. Bu yüzden model yanlış olabilir. Model yanlış demek; kusurlu şekilde genelleştiren fonksiyon yaklaşımı kullanılması ya da çevrenin değiştiği için yeni davranışın henüz gözlemlenmediği öğrenilmiştir. Model yanlış olduğunda planlanma sürecinin optimal bir politika oluşturması muhtemeldir._

2. İkinci paragrafın sondan bir önceki cümlesinin noktası yok.

3. Şekil İngilizce kalmış.

Öncelikli Süpürme başlığı için:

1. ilk paragrafta simülasyon edilmiş demişiz yine.
2. Savurgan güncelleme ? Parantez içinde ingilizcesini de verelim.
3. İkinci paragraftan "Tipik olarak, bu, diğer birçok durumun değerlerinin de değiştirilmesi gerektiği anlamına gelecektir, ancak tek yararlı tek adım güncellemeleri, değeri değiştirilmiş olan tek bir duruma yönlendiren eylemlerdir. Bu eylemlerin değerleri güncelleştirilirse, önceki durumların değerleri sırayla değişebilir. Öyleyse, bunları yönlendiren işlemlerin güncellenmesi gerekiyor ve ardından önceki durumlar değişmiş olabilir."
   Yeniden yazıyorum:
   Tipik olarak, diğer birçok durumun değerinin değiştirilmesi gerektiği anlamını taşır. Ancak yararlı olacak tek adım güncellemeleri, değeri değiştirilmiş olan yalnız bir duruma yönlendiren eylemlerdir. Bu eylemlerin değerleri güncellenirse, önceki durumların değeri de sırayla değişebilir olacaktır. Öyleyse, bunları yönlendiren işlemlerin güncellenmesi gerekmektedir ve böylece önceki durumlar da değişmiş olur.
4. Paragraf 3te etki hesaplanır. etki, küçük eşikten noktadan sonra büyük harf lütfen :)
5. Son paragrafta bu cümleyi yeniden yazmak gerek. "Bu bölümde, her türlü durum alanı planlamasının, yalnızca güncellemenin türü, büyük, küçük ya da küçük ve güncellemelerin yapıldığı sıraya göre değişen değer güncellemeleri dizileri olarak görülebileceğinin önermesini gördük."
   Şu şekilde yazıyorum:
   Bu bölümde, tüm durumların alan planlaması yalnızca güncellemenin türü, büyük ya da küçük güncellemelerin yapıldığı sıraya göre değişen değer dizileri olarak görülemeyeceğinin önermesini inceledik.

Beklenen ve Örnek Güncellemeler başlığı için:

1. Bu başlıktaki şekiller İngilizce kalmış.
2. İlk cümledeki q, v, q ve v bir kontrol edilsin. İndisleri yazılmamış sanırım.
3. % Kontrol yazılmış (kendinize not sanırım)
4. Yine şekil 8.7 denmiş şekil atıfını bir yola koymak gerek.

Yörünge Örneklemesi m başlığı için:

1. Bu başlıkta da şekiller İngilizce.
2. İkinci paragraf simülasyon etmek
3. Mesela burada da şekillere hiç atıf verilmemiş.

Gerçek Zamanlı Dinamik Programlama başlığı için:

1. Bu başlık altındaki kitaptaki ilk şekil eklenebilir güzel bir anlatımı var.
2. İlk paragrafta zaten kitaptaki 8.8 şekline atıf cümle var ama şekil yok.

Karar Zamanında Planlama başlığı için:

1. Bu başlık altında da simülasyon edilmiş şeklinde kullanılmış.

Sezgisel Arama başlığı için:

1. Şekil 8.9 denmiş olan paragrafın altındaki şekil ifade edilmek isteniyor sanırım

Rollout Algoritmaları başlığı için: bu kısım çok güzel yazılmış.

Monte Carlo Arama Ağacı başlığı için:

1. Monte Carlo Arama Ağacı (MCTS) ingilizce kısaltmasını açık hali de parantezin içinde bi seferlik verilebilir. (Monte Carlo Tree Search-MCTS)

Elinize sağlık 👍

• Birleştirici Algoritma: n-adım Q (σ) Unifying Algorithm :
  • (7.17)'de bulunan formül arası anlatımın Türkçeye çevrilmesi ve ara formülün eklenmesi

https://github.com/yz-ai/yz-ai.github.io/blob/master/_posts/2019-01-03-sonlu-markov-karar-surecleri-bolum-3.md

Ajan-Çevre Arayüzü (The Agent-Environment Interface) başlığı için

1. ilk paragrafın son cümlesinde 'izlek' yerine 'yörünge' kullanmak daha anlaşılır olur diye düşünüyorum.
2. ikinci paragrafın ilk cümlesinde 'durum, eylem ve ödül setlerinin' yerine 'kümelerinin' mi desek?
3. 'ayrık bir olasılık dağılımına' yerine 'ayrık bir olasılık dağılıma'
4. 'Sonuç olarak,' yerine 'Sonuç olarak;'

Hedefler ve Ödüller (Goals and Rewards) başlığı için

1. 'Ajanın, seçtiği eylemler sonucunda elde ettiği ödül, genellikle sayısal bir değer olmaktadır' cümlesindeki 2 virgüle de ihtiyaç yok.
2. 'Bir hedefi formüle etmek için ödül sinyalinin kullanılması, Pekiştirmeli Öğrenme’‘nin ayırt edici özelliklerinden biridir.' yerine 'Bir hedefi formüle etmek için ödül sinyalinin kullanılması Pekiştirmeli Öğrenme’nin ayırt edici özelliklerinden biridir.'
3. 'Ödül vesilesiyle, ajana yaptırılmak istenenin nasıl elde edilebileceğine dair önceden bilgi verilmesine gerek yoktur.' cümlenin ne demek istediği tam anlaşılmıyor, konuya hakim olmadığım için öneride bulunamadım ama bu cümlenin üzerinden geçilmeli.
4. 'Örneğin satranç oynayan bir oyuncu, kazanmak için ödüllendirilmelidir fakat ..' yerine 'Örneğin, satranç oynayan bir oyuncu kazanmak için ödüllendirilmelidir fakat..'

Getiriler ve Bölümler (Returns and Episodes) başlığı için

1. Bölüm başlığında episodes için 'olay' kullanılsa daha anlaşılır olabilir mi?
2. 'Ajanın eylemlerinden aldığı ödüller, Rt,Rt+1,Rt+2,⋯, olarak belirtilirse,' yerine 'Ajanın eylemlerinden aldığı ödüller Rt,Rt+1,Rt+2,⋯ olarak belirtilirse'
3. 'Ajan-Çevre etkileşimi, bölüm (episode) olarak isimlendirilen bir çok durum ve eylem serilerinden oluşan ve uç durum denilen özel bir durum ile sona eren bir yapı ile sağlanmaktadır ve her bölüm sonunda durum tekrar başlangıç durumuna getirilir.' yerine 'Ajan-Çevre etkileşimi, bölüm (episode) olarak isimlendirilen bir çok durum ve eylem serilerinden oluşan, uç durum denilen özel bir durum ile sona eren bir yapı ile sağlanmaktadır ve her bölüm sonunda durum tekrar başlangıç durumuna getirilmektedir.'
4. 'Bir çok farklı problem içerisindeki ajan-çevre etkileşiminde ise, yapı bölümlerden oluşmayabilir.' yerine 'Bir çok farklı problem içerisindeki Ajan-Çevre etkileşiminde ise yapı bölümlerden oluşmayabilir.'

Bölümlü ve Bölümsüz Problemler için Birleşik Notasyon (Unified Notation for Episodic and Continuing Tasks) başlığı için

1. 'Önceki kısımlarda, ajan-çevre etkileşimin ..' yerine 'Önceki kısımlarda, ajan-çevre etkileşimi '
2. 'Bölümlü problemler matematiksel olarak daha kolay olmaktadır zira her bir..' yerine 'Bölümlü problemler matematiksel olarak daha kolay olmaktadır, zira her bir..'
3. 've her iki durum eş zamanlı olarak sembolize edilebilecek' yerine 've her iki durumu eş zamanlı olarak sembolize edilebilecek'
4. 'Hem bölümlü hem de bölümsüz problemleri kapsayan tek bir gösterim elde etmek için başka bir yönteme ihtiyaç duyulmaktadır. Denklem 3.1 getiriyi sınırlı sayıda terim üzerinden, Denklem 3.2 ise sonsuz sayıda terim üzerinden hesaplamaktadır. Bu iki denklem, yalnızca kendisine geçiş yapan ve sıfır ödül üreten özel bir durduran durumun kullanılması ile birleştirilebilir. Bu gösterimin diyagramı Şekil 3.2’de görülebilir.' paragrafı 2 kez yer alıyor ve başlık formatında gözüküyor şuan.

Politikalar ve Değer Fonksiyonları (Policies and Value Functions) başlığı için

1. 'İdealde, π politikasına bağlı olarak erişilen herhangi bir durumdaki getiri, durum değer fonksiyonunun tahminine, seçilen eylem sonrasında hesaplanan getiri de, eylem değer fonksiyonunun tahminlemesine eşit olmalıdır.' yerine 'İdealde π politikasına bağlı olarak erişilen herhangi bir durumdaki getiri, durum değer fonksiyonunun tahminine; seçilen eylem sonrasında hesaplanan getiri de, eylem değer fonksiyonunun tahminlemesine eşit olmalıdır.'

En Uygunluk Ölçütü ve Yaklaşım (Optimality and Approximation) başlığı için

1. 'Ortam dinamiklerinin doğru ve tam bir modeline sahip olunsa dahi, Bellman uygunluk eşitliği en uygun politikayı hesaplamak genellikle mümkün olmaz.' yerine 'Ortam dinamiklerinin doğru ve tam bir modeline sahip olunsa dahi, Bellman uygunluk eşitliği ile en uygun politikayı hesaplamak genellikle mümkün olmaz.'
2. 'Bu sebeple, problemlere belli hata payları ile yaklaşıklıklar ile yapılmaktadır. İşe yarar bir politikanın, en uygun politika olmamakla beraber belli bir kriter içerisinde seyretmesi, kullanılabilir bir yapıya dönüşebilir.' yerine 'Bu sebeple, problemlere belli hata payları ile yaklaşıklıklar (yaklaşımlar da olabilir sanki?) yapılmaktadır. İşe yarar bir politika, en uygun politika olmamakla beraber belli bir kriter içerisinde seyretmesi ile, kullanılabilir bir yapıya dönüşebilir.'
3. 'Pekiştirmeli öğrenmenin çevrimiçi (online) yapısı, daha az sıklıkla karşılaşılan durumlara daha az efor sarf etme pahasına, sıkça karşılaşılan durumlarda daha iyi kararlar alması için en uygun politikaya yaklaşım yaptırmaya imkan sağlar. ' yerine 'Pekiştirmeli öğrenmenin çevrimiçi (online) yapısı; daha az sıklıkla karşılaşılan durumlara daha az efor sarf ederek, sıkça karşılaşılan durumlarda daha iyi kararlar alması için en uygun politikaya yaklaşım yaptırmaya imkan sağlar. '

https://yz-ai.github.io/blog/pekistirmeli-ogrenme/n-adim-paketleme-bolum-7

n-Adım Paketleme başlığı için:

1. n-step başlıkta olduğu gibi metin içinde de n-adım olarak yazılsa iyi olur N kullanılmış onları n olarak düzeltmekten bahsediyorum. (cümle başı bile olsa küçük harf olmalı)

n-Adım TD Tahmini başlığı için:

1. meblağ diye bir sözcük kullanmışsınız. Onu tutar/miktar gibi düzeltmek iyi olabilir.
2. figure 7.3 alınmış belki onun açıklaması diğer bölümlerde yaptığınız gibi altına çevrilmeli italik olarak. Önceki bir bölümde öyle yapmıştınız.
3. Şekilden sonraki 2. paragrafta yine "MC" denmiş hepsini açmaya karar verdik sanırım.

n−step Sarsa başlığı için:

1. başlıkta step mi diyeceğiz adım mı? hep adım dendi adım diyelim bence.
2. paragraf içinde kitaba atıf olarak şekil numarası veriyoruz ama ya onu belirtmek gerek ya da buradaki şekillere de numara vermek gerek. Mesela (7.1, 7.2, 7.3 ve 7.4 gibi.)

n− step Politika dışı (Off-Policy) Öğrenme başlığı için:

1. yine başlıkta step demişiz.
2. Böylece yeni güncellememiz (7.9), daha önceki n-adım TD güncellememizi genelleştirip tamamen değiştirebilir. diye geçen cümlede kitaptaki 7.9 denklemine atıf yapılıyor denklem özette de yazıyor 7.9 ne diye okuyan anlamaz o yüzden ne denklemiyse adıyla yazılsa ya da "...güncellememiz ρt:h ifadesi, daha önceki..." diye de yazılabilir.
3. aynı şekilde 7.11 denklemi de bu durumda.

*Kontrol Değişkenine göre Karar Verme Metodu (Per-decision Methods with Control Variates) başlığı için:

1. Mesela bu başlıktaki ilk denkleme kitaptaki numarayı vermişsiniz sonrakilere vermemişsiniz. Burda hangisini yapacağımıza bir karar verip ona göre hepsini aynı formatta tutmakta fayda var.
2. Bunun yerine, bu daha sofistike yaklaşımda, h horizonda n−adım dönüş alternatif, politika dışı tanımını kullanır diye bir cümle var horizon'a konuya uygun çeviri yapmak gerek sanki.

Önem Örneklemesiz Politika Dışı Öğrenme: n-adım Ağaç Yedekleme Algoritması (Off-policy Learning Without Importance Sampling: The n-step Tree Backup Algorithm) başlığı için:

1. "3 aşamalı ağaç yedekleme..." diye başlayan paragrafta ilk noktadan sonra büyük harfle başlanmamış.

Birleştirici Algoritma: n-adım Q (σ) Unifying Algorithm: n-step Q(σ) başlığı için:

1. Bazı başlıklarda İngilizcesini parantez içinde yazmıştınız. Aynı şekilde mi devam edilse?
2. Hemen giriş cümlesinde Ağaç Yedeklemesi( Tree backup) iki kelime arasındaki boşluk yanlış yerde durduğu için çok dikkat çekiyor.
3. alacaktı. Ve Yeni cümle Ve ile başlamaz onu silebiliriz.
   4.Özet başlığından önceki denklermleri bir gözden geçirsek iyi olur. Resim hali de kalmış.

Özet başlığı için:

1. 2. paragrafın 2. cümlesi Sağdaki iki 4 adımlı yedekleme diyagramı, sunulan yöntemlerin çoğunu birlikte özetler. Sağdaki derken?

-- N'ler n olsun tüm sayfada!
Ellerinize sağlık 👍

• Monte Carlo Tahminlemesi

  • Şekil 5.1'in alt bilgi yazısının Türkçeye çevrilmesi ve üst yazısının genişletilmesi.

• Monte Carlo Kontrolü

  • Denklem akışının Türkçeye çevirisinin yapılması

• Önem Örneklemesi ile Politika Dışı Tahmin

  • Şekil 5.4'ün Türkçeleştirilmesi.

• Politika Dışı Monte Carlo Kontrol

  • Şekil 5.5 Görünmeme sorunu.

"Dinamik Programlama terimi (Dynamic Programming-DP), bir Markov Karar Süreci (Markov Decision Process) ortamının mükemmel bir modelinde en uygun politikayı (optimal policy) hesaplama amacı ile kullanılacak algoritmaların bütününü ifade eder. "

1. Biraz google translate çevirisi gibi olmuş sanki :) Çünkü kitapta yazan cümle ile burada yazılanlar arasında bazı yanlışlıklar var gibi.
2. Cümlesinde çok fazla parantez içerisinde Ingilizce terimi kullanmışız. Okumayı çok zorlaştırıyor.
3. "en" kelimesi olmasa daha iyi gibi

"DP’nin ve genel olarak Pekiştirmeli Öğrenmenin temel fikri, iyi bir politika arayışını organize etmek ve yapılandırmak için değer fonksiyonların kullanmasıdır."

1. fonksiyonlarının
2. kitapta "good policies" yazıyor, burada bir politika yazılmış. Burada da çoğul olmalı gibi.

"Daha önce bahsedildiği gibi, burada Bellman Uygunluk Denklemleri ile en uygun değer fonksiyonları bulunur."

1. "Daha önce bahsedildi" yerine kitapta yazana benzer bir yaklaşım kullanılabilir. Mesela "Chapter 3'te bahsedildiği gibi" ya da "Bölüm 3: Sonlu Markov Karar Süreçlerinde bahsedildiği gibi" denirse daha güzel olur. Hatta Bölüm 3'e link bile verilebilir.
2. Bu cümleden denkleme geçiş yapamıyorum. Arada bir kopukluk var gibi. Kitapta aşağıdaki gibi bir cümle var.

In this chapter we show how DP can be used to compute the value functions defined in Chapter 3. As discussed there, we can easily obtain optimal policies once we have found the optimal value functions, v* or q*, which satisfy the Bellman optimality equations.

• Bu tarz bir bağlantı cümlesi ile formüle geçmek bana daha mantıklı geldi. Yoksa formülde olan v* ne q* ne gibi sorular oluşuyor.

"Politika Değerlendirmesi (Tahmin)" bölümündeki ilk formülde:

1- for all s \in S, formülün önemli bir parçası onu da koymamız gerek.
2- Bir de bu formül niye kaymış yahu. satırlar birbirine girmiş gibi.

"Değer fonksiyonları, daha iyi politikalar geliştirmeye yardımcı olmak amacıyla geliştirilmektedir. Herhangi bir fonksiyon için rastgele belirlenen bir politikaya göre, s durumunun ne kadar iyi bir durum olduğu bilinmeye çalışılacaktır. Bunu öğrenmenin yolu s durumunda a eylemini uygulayarak mevcut π politikasını takip etmektir"

1. Burada state s ve action a demek daha anlamlı gibi.
2. Herhangi bir fonksiyonun değil belirli bir fonksiyon için olmalı sanki. Kitapta şöyle yazıyor çünkü:

Suppose we have determined the value function v�(π) for an arbitrary deterministic policy π.

"Bu gelişimler şu şekilde gösterilir."

1. Nokta değil iki nokta üst üste :)

Politika İterasyonu

1. Bu bölümde kullanılan resmin hiç açıklaması yok. Baya havada kalmış öyle. En azından kitapta resmin altında yazan yorumu koyabiliriz. Hem politika iterasyonuna bir örnek de vermiş oluruz bu şekilde. Daha kafada oturur gibi.

Figure 4.1: Convergence of iterative policy evaluation on a small gridworld. The left column is
the sequence of approximations of the state-value function for the random policy (all actions
equally likely). The right column is the sequence of greedy policies corresponding to the value
function estimates (arrows are shown for all actions achieving the maximum, and the numbers
shown are rounded to two signicant digits). The last policy is guaranteed only to be an
improvement over the random policy, but in this case it, and all policies after the third iteration,
are optimal.

2. Kitapta politika iterasyonunun algoritması da var. Onu da buraya eklesek güzel olmaz mıydı acaba?

Value Iteration

• Burada da bir algoritma var. Bunu da aynı politika iterasyonu gibi eklesek mi acep?

"Şu ana kadar bahsedilen DP yöntemlerinin önemli bir dezavantajı, MDP’nin tüm durum kümesi üzerinde çalışıyor olması olabilir"

• Bu cümledeki "olabilir" kelimesini kaldırsak daha iyi olabilir.

"Bazı değerler birden çok kez güncellenebilse dahi, bu yapı hızlı yakınsama sağlayabilir."

• Bu cümlede bir düşüklük var. "güncellense dahi" mi denilmek istenildi acaba?

https://yz-ai.github.io/blog/pekistirmeli-ogrenme/on-policy-prediction-bolum-9#what-is-doks

Değer Öngörüsü (Value Prediction) başlığı için:

1. son cümlede "gradyen" yazmışız gradyan demiyor muyuz? Eğer siz böyle karar verdiyseniz sorun yok. Bundan sonra da aynı kelime için eğer kara değişirse ona göre düzeltme gerekcek.

Doğrusal Yöntemler başlığı için:

1. Son cümlede "öz nitelik" yazılmış bitişik olmalı feature dan bahsediyorsak.

Bellek Tabanlı Fonksiyon Yaklaşıklığı başlığı için:
1.ikinci paragrafta "bir-çok" ayrı yazılmış bitişik olmalı.

Kernel Tabanlı Fonksiyon Yaklaşıklığı başlığı için:

1. Kernel durabilir beli çekirdek te denebilir.

Elinize sağlık bu o kadar zorlamamış oldu 👍