O Epsilon-Greedy Estratégia is a fundamental approach in aprendizado por reforço that helps an agent decide whether to explore new actions or exploit known rewarding actions. The strategy incorporates a parameter known as epsilon (ε), which represents the probability of choosing a random action (exploration) em vez de selecionar a ação que atualmente se sabe que oferece a maior reward (exploração).
Em termos práticos, durante cada decision-making step, the agent will choose a random action with a probability of ε. For the remaining probability (1 – ε), the agent selects the action that has the highest estimated value based on prior experiences. This balance allows the agent to gather new information about the environment while still leveraging its existing knowledge to maximize rewards.
The value of epsilon is typically set to be small (e.g., 0.1 or 0.01), meaning that the agent will explore randomly 10% or 1% of the time, respectively. Epsilon can also be adjusted over time; for instance, it may start high to encourage exploration and gradually decrease to focus on exploitation as the agent gains confidence in its learned values.
Essa estratégia é particularmente útil em ambientes onde as ações ótimas não são imediatamente claras, e permite uma aprendizagem mais robusta em situações de incerteza. No entanto, se ε for muito pequeno, o agente pode convergir prematuramente para soluções subótimas, enquanto se for muito grande, o agente pode falhar em explorar recompensas conhecidas de forma eficaz.