Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:ia:saa:3_regresion_lineal:dg [2022/09/23 09:30]
cesguiro borrado
+++ — (actual)
@@ Línea 1: / Línea 1: @@
-====== 03 - Descenso de gradiente ======
-Cuando tenemos un número elevado de características o demasiadas instancias de entrenamiento para caber en la memoria, las funciones de coste anteriores pueden no ser adecuadas. Para estos casos, podemos utilizar una manera muy diferente para minimizar la función de coste: **descenso de gradiente**.
-Para encontrar el mínimo en una función de coste, el descenso de gradiente empieza en un punto aleatorio. En sucesivas iteraciones, va calculando las derivadas parciales (pendiente de la función) para ir aproximándose al mínimo cada vez más.
-{{ :clase:ia:saa:3_regresion_lineal:grafico11.png?400 |}}
-Un parámetro importante en el descenso de gradiente es el tamaño de los pasos, determinado por el hiperparámetro **tasa de aprendizaje**. Si la tasa de aprendizaje es demasiado pequeña, el algoritmo tendrá que pasar por muchos pasos para converger (si llega a hacerlo antes de terminar las iteraciones), lo cual llevará mucho más tiempo.
-{{ :clase:ia:saa:3_regresion_lineal:grafico12.png?400 |}}
-Por el contrario, si la tasa de aprendizaje es demasiado grande, el algoritmo puede no converger nunca.
-{{ :clase:ia:saa:3_regresion_lineal:grafico13.png?400 |}}
-Otro problema es que no todas las funciones de coste tienen una forma regular con un sólo mínimo. Pueden haber muchos socavones, crestas, mesetas y todo tipo de terrenos irregulares, lo que dificulta la convergencia en el mínimo global.
-{{ :clase:ia:saa:3_regresion_lineal:grafico14.png?400 |}}
-Por suerte, la función de coste MSE para un modelo de regresión es una función convexa. Eso implica que no hay mínimos locales, sólo hay un mínimo global.
-<note>El descenso de gradiente es el método utilizado para ajustar los perceptrones de una red neuronal</note>