Mapa del curso y kit matemático

Un vector $v\in {\mathbb{R}}^d$ es a la vez una flecha (dirección y tamaño) y una lista de $d$ números. El producto interior $⟨u,v⟩={\sum }_i{u}_i{v}_i$ mide cuánto apuntan al mismo lado; la norma mide el tamaño, y hay varias maneras de medirlo:

$$\Vert v{\Vert }_1=\sum _i|v_i|,\Vert v{\Vert }_2=\sqrt{\sum _i{v}_i^2},\Vert v{\Vert }_{\infty }=\underset{i}{\max }|v_i|.$$

Para matrices: la norma de Frobenius $\Vert A{\Vert }_F=\sqrt{{\sum }_{ij}{A}_{ij}^2}$ trata a $A$ como un vector largo; la norma espectral $\Vert A{\Vert }_{\mathrm{op}}={\max }_{\Vert x{\Vert }_2=1}\Vert Ax{\Vert }_2$ es el mayor estiramiento que produce.

Ejemplo. $v=(3,4)$: $\Vert v{\Vert }_1=7$, $\Vert v{\Vert }_2=5$, $\Vert v{\Vert }_{\infty }=4$. Siempre $\Vert v{\Vert }_{\infty }\le \Vert v{\Vert }_2\le \Vert v{\Vert }_1$.

Dónde lo vas a usar. La bola unitaria de cada norma tiene una forma distinta; esa forma decide la dirección de "descenso más pronunciado" en M08 y aparece en la regularización y en la cuantización (M16). Juega con el explorador de normas más abajo.

Míralo en la superficie de más abajo. La función $f(x,y)=(x^2+2y^2)/4$ del simulador del plano tangente es la forma cuadrática $\frac{1}{2}{v}^{\top }Av$ con $A=\mathrm{diag}(1/2,1)$: sus curvas de nivel son elipses cuyos semiejes están en razón $\sqrt{2}=\sqrt{{\sigma }_1/{\sigma }_2}$, la raíz de la razón entre los valores singulares ${\sigma }_1=1$ y ${\sigma }_2=1/2$ de $A$ (el círculo unitario, en cambio, se transforma bajo $A$ en una elipse con razón ${\sigma }_1/{\sigma }_2=2$). La vista 2-D del mismo simulador dibuja esas curvas de nivel.

Una matriz $A\in {\mathbb{R}}^{m\times d}$ es una función lineal $x\mapsto Ax$. Su rango es la dimensión de la imagen. Toda matriz se factoriza como

$$A=U\Sigma V^{\top },$$

con $U$ y $V$ ortogonales y $\Sigma$ diagonal con ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$ (valores singulares). Léelo así: rota ($V^{\top }$), estira cada eje por ${\sigma }_i$ ($\Sigma$), rota otra vez ($U$). La norma espectral es ${\sigma }_1$ y $\Vert A{\Vert }_F^2={\sum }_i{\sigma }_i^2$.

La proyección ortogonal sobre un subespacio $S$ es la matriz $P$ con $P^2=P=P^{\top }$; $Px$ es el punto de $S$ más cercano a $x$.

Ejemplo. $A=\left(\begin{array}{cc}3& 0\\ 0& 1\end{array}\right)$ manda el círculo unitario a una elipse con semiejes 3 y 1: ${\sigma }_1=3$, ${\sigma }_2=1$.

Dónde lo vas a usar. El autoencoder lineal aprende exactamente los primeros vectores singulares (M10); LoRA apuesta a que el cambio de pesos tiene pocos valores singulares grandes (M15); el número de condición $\kappa ={\sigma }_1/{\sigma }_d$ gobierna la velocidad del descenso de gradiente (M07).

Para $f:{\mathbb{R}}^d\to \mathbb{R}$, la derivada en $x$ es la función lineal $Df(x)$ que mejor aproxima a $f$ cerca de $x$:

$$f(x+h)=f(x)+Df(x)[h]+o(\Vert h\Vert ).$$

Cuando eliges coordenadas, $Df(x)[h]=⟨\nabla f(x),h⟩$: el gradiente $\nabla f(x)$ es el vector que representa a la derivada, y apunta en la dirección de máximo ascenso. Para $f:{\mathbb{R}}^d\to {\mathbb{R}}^m$ la derivada se representa con el jacobiano $J\in {\mathbb{R}}^{m\times d}$.

Convexidad en una imagen: $f$ es convexa si el segmento entre dos puntos de la gráfica queda por encima de la gráfica; si además es diferenciable, la tangente queda por debajo: $f(y)\ge f(x)+⟨\nabla f(x),y-x⟩$.

Ejemplo. $f(x)=\frac{1}{2}{x}^{\top }Ax$ con $A$ simétrica: $\nabla f(x)=Ax$. Compruébalo con $d=1$: $f(x)=\frac{1}{2}a{x}^2$, $f^{\prime }(x)=ax$.

Dónde lo vas a usar. Es el objeto central del bloque B: backprop es la regla de la cadena para esta derivada (M06), y el descenso de gradiente es "camina contra $\nabla f$" (M07). Mira la animación de la secante que se vuelve tangente y la superficie con su plano tangente más abajo.

Si $g:{\mathbb{R}}^d\to {\mathbb{R}}^k$ y $f:{\mathbb{R}}^k\to {\mathbb{R}}^m$, entonces $D(f\circ g)(x)=Df(g(x))\circ Dg(x)$: la derivada de la composición es la composición de las derivadas. En jacobianos, $J_{f\circ g}(x)=J_f(g(x))J_g(x)$, un producto de matrices.

Para una pérdida escalar $L=\ell (f_K(\dots f_1(x)))$, el gradiente respecto a $x$ es el producto de $K$ jacobianos aplicado a un vector. Multiplicar de derecha a izquierda (empezando por la salida escalar) cuesta $O(\text{taman˜o de la red})$; de izquierda a derecha cuesta $d$ veces más. Esa elección de orden es backprop.

Ejemplo. $h(x)=\sin (x^2)$: $h^{\prime }(x)=\cos (x^2)\cdot 2x$.

Dónde lo vas a usar. M06 deriva backprop completo para un MLP con softmax; M09 usa la misma cadena para explicar por qué el gradiente de una RNN se desvanece.

Para una variable aleatoria $Y$, $\mathbb{E}[Y]$ es su promedio ponderado por probabilidad y $\mathrm{Var}(Y)=\mathbb{E}[(Y-\mathbb{E}Y{)}^2]$ mide su dispersión. La esperanza condicional $\eta (x)=\mathbb{E}[Y\mid X=x]$ es el promedio de $Y$ dentro de la rebanada de datos donde $X=x$: la mejor predicción de $Y$ cuando solo conoces $X$, en el sentido de que minimiza $\mathbb{E}[(Y-g(X){)}^2]$ sobre todas las funciones $g$.

Ley de la esperanza total: $\mathbb{E}[Y]=\mathbb{E}[\mathbb{E}[Y\mid X]]$. Promediar por rebanadas y luego promediar las rebanadas da el promedio global.

Ejemplo. $Y\in \{0,1\}$ (clasificación binaria): $\eta (x)=\mathbb{P}(Y=1\mid X=x)$. Si $\eta (x)=0.5$, ningún clasificador puede hacerlo mejor que un volado en ese $x$.

Dónde lo vas a usar. Es la definición de "aprender" en M01: el clasificador de Bayes es $1(\eta (x)>1/2)$. Un LLM aprende $\mathbb{P}(\text{siguiente token}\mid \text{contexto})$, la misma $\eta$ con $|V|$ clases (M14). Rebana la nube en el simulador de más abajo y verás $\eta (x)$ aparecer.

Markov: si $X\ge 0$, entonces $\mathbb{P}(X\ge t)\le \mathbb{E}[X]/t$ para todo $t>0$. Chebyshev: $\mathbb{P}(|Y-\mathbb{E}Y|\ge t)\le \mathrm{Var}(Y)/t^2$. Ambas se demuestran en la sección La matemática de este módulo.

Aplicadas a una media muestral ${\bar{X}}_n$ de variables con varianza ${\sigma }^2$, Chebyshev da $\mathbb{P}(|{\bar{X}}_n-\mu |\ge \epsilon )\le {\sigma }^2/(n{\epsilon }^2)$: la ley de los grandes números con una tasa $1/n$. Es una tasa honesta pero floja. Para variables acotadas, Hoeffding la mejora a $2e^{-2n{\epsilon }^2}$, exponencial en $n$.

Ejemplo. Un eval con 100 casos y tasa de éxito real 0.8. Chebyshev: la probabilidad de desviarse 0.1 es a lo más $0.16/(100\cdot 0.01)=0.16$. Hoeffding: a lo más $2e^{-2}\approx 0.27$ para 0.1 pero $2e^{-8}\approx 0.0007$ para 0.2, mientras Chebyshev solo da 0.04.

Dónde lo vas a usar. M02 demuestra Hoeffding y lo convierte en tamaños de eval; M18 lo usa brazo por brazo en UCB.

Míralo en el simulador de esperanza condicional de más abajo. La nube son pares $(X,Y)$, la curva terracota es la estimación de $\eta (x)$ y la punteada azul es la $\eta$ verdadera: tres símbolos de esta tabla en una sola figura.

Convenciones: $\log$ es el logaritmo natural; $\Vert \cdot \Vert$ sin subíndice es $\Vert \cdot {\Vert }_2$; $1(\cdot )$ es la indicadora; $\mathrm{softmax}(z{)}_i=e^{z_i}/{\sum }_j{e}^{z_j}$; log-loss es $-\log p_y$. Esta tabla es copia de la tabla de notación de docs/04 y se actualiza junto con ella.