El gran avance llegó al conectar varias neuronas artificiales y realizar el procesamiento en varias capas sucesivas. El aumento de la capacidad de cálculo también permitió entrenar redes más complejas.

Entre las capas de entrada y de salida se encuentran las capas ocultas. Estas procesan las salidas de las capas anteriores: a partir de características sencillas, las capas posteriores pueden construir patrones más complejos.

La palabra «profundo» se refiere a las numerosas capas sucesivas de procesamiento. En su base siguen estando las operaciones matemáticas y los parámetros ajustables.

El entrenamiento eficaz de las redes multicapa se extendió gracias a la retropropagación, en inglés backpropagation.

Durante el entrenamiento se compara la respuesta de la red con el resultado deseado. Partiendo del error de la salida y avanzando hacia atrás, la retropropagación calcula cómo depende el error de cada parámetro. El algoritmo de optimización ajusta los pesos a partir de esos cálculos.

El objetivo de repetir muchas veces el entrenamiento es reducir el error. Después, el modelo entrenado puede probarse con datos nuevos que no hayan formado parte del entrenamiento.

Más información: IBM: cómo funciona la retropropagación.

El tamaño de los modelos suele describirse mediante el número de parámetros y de capas. También importa la anchura de las capas, es decir, el número de neuronas que contienen.

Un número mayor de parámetros implica más valores numéricos ajustables. Sin embargo, por sí solo no demuestra que el modelo resuelva mejor una tarea concreta.

El rendimiento depende conjuntamente de la estructura de la red, la cantidad y la calidad de los datos de entrenamiento, las funciones de activación, el procedimiento de entrenamiento y la naturaleza de la tarea.

El tamaño de un modelo que distingue perros y gatos también depende de la arquitectura elegida. No existe un mínimo obligatorio de un millón de parámetros válido para todos estos modelos.