Optimizations

L'ottimizzazione delle reti neurali consente di individuare il set corretto di iperparametri che massimizzano (o minimizzano) alcune funzioni obiettivo, come per esempio la loss function.

Agendo sugli iperparametri possiamo modificare:

• la dimensionalità dello spazio della lookup table di embedding
• la dimensione del batch dei dati di input
• il numero di neuroni all'interno degli hidden layer
• il numero di epoch
• il valore del learning rate
• il tempo che usiamo per addestrare la rete