A ognuno dei nodi è associato un valore (numerico) di attivazione che è calcolato mediante la somma dei pesi delle connessioni in ingresso, moltiplicati per il valore di attivazione del nodo da cui la connessione parte. Il peso delle connessioni è un valore numerico dotato di segno per indicare che il segnale trasmesso può avere effetto sia eccitatorio sia inibitorio.
In analogia coi neuroni biologici le reti neurali sono quindi formate da molti elementi semplici (unità e connessioni) che elaborano l'informazione proveniente dall'ambiente esterno o da altri elementi e la trasmettono ad altre componenti. Quindi, in ogni dato momento, l'informazione contenuta nella rete corrisponde all'intero pattern di attivazione, ed è distribuita su tutta la rete, per cui il tipo di elaborazione a cui l'informazione è soggetta, è parallelo.
L'architettura della rete è definita dal numero di neuroni, dal pattern di connessioni e dall'organizzazione, spesso gerarchica, in strati.
Gli strati che comunicano direttamente con l'esterno, ricevendo informazione o restituendola sono detti rispettivamente di input e di output, mentre gli strati interni sono chiamati hidden. Le architetture si distinguono in feed-forward e ricorrenti; nel primo caso il segnale viaggia dall'input verso l'output, seguendo una progressione temporale simile a quello di uno sparo per cui l'attivazione procede solo in avanti, mentre nelle architetture ricorrenti vi sono delle connessioni che vanno da strati più alti a quelli più bassi, che si collegano a unità dello stesso strato o all'unità stessa. Queste architetture presentano delle dinamiche dipendenti dal tempo.
Da quanto abbiamo detto deriva che il comportamento di una rete neurale è determinato dai valori dei pesi e per ottenere un comportamento desiderato si deve trovare la configurazione appropriata attraverso degli algoritmi di apprendimento, applicabili a specifiche classi di architetture, con determinate funzioni di attivazione e dinamiche temporali.
L'apprendimento può essere supervisionato o non supervisionato. Nel primo caso i pesi sinaptici sono modificati in funzione della discrepanza (errore) tra l'output ottenuto e quello desiderato; l'esempio più noto di questa classe di algoritmi è la back-propagation of error di Rumelhart per cui i pesi sinaptici comunicano l'errore delle unità superiori a quelle inferiori durante la fase di correzione dei pesi. In questo modo si ottiene una progressiva minimizzazione dell'errore. Per l'apprendimento non supervisionato invece spesso non si conosce con precisione l'output ottimale, non si sa quale sia la soluzione giusta e quindi non è possibile calcolare un delta di errore; questo tipo di situazione è più simile a quella che si ritrova nei processi cognitivi e sensoriali naturali perché il sistema nervoso si auto-organizza in base alle stimolazioni che riceve dall'esterno.
Un celebre rappresentante di questa famiglia di algoritmi è la rete di Hopfield, una rete auto-associativa, in cui ogni nodo funziona sia come input che come output. La dinamica di questa rete può essere espressa in termini di energia e la regola di adattamento dei pesi sposta ciascun pattern verso un minimo di energia detto bacino d'attrazione.
Questo tipo di rappresentazione del processo di ricerca dei pesi giusti è adattabile ai compiti di ottimizzazione di funzioni come il problema del commesso viaggiatore di cui non si conosce a priori la soluzione ottimale che il sistema dovrebbe produrre.
Le applicazioni in medicina sono numerosissime; in particolare le reti neurali sono utilizzate per la classificazione diagnostica, per la modellizzazione di funzioni e apparati, per la validazione di ipotesi fisiologiche mediante la riproduzione dei modelli, per la predizione dell'insorgenza e dell'evoluzione di patologie.
Le reti neurali artificiali possono essere anche utilizzate nel campo dell'elaborazione dei segnali, per esempio per separare determinate componenti. Tale proprietà può essere utilizzata per il trattamento dei segnali biomedici, in particolare per la separazione del segnale da rumori di vario tipo: l'isolamento delle caratteristiche di un segnale, difficile da identificare normalmente, può essere molto utile ai fini diagnostici.
Sono usate anche nella ricerca di base medica per il data-mining. In tutto il mondo molti centri di ricerca si occupano dell'applicazione delle reti neurali alla medicina in vari ambiti, per esempio in Austria (il Dipartimento di Cibernetica medica studia il riconoscimento di pattern e l'analisi dei segnali, applicandoli a campi che vanno dalla cardiologia allo studio del sonno, con il riconoscimento di disturbi coronarici o l'analisi dell'EEG o ancora l'analisi del battito cardiaco fetale), in Canada (alla Università Carleton, nel Dipartimento di Ingegneria dei Sistemi lavorano sul sistema di supporto per la decisione sulla cura), in Olanda (all'Università di Nijmeng, presso il Laboratorio di Biofisica si occupano di sistemi inferenziali per la diagnosi medica), negli Stati Uniti (Università di Chicago, Dipartimento di Radiologia: diagnosi differenziali per malattie polmonari; Università del Maryland, Dipartimento di Ingegneria elettronica: simulazione dello sviluppo anomalo dei tessuti e addestramento di una rete per riconoscerli; l'Ospedale infantile di San Diego per le Neuroscienze e l'Autismo: analisi tracciati EEG per l'autismo).