Questo, perchè non è vera la relazione diretta: più dati vuol dire più informazioni. Nel nostro lavoro ad A.I.LoveTourism abbiamo a che fare giornalmente con un altro concetto , diverso da quello che stiamo affrontando, che è l’Overfitting dei dataset… ma, è un altro argomento.

Ma, tornando al topic, ci sono teorie che possano calcolare a priori quante informazioni possano essere sufficienti a costruire interi concetti?

Sì, parliamo del concetto di Entropia du Shannon

Che cos’è un messaggio, in realtà? Claude Shannon ha riconosciuto che l’ingrediente fondamentale è la sorpresa.

Se qualcuno vi dice un fatto che già conoscete, in sostanza non vi ha detto nulla. Se invece vi svela un segreto, si può dire che vi ha comunicato qualcosa.

Questa distinzione è al centro della teoria dell’informazione di Claude Shannon. Introdotta in un documento epocale del 1948, “A Mathematical Theory of Communication” (Una teoria matematica della comunicazione), fornisce un quadro matematico rigoroso per quantificare la quantità di informazioni necessarie per inviare e ricevere accuratamente un messaggio, determinata dal grado di incertezza su ciò che il messaggio inteso potrebbe dire.

• Facebook
• Instagram
• LinkedIn
• Twitter

Nessuna, perché prima di ricevere il messaggio si ha la certezza assoluta che entrambi i lanci daranno esito positivo.

Nel secondo scenario faccio i due lanci con una moneta normale: testa da una parte, croce dall’altra. Possiamo comunicare il risultato utilizzando il codice binario: 0 per testa, 1 per croce. Ci sono quattro possibili messaggi – 00, 11, 01, 10 – e ognuno richiede due bit di informazione.

Quindi, qual è il punto? Nel primo scenario si ha la certezza assoluta del contenuto del messaggio e sono necessari zero bit per trasmetterlo. Nel secondo caso c’era una possibilità su quattro di indovinare la risposta giusta, con una certezza del 25%, e il messaggio richiedeva due bit di informazioni per risolvere l’ambiguità. Più in generale, meno si sa cosa dirà il messaggio, più informazioni sono necessarie per trasmetterlo.

Shannon è stato il primo a rendere matematicamente precisa questa relazione. La catturò in una formula che calcola il numero minimo di bit – una soglia successivamente chiamata entropia di Shannon – necessario per comunicare un messaggio. Dimostrò inoltre che se un mittente utilizza un numero di bit inferiore a quello minimo, il messaggio verrà inevitabilmente distorto.

“Ha avuto la grande intuizione che l’informazione è massima quando si è più sorpresi di conoscere qualcosa”, ha detto Tara Javidi, teorica dell’informazione presso l’Università della California, San Diego.

Il termine “entropia” è preso in prestito dalla fisica, dove l’entropia è una misura del disordine. Una nuvola ha un’entropia più alta di un cubetto di ghiaccio, poiché una nuvola permette di disporre le molecole d’acqua in molti più modi rispetto alla struttura cristallina di un cubetto. In modo analogo, un messaggio casuale ha un’alta entropia di Shannon – ci sono molte possibilità di disposizione delle informazioni – mentre uno che obbedisce a uno schema rigido ha un’entropia bassa. Esistono anche analogie formali nel modo in cui l’entropia viene calcolata sia in fisica che nella teoria dell’informazione. In fisica, la formula dell’entropia consiste nel prendere il logaritmo dei possibili stati fisici. Nella teoria dell’informazione, è il logaritmo dei possibili esiti degli eventi.

La formula logaritmica dell’entropia di Shannon smentisce la semplicità di ciò che cattura, perché un altro modo di pensare all’entropia di Shannon è il numero di domande “sì o no” necessarie, in media, per accertare il contenuto di un messaggio.

Per esempio, immaginiamo due stazioni meteorologiche, una a San Diego e l’altra a St. Louis. Ciascuna vuole inviare all’altra le previsioni a sette giorni per la propria città. A San Diego c’è quasi sempre il sole, il che significa che si ha un’elevata fiducia in quello che diranno le previsioni. Il tempo a St. Louis è più incerto: la probabilità di una giornata di sole è più vicina al 50%.

Informazione ed entropia

Il tasso di entropia di una sorgente dati indica il numero medio di bit per simbolo necessari per codificarlo. Gli esperimenti di Shannon con predittori umani mostrano un tasso di informazione tra 0,6 e 1,3 bit per carattere in inglese;^[12] il Algoritmo di compressione PPM può raggiungere un rapporto di compressione di 1,5 bit per carattere nel testo inglese.

La definizione di entropia di Shannon, quando applicata a una fonte di informazioni, può determinare la capacità minima del canale richiesta per trasmettere in modo affidabile la fonte come cifre binarie codificate. L’entropia di Shannon misura le informazioni contenute in un messaggio in contrapposizione alla porzione del messaggio che è determinata (o prevedibile). Esempi di questi ultimi includono la ridondanza nella struttura del linguaggio o le proprietà statistiche relative alle frequenze di occorrenza di coppie di lettere o parole, terzine ecc.

La capacità minima del canale può essere realizzata in teoria utilizzando il set tipico o in pratica usando Huffman, Lempel – Ziv o codifica aritmetica. Guarda anche Complessità di Kolmogorov. In pratica, gli algoritmi di compressione includono deliberatamente una ridondanza giudiziosa sotto forma di checksum per proteggersi dagli errori.

Uno studio del 2011 in Scienza stima la capacità tecnologica mondiale di immagazzinare e comunicare informazioni compresse in modo ottimale normalizzate sugli algoritmi di compressione più efficaci disponibili nell’anno 2007, stimando quindi l’entropia delle sorgenti tecnologicamente disponibili

• Facebook
• Instagram
• LinkedIn
• Twitter