Scarica La Teoria dell'Informazione: Da Enigma a Shannon e più Sintesi del corso in PDF di Fisica solo su Docsity!
Seife -La scoperta dell'universo Charles Seife ci spiega in che modo la teoria dell’informazione è diventata la scienza cruciale dei nostri tempi. Nata con la decifrazione del codice Enigma nella Seconda Guerra mondiale e cresciuta con la rivoluzione dei computer, oggi la teoria dell’informazione è all’avanguardia della fisica teorica. Non solo. Le leggi dell’informazione stanno incominciando a rivelare le risposte ad alcune delle più importanti domande della scienza e stanno dando ai fisici. 1.Ridondanza(CRITTOGRAFIA) Nella primavera del 1942, le forze armate americane vacillavano sotto il peso di una serie ininterrotta di sconfitte. La Marina giapponese era padronaincontrastata del Pacifico, ed era sempre più vicina al territorio americano.Per quanto critica fosse la situazione, la guerra non era persa. E i crittoanalisti americani stavano per servirsi di un’arma importante quanto le bombe e i cannoni: l’informazione. I decodificatori americani avevano trovato un codice utilizzato dalla Marina giapponese. Non era stato facile, ma per la fine dimaggio gli analisti erano riusciti a rivelare l’informazione che vi si nascondeva.Secondo i messaggi intercettati e decodificati dalla base americana, il nomein codice era AF questo stava per diventare l’obiettivo di un attacco navale su vastascala. Gli analisti americani sapevano che AF era un’isola nel Pacifico: conogni probabilità l’isola di Midway, ma non ne avevano la certezza assoluta.Se si fossero sbagliati avrebbe comportato grandi perdite.Il capitano di fregata Joseph Rochefort, capo del centro di crittografia escogitò uno stratagemma per ottenere quell’ultima informazione. Ordinò alla base di Midway di trasmettere unarichiesta di aiuto fasulla. Nel messaggio si affermava che il sistema didistillazione dell’acqua dell’isola di Midway era stato danneggiato, e che la base aveva esaurito le scorte d'acqua. Anche i giapponesi,che intercettavano il messaggio. Era esattamente ciò che sperava Rochefort. Poco dopo l’invio del messaggio fasullo, i servizi segreti della Marina intercettarono il debole segnale di una trasmissione radio giapponese: «AF è a corto d’acqua».Il 4 giugno 1942 la forza di invasione dell’ammiraglio Isoroku Yamamoto si trovò di fronte allaflotta dell’ammiraglio Chester Nimitz. Il Giappone aveva perso la battaglia. La Seconda Guerra Mondiale fu la prima guerra dell’informazione.Proprio mentre i crittoanalisti statunitensi estraevano informazioni dai codici giapponesi. Creazione e decifrazione di codici sono sempre state strettamente legate a quella che sarebbe diventata in seguito la teoria dell’informazione. Per migliaia di anni, tuttavia, crittografi e crittoanalisti non si resero conto che i loro erano i primi passi incerti in un campo della scienza totalmente nuovo. In fin dei conti, la crittografia è più vecchia della scienza. Fin dall’antichità, i re e i generali si sono affidati in continuazione all’informazione protetta.L’elaborazione di codici risale agli albori della civiltà occidentale. Ad esempio la Grecia antica stava per essere sottomessa dall’impero persiano,ma un messaggio segreto nascosto sotto la cera di una tavoletta per la scrittura avvertì di un attacco. Pertanto i greci cominciarono immediatamente i preparativi per la guerra. Grazie all’avvertimento tempestivo, inflissero ai persiani una sconfitta ponendo fine alla minaccia persiana. Se nonfosse stato per quel messaggio nascosto, la fragile alleanza delle città-stato greche non sarebbe stata in grado di opporsi alla superiorità schiacciante della flotta persiana.A volte il tentativo fallito di trasferire un’informazione può cambiare il corso della storia. Un esempio di rilevanza dei codici nascosti è attribuibile a Maria, regina di Scozia, fu condannata alla decapitazione per un codice mal concepito. Lei e i suoi complici avevano elaborato un codice,e si scambiavano dei brevi messaggi cifrati che venivano
nascosti nei tappi dei barili di birra. Sfortunatamente per Maria, il capo delle spie inglesi, scoprì i messaggi e li fece decifrare. Scrisse persino un falso messaggio da parte di Maria ai cospiratori, inducendo i traditori a rivelare i nomi di tutti quelli che erano coinvolti nel complotto. Quando la regina Maria venne processata per tradimento, i messaggi furono la prova più importante. I codici e i cifrari possono assumere molte forme diverse, ma hanno tutti lo stesso scopo: trasferire informazione da una persona a un’altra. Al tempo stesso, devono essere sicuri: devono impedire che chi intercetta il messaggio non riesca a ottenere quell’informazione. Per buona parte della storia dell’umanità i codici non furono mai molto sicuri. Un decifratore abile era in grado di trovare la chiave dei codici più sofisticati semplicemente con un minimo di concentrazione.Per quanto i crittografi giochino con parole, simboli, numeri ecc il rischio che l’informazione venga scoperta mentre va da un posto a un altro è inevitabile.La proprietà fondamentale dell’informazione è la più difficile da accettare ossia l’informazione è reale e concreta tanto quanto la massa, l’energia o la temperatura. L’informazione siccome reale può essere misurata e manipolata proprio come ad esempio il peso di una mela. L’informazione deve viaggiare dal mittente al destinatario nello stesso modo in cui un carico di lingotti d’oro viaggerebbe da Fort Knox alla Zecca. Anche i computer più moderni devono trovare un modo per trasferire l’informazione da un posto all’altro – può viaggiare su una linea telefonica, o in un cavo , o addirittura attraverso l’aria, con un collegamento senza fili. Dato che l’informazione di un oggetto è una proprietà concreta e misurabile come la massa, allora essa può essere spostata o rubata proprio come può esserlo una massa. Un decodificatore che intercetta un messaggio del nemico cerca di estrarre dell’informazione da un ammasso di lettere e simboli apparentemente senza senso. Ciò è possibile solo se il codice è imperfetto – se l’informazione trapela nonostante tutti gli sforzi di chi ha elaborato il codice.L’idea che qualcosa di apparentemente astratto come l’informazione sia in realtà misurabile – e tangibile – è uno dei dogmi centrali della teoria dell’informazione, nata negli anni immediatamente successivi alla Seconda Guerra Mondiale quando i matematici elaborarono una serie di regole che definivano l’informazione e ne descrivevano il comportamento. Nonostante l’informazione fosse esistita per secoli, fu solo durante la Seconda Guerra Mondiale che i crittografi cominciarono a esplorare i confini della teoria dell’informazione.La scienza della crittografia potrà dare un’idea di come l’informazione sia reale e misurabile, e debba essere trasferita da un luogo all’altro come un lingotto d’oro, poiché una delle maledizioni del crittografo – la ridondanza – è legata intimamente al concetto di informazione, e comprendere la ridondanza può servire a spiegare come mai l’informazione sia palpabile come un atomo in un blocco di materia.Quando ricevete un messaggio, anche qualcosa di semplicissimo, come «il cielo è blu», per capire il senso del messaggio dovete prendere la sequenza delle parole ed elaborarle. Ricevete una serie di segni su un pezzo di carta (o di suoni attraverso l’aria) ed estraete il significato che vi è racchiuso. Il vostro cervello prende l’insieme grezzo di segmenti e di curve che si pronuncia «il cielo è blu» e manipola i simboli fino a capire che il messaggio consiste in un’affermazione sul colore della volta celeste, là fuori. Questo processo, questa estrazione del significato da un insieme di simboli, è un meccanismo inconscio. Questo processo inconscio – prendere una sequenza di simboli e ricavarne un significato. La ridondanza è l’insieme degli indizi supplementari contenuti in una frase o in un messaggio che consentono di coglierne il senso anche quando il messaggio è incompleto. In realtà, qualsiasi frase in qualsiasi linguaggio è altamente ridondante. Una frase in qualunque lingua –contiene sempre più informazione di quella necessaria a decifrarla. Ad esempio al "ciao come stai" se noi togliesssimo le vocali saremmo in grado di decifrarla ed estrarne il senso. Il significato di un messaggio può restare
fili, connettori e altri elementi che potevano essere modificati. In tutto, una macchina Enigma standard a tre rotori poteva essere configurata in modi diversi.Non c’è da stupirsi se Enigma aveva la fama di essere inviolabile. Fortunatamente per la civiltà occidentale, non lo era.Uno dei decifratori più famosi all'epoca era Turing , nato a Londra nel 1912, sarebbe diventato uno dei fondatori dell’informatica – la scienza che studia, a livello teorico, gli oggetti che manipolano l'inforamazione).Turing diede vita ad un computer ideale, noto oggi con il nome di macchina di Turing, un automa che legge le proprie istruzioni da un nastro. Il nastro è diviso in quadrati che possono essere vuotio contenere un simbolo. Tale macchina può effettuare solamente una manciata di funzioni semplici: leggere cosa c’è scritto sul nastro in una posizione data, far avanzare il nastro, riavvolgerlo, e scrivervi un simbolo o cancellarlo. Negli anni trenta, Turing e il suo collega della Princeton University, Alonzo Church, dimostrarono che questo robot così semplice è un computer universale, capace di effettuare ogni operazione teoricamente realizzabile da un computer, compresi i supercalcolatori modernL’idea di un computer universale si sarebbe rivelata cruciale per lo sviluppo dei computer e dellateoria dell’informazione .Turing è famoso per aver decifrato Enigma. Partendo dal lavoro svolto da alcuni matematici polacchi, Turing e i suoi colleghi di Bletchley Park sfruttarono la ridondanza dei messaggi codificati da Enigma per estrarre l’informazione nascosta. Alcuni difetti presenti nel sistema di cifratura di Enigma inserivano una certa ridondanza nei messaggi codificati, contribuendo a indebolire il codice. Alcuni di questi difetti erano dovuti alla struttura di Enigma (ad esempio, la macchina Enigma non lasciava mai inalterata una lettera: quanso una E criptata la lettera che seguiva poteva essere qualsiasi lettera tranne la E ).Altri difetti erano legati al metodo di comunicazione dei tedeschi. Tutti insieme, questi difetti permisero a Turing e ai suoi colleghi di decifrare i messaggi in codice di Enigma mediante una serie di macchine calcolatrici primitive costruite appositamente, e note con il nome di «bombe».Alla fine, decrittare un messaggio di Enigma diventò perTuring e per le altre oche di Bletchley Park una questione di poche ore.La crittoanalisi di Enigma fu l’ultimo grande sforzo di decifrazione compiuto prima che gli scienziati imparassero a definire l’informazione, a maneggiarla e ad analizzarla. Purtroppo,Turing, omosessuale, dovette dichiararsi colpevole di «atti osceni gravi» in seguito alla relazione con un diciannovenne. Per non finire in prigione, Turing accettò di sottoporsi a particolari «cure»: un ciclo di iniezioni ormonali che avrebbero dovuto neutralizzare le sue inclinazioni sessuali. Il trattamento non funzionò, e la «depravazione» divenne un’onta dalla quale Turing non si liberò mai. Dopo due anni di tormenti si suicidò. Quello di Turing non fu l’unico suicidio a gettare un’ombra sulla scienza dell’informazione. In realtà, un alone tragico avvolgeva le radici stesse della teoria dell’informazione, quei primi studi di fisica che posero le fondamenta della rivoluzione futura. 3.Informazione All’inizio, la teoria dell’informazione non sembrava poi così importante.È vero, aveva cambiato il modo in cui i crittografi e gli ingegneri pensavano al proprio lavoro; è vero, aveva posto le basi per la costruzione dei computer che ben presto sarebbero entrati a far parte della vita di tutti i giorni. Ma neanche il fondatore della teoria dell’informazione, Claude Shannon, immaginava quanta strada avrebbe fatto la sua idea. L’informazione è ben più della ridondanza nel codice di un generale o, per fare un esempio più recente, dell’accendersi e spegnersi dei circuiti di un computer. L’eroe della teoria dell’informazione si chiamava Claude Elwood Shannon. L’essenza della comunicazione non è altro che la trasmissione di
un’informazione da una persona all’altra, e dunque non c’è da stupirsi se le attività del laboratorio finirono per interessare aree che oggi qualifichereste come «tecnologia dell’informazione». Il primo computer digitale binario e il primo transistor, ad esempio, furono sviluppati in quei laboratori.Shannon era decisamente tagliato per il lavoro ai Bell Labs. Si trattava di un problema molto pratico: gli ingegneri dei Bell Labs volevano sapere come far transitare il maggior numero possibile di comunicazioni telefoniche su una stessa linea senza che le chiamate interferissero tra di loro.o. Non esisteva un modo ovvio per calcolare quante chiamate potessero essere stipate contemporaneamente da una compagnia telefonica su una stessa linea. Fu Shannon a rendere possibili i primi passi.La prima grande intuizione di Shannon fu quella di pensare all’informazione come a qualcosa che vi aiuta a rispondere a una domanda.Se anche non trovate immediatamente proprio la risposta esatta, però, è possibile che laindoviniate senza esitazioni non appena qualcuno vi fornirà le informazioni adeguate. Tutto questo, per ora, è piuttosto astratto, e allora facciamo un esempio concreto. Il 18 aprile 1775, subito prima dello scoppio della Guerra d’Indipendenza, gli americani sapevano che le truppe britanniche stavano per entrare in azione. Quello che sapevano era che l’esercito britannico, concentrato a Boston, si sarebbe diretto con ogni probabilità a nord.Ma non sapevano quale delle due strade possibili avrebbe imboccato. La prima era facile ma lunga: le truppe avrebbero potuto lasciare Boston dirigendosi verso sud-est seguendo una striscia di terra molto sottile, per poi piegare a nord verso il bersaglio. La seconda strada presentava difficoltà logistiche maggiori, ma era più veloce: l’esercito avrebbe potuto essere traghettato attraverso l’estuario del fiume Charles per poi marciareimmediatamente a nord, in direzione di Lexington. La domanda era «che strada sceglieranno gli inglesi?»Le risposte possibili erano due: la via di terra o quella di mare. I patrioti che aspettavano sulla riva settentrionale del fiume non avevano informazioni sulla strategia britannica, e quindi non avevano idea di dove organizzare la difesa.Per fortuna, una settimana prima Paul Revere, insieme ad altri patrioti americani, aveva messo a punto un sistema per acquisire e trasmettere l’informazione alle truppe incaricate della difesa. Non appena i britannici si misero in marcia, il sagrestano della Old North Church di Boston – come tutti gli altri cittadini di Boston – vide che strada avevano scelto, dopo di che si arrampicò in cima al campanile e servendosi di alcune lanterne passò l’informazione agli americani sulla riva opposta. Una luce accesa avrebbe voluto dire che i britannici avevano scelto la via di terra, più lunga; due luci avrebbero significato che avevano preferito farsi traghettare. Una luce per la via di terra, due per quella d’acqua.Quella sera, quando sul campanile apparvero due luci, i patrioti seppero subito qual era la risposta.Dal punto di vista di Shannon, questo è un classico esempio di trasmissione dell’informazione. Prima del messaggio – prima che le lanterne venissero issate sul campanile – i suoi destinatari, i patrioti americani, potevano solo avanzare ipotesi, e ogni ipotesi aveva il 50 per cento dipossibilità.La vera forza del punto di vista di Shannon sull’informazione è che costituisce una misura di quanta informazione viene trasmessa in un dato messaggio. Shannon capì che una domanda così semplice – per la quale,cioè, le risposte possibili sono due – era sostanzialmente una domanda del tipo «sì/no». Gli inglesi arriveranno dalla terra o dal mare? Sei un maschio o una femmina? Per ognuno di questi interrogativi è sufficiente una domanda di tipo sì/no. E la matematica offre uno strumento eccellente per trattare le domande di questo tipo: la logica booleana.La logica booleana lavora con vero e falso, sì e no, acceso e spento. La risposta a ognuna di queste semplici domande di tipo sì/no può essere rappresentata da un simbolo scelto all’interno di una delle coppie seguenti. V/F, S/N, 1/0.. A una domanda di tipo sì/no si può sempre rispondere con un singolo simbolo che può assumere uno tra due valori possibili. Tale simbolo è una cifra binaria (binary
mio word processor ha codificato la sequenza di lettere dell’alfabeto inglese che compongono «Ouagadougou» in una serie di bit, un insieme di 1 e di 0 sul mio hard disk. Per farlo, ha trasformato i simboli che compongono l’alfabeto inglese in sequenze di 1 e di 0 – in pratica, una serie di risposte a domande. Il linguaggio scritto non è altro che una sequenza di simboli, e i simboli possono essere scritti come sequenza di bit. Quindi, qualsiasi domanda che ammetta una risposta esprimibile per iscritto in un certo linguaggio, qualsiasi domanda che possa essere espressa in maniera finita, può venir codificata in una sequenza di 1 e di 0.Shannon vide che valeva anche la logica inversa. Se intercettate un messaggio, se catturate una sequenza di simboli, come le lettere di un alfabeto, potete stimare la quantità massima di informazione che può essere contenuta in quella sequenza – anche se non ne conoscete la natura. Le regole che vi consentono di generare tutto il messaggio a partire da pochi bit vi permettono di correggere la sequenza nel caso in cui si verifichi un errore di stampa. Le regole rendono la sequenza ridondante.La ridondanza è la roba di troppo in una sequenza di simboli, la parte prevedibile che vi permette di ricostruire l’informazione mancante. Grazie alle regole non scritte, alle regolarità nelle sequenze di simboli, possiamo ignorare gran parte del messaggio e addirittura toglierne dei pezzi. messaggio è semplice e altamente ridondante.La ridondanza in una sequenza di bit e di byte è ben nota agli informatici soprattutto per due ragioni. La prima è la correzione degli errori. Nel comporre sequenze di numeri molto lunghe, gli esseri umani commettono errori, e quindi le carte di credito, i numeri di serie, i codici a barre e molti altri numeri contengono una ridondanza, affinché un computer possa accorgersi se qualcuno ha commesso un errore durante l’immissione dei dati.La seconda ragione per la quale gli informatici conoscono la ridondanza è che i files contenuti nei computer non sono altro che un insieme di 1 e di 0 scritti sul rivestimento magnetico di un disco fisso o di un altro dispositivo simile, in modo tale che rimuovendo la ridondanza e lasciando l’informazione gli ingegneri possono comprimere un file per fargli occupare meno spazio sul disco.Le lettere inglesi sono simboli così come quelle di ogni altra lingua,in linea di principio, l’inglese scritto – una sequenza di quei simboli – non è diverso da una sequenza di 1 e di 0. Come ogni altra sequenza di simboli fortemente ridondante, l’inglese può essere compresso notevolmente senza alcuna perdita di informazione.Uno dei successi maggiori della teoria dell’informazione di Shannon è l’aver dato una definizione formale della ridondanza e l’aver capito esattamente quanta informazione può essere trasportata da una sequenza di simboli – ridondante o meno.L’idea centrale della teoria dell’informazione di Shannon è l’entropia. L’entropia e l’informazione sono strettamente correlate; l’entropia, in effetti,è una misura dell’informazione. Una delle idee centrali che portò Shannon al teorema della capacità di un canale fu la derivazione di un metodo matematico per misurarel’informazione. Nel 1948 Shannon trovò una funzione che gli permetteva di analizzare in termini di bit l’informazione contenuta in un messaggio o trasmessa su una linea di comunicazione. In realtà la funzione di Shannon (sembrava proprio la stessa utilizzata da Boltzmann per analizzare l’entropia di un recipiente pieno di gas).L'informazione è intimamente legata all’entropia e all’energia – roba tipica della termodinamica. In un certo senso, la termodinamica non è che un caso particolare di teoria dell’informazione. Minore è la ridondanza di un messaggio, maggiore è l’informazione che quest’ultimo può contenere, e dunque, misurando l’impredicibilità, Shannon sperava diarrivare all’informazione contenuta in un messaggio.Ciò che dice Shannon è che le sequenze che sembrano casuali – quelle meno predicibili – sono quelle che possono trasportare la massima quantità di informazione per simbolo. Le sequenze che appaiono meno casuali, quelle predicibili, sono ridondanti e dunque è probabile che trasportino una quantità di informazione per simbolo minore di quelle dall’aspetto casuale.A parte
questa avvertenza, parlare dell’informazione contenuta in una sequenza di cifre ha assolutamente un senso, ma se volete farlo – se volete misurare quanta informazione potrebbe essere contenuta in un insieme di simboli – dovete trovare un modo per valutare la predicibilità, la «casualità apparente» della sequenza in questione (la casualità definita da Shannon coincide esattamente con la funzione dell’entropia di Boltzmann).L'entropia di Boltzmann lanciando alcune biglie in una scatola. Poi abbiamo contato se le biglie finivano nella metà sinistra o nella metà destra della scatola. È come per il lancio della moneta: ogni biglia che finisce nella scatola può fermarsi a destra o a sinistra, proprio come una moneta può dare testa o croce. L’entropia di Boltzmann è una misura della probabilità dei vari risultati possibili nell’esperimento delle biglie. I più probabili, quelli in cui le biglie si ripartiscono più o meno equamente da una parte e dall’altra della scatola, hanno la massima entropia; i meno probabili, quelli in cui il 100 per cento delle biglie finisce nella metà sinistra o in quella destra, hanno l’entropia più piccola. E quelli compresi tra i casi estremi, per esempio quelli in cui il 75 per cento delle biglie finisce a sinistra e il 25 per cento a destra, hanno un’entropia intermedia.È esattamente la stessa cosa che abbiamo visto per le sequenze di cifre. Il caso in cui si ha 50 per cento di 1 e 50 per cento di 0 sembra il più casuale,può portare la massima quantità di informazione e ha l’entropia di Shannon più alta. L’entropia e l’informazione sono gemelle.Quando Shannon capì che l’entropia di una sequenza di simboli è correlata alla quantità di informazione che la sequenza è in grado di trasportare, si ritrovò improvvisamente in possesso di uno strumento per quantificare l’informazione e la ridondanza in un messaggio, il che, dopo tutto, era quello che si proponeva di determinare. Shannon riuscì a dimostrare matematicamente quanta informazione può essere trasmessa con un mezzo di comunicazione qualsiasi, che si tratti delle luci di un semaforo o di segnali di fumo, di lanterne in un campanile o di un telegrafo. O ancora, quanta informazione può viaggiare su un cavo telefonico in rame. Si tratta di un risultato sorprendente: c’è un limite fondamentale alla quantità di informazione che potete trasmettere con un dato dispositivo. Shannon, inoltre, capì come trattare i disturbi nelle connessioni tra un mittente e un destinatario (i «canali» rumorosi) e le tecniche di trasmissione basate su simboli continui anziché discreti. Il suo lavoro portò ai codici di correzione degli errori che consentono ai computer di funzionare. Shannon dedusse anche quanta energia serve per trasmettere un bit da un posto all’altro, date certe condizioni. Il lavoro di Shannon diede accesso a un campo della conoscenza scientifica totalmente nuovo: la teoria della comunicazione e dell’informazione. Per anni, i crittografi avevano cercato di nascondere l’informazione e ridurre la ridondanza senza sapere come misurare l’una o l’altra; gli ingegneri avevano cercato di mettere a punto sistemi in grado di trasmettere messaggi in maniera efficiente senza sapere i limiti che la Natura poneva alla loro efficienza. La teoria dell’informazione di Shannon rivoluzionò la crittografia, l’ingegneria dei segnali, la scienza dei computer e tanti altri settori. Se la teoria dell’informazione non avesse fatto altro, però, difficilmente si sarebbe potuto parlare di una rivoluzione allo stesso livello della relatività e della meccanica quantistica.Negli anni trenta Alan Turing, che di lì a poco avrebbe violato il codice Enigma, avesse dimostrato che una macchina semplice, capace solamente di imprimere o cancellare un simbolo su un nastro e far scorrere il nastro, era in grado di fare, in linea di principio, tutto quello che un computer avrebbe potuto fare. Shannon aveva dimostrato che i bit sono l’unità fondamentale dell’informazione, e quindi l’elaborazione di quest’ultima non era altro che la manipolazione dei bit, qualcosa che la macchina di Turing era stata progettata per fare. Viceversa, un computer non era altro che una macchina per l’elaborazione dell’informazione, e nell’elaborare l’informazione un computer doveva sottostare alle leggi formulate da Shannon. La manipolazione, l’elaborazione e la trasmissione
