Η Κανονική κατανομή και η προέλευση της

Έχουν περάσει από τα χέρια μου αρκετά εγχειρίδια στατιστικής και πιθανοτήτων με εισαγωγή στην κανονική κατανομή. Σχεδόν πάντα ξεκινούσαν με τον μαθηματικό ορισμό και συνέχιζαν με τις ιδιότητες και τις χρήσεις της κατανομής αυτής. Για πολύ καιρό δεν είχα βρει κάποιο βιβλίο που να εξηγεί πώς δημιουργήθηκε αυτός ο τύπος έως ότου κάποια στίγμη έπεσε στα χέρια μου ένα βιβλίο ονόματι Lady Luck που, αν και παλιό, αποτελεί μια πολύ καλή εισαγωγή πάνω στο θέμα πιθανότητες και μέσα σε αυτό βρήκα την πρώτη σαφή περιγραφή για το πως προκύπτει η κανονική κατανομή.

Έκτοτε πέρασαν και άλλα βιβλία από τα χέρια μου και με την εξάπλωση του διαδικτύου βρήκα και αρκετές Οnline αναφορές γύρω από το θέμα αυτό. Παρόλα αυτά ακόμα θεωρώ ότι η σχετική βιβλιογραφία είναι περιορισμένη και αν την περιορίσουμε στα ελληνικά μάλλον ανύπαρκτη. Ο σκοπός αυτής της εισαγωγής είναι να εξοικειώσει των αναγνώστη με την κανονική κατανομή αλλά και να κάνει κατανοητό και το πως προκύπτει αυτός ο περίεργος τύπος καθώς και την πορεία της ανακάλυψής του.

Η κανονική κατανομή αποτελεί μάλλον την πιο σημαντική στατιστική κατανομή, έχει πολλές διαφορετικές χρήσεις και συναντάται σε πολλές διαφορετικές περιπτώσεις. Παράδειγμα μεταβλητών που ακολουθούν την κανονική κατανομή αποτελούν το ανθρώπινο ύψος, η πίεση αίματος, λάθη ακριβείας σε μετρήσεις, αριθμός επιτυχιών σε παιχνίδια με ζάρια, και πολλές άλλες. Είναι αξιοπερίεργο πώς ένας τύπος εφαρμόζεται σε τόσες φαινομενικά διαφορετικές περιπτώσεις. Τι σχέση μπορεί ναι έχει το ανθρώπινο ύψος με τα λάθη ακριβείας μετρήσεων και τα τυχερά παιχνίδια;
Η κανονική κατανομή συνδέει όλα αυτά τα φαινομενικά ασύνδετα φαινόμενα και στην συνέχεια θα προσπαθήσω να δείξω το πώς.

Χρήση Κανονικής κατανομής

διαγραμα: (h1)diagram h1
διαγραμα: (h2)diagram h2
διαγραμα: (h3)diagram h3
διαγραμα: (h4)diagram h4
διαγραμα: (h5)diagram h5
διαγραμα: (h6)diagram h6

Τυπική απόκλιση

η τυπική απόκλιση είναι ένα μέτρο διασποράς, μας δείχνει πόσο απομακρυσμένες είναι η τιμές του πληθυσμού από τον μέσο όρο του.

αυτο που απεικονίζει είναι κατά προσέγγιση το ποσό κατά μέσο όρο απέχουν οι τιμές από τον μέσο όρο του πληθυσμού. η τυπική απόκλιση προέρχεται από μια μετατροπή της απόλυτης απόκλισης (που υπολογίζει ακριβώς το μέση απόσταση) αλλάζοντας την απόλυτη τιμή με τετραγωνική ρίζα του τετραγώνου που είναι περίπου το ίδιο.

Η τυπική απόκλιση δημιουργήθηκε από την ανάγκη να απαλειφθεί η απόλυτη τιμή από των τύπο της απόλυτης απόκλισης γιατί σε πολλές περιπτώσεις κάνει τους υπολογισμούς δυσκολότερους.

Για να προσεγγίσουμε το ζήτημα της κανονικής κατανομής θα ξεκινήσουμε με μια μικρή εισαγωγή για το πως την χρησιμοποιούμε.
Ας υποθέσουμε ότι διεξάγουμε μια έρευνα για την κατανομή ύψους των ανθρώπων μιας περιοχής. Συλλέγουμε μετρήσεις για το ύψος από 800 άτομα και θέλουμε να μελετήσουμε το δείγμα αυτό. Τελικά έχουμε στα χέρια μας ένα σύνολο μετρήσεων που ας υποθέσουμε ότι έχουν γίνει με ακρίβεια εκατοστού του μέτρου (cm).
Ξεκινάμε υπολογίζοντας τα απλά περιγραφικά στατιστικά και βρίσκουμε τα εξής:

ΜετροΤιμη
πλήθος800
μοναδικές τιμές[n1]Μοναδικές τιμές: το σύνολο των διακριτών τιμών που λαμβάνει ο πληθυσμός.46
μεση τιμη179.7
διάμεσος τιμή180
τυπική απόκλιση[n2]Για την τυπική απόκλιση κατατάξτε το κουτί με την επεξήγηση στο πλάι του άρθρου.8.2
minimum157
maximum203

Eάν τοποθετήσουμε τις τιμές σε σειρά και τις απεικονίσουμε τις τιμές σε ένα απλό χ,ψ διάγραμμα παίρνουμε το διάγραμμα (h1). σε αυτό το διάγραμμα μπορούμε να δούμε τη τιμές ύψους έχουν καταγράφει αλλά δεν μπορούμε να δούμε το πλήθος των ατόμων που έχουμε σε κάθε τιμή ύψους. Συνεχίζουμε φτιάχνοντας ένα πίνακα συχνοτήτων για κάθε διακριτή τιμή ύψους που έχουμε συλλέξει και κατασκευάζουμε το ραβδόγραμμα (h2). Σε αυτό βλέπουμε ότι οι τιμές συγκεντρώνονται γύρω από τον μέσο όρο και όσο απομακρυνόμαστε μειώνονται με ταχύ ρυθμό. στον πίνακα συχνοτήτων διαιρούμε την κάθε συχνότητα εμφάνισης (κάθετος άξονας στο (h1)) με το συνολικό αριθμό ατόμων (800) υπολογίζοντας έτσι την πιθανότητα εμφάνισης του κάθε ύψους και δημιουργούμε το ραβδόγραμμα (h3) το οποίο στην θέση των συχνοτήτων θα έχει πιθανότητες.

Μέχρι στιγμής έχουμε κάνει τα βασικά για να μπορέσουμε να πάρουμε μια ιδέα για το πως κατανέμεται το ύψος στον πληθυσμό. Ας προσπαθήσουμε να απαντήσουμε μερικά ερωτήματα.

εάν μας ενδιαφέρει η πιθανότητα του επιλέγοντας τυχαία ένα άτομο από τον πληθυσμό αυτό να έχει ύψος 1.80, μπορούμε απλά να κοιτάξουμε το ραβδόγραμμα (h3). Η πιθανότητα αυτή είναι: 0.05 ή 5%. Η πιθανότητα αυτή είναι αρκετά μικρός αριθμός μιας και η πιθανότητα κατανέμεται σε 46 διακριτές τιμές ύψους (το άθροισμα όλων των τιμών πιθανότητας εμφάνισης έχει άθροισμα 1).

Ας κάνουμε μια πιο ενδιαφέρουσα ερώτηση. Πια είναι η πιθανότητα μια τυχαία επιλογή να μας δώσει ένα μέτριου ύψους άτομο;

Αν ορίσουμε ως μέτριου ύψους άτομο αυτό που έχει ύψος από 175cm ως 185cm τότε για να απαντήσουμε στην ερώτηση θα πρέπει να αθροίσουμε όλες τις πιθανότητες από 175 ως 185cm. εάν κάνουμε αυτή τη διαδικασία θα βρούμε ότι η πιθανότητα είναι: 0.5 ή 50%.

Ας σταθούμε λίγο σε αυτό το αποτέλεσμα, για μπορέσουμε να απαντήσουμε σε αυτή την ερώτηση κάναμε χρήση της σύμβασης ότι μετρήσαμε τα άτομα σε ακρίβεια cm και χρειάστηκε να υπολογίσουμε και να αθροίσουμε πιθανότητες για 11 διαφορετικές τιμές ύψους.
μήπως υπάρχει κάποιος τρόπος να μην υπολογίσουμε και αθροίσουμε όλες αυτές τις πιθανότητες;
Τι θα κάναμε εάν τα άτομα είχαν μετρηθεί με ακρίβεια mm;
Αν αντί για ύψος είχαμε κάποια μεταβλητή που μπορεί να πάρει οποιαδήποτε τιμή στο πως θα ομαδοποιούσαμε τις τιμές;

Σε αυτό το σημείο μπορούμε να δούμε την χρήση των κατανομών πιθανότητας και για την περίπτωση μας της κανονικής κατανομής. Γνωρίζοντας ότι το ύψος ακολουθεί την κανονική κατανομή μπορούμε με την βοήθειά της, να υπολογίσουμε την πιθανότητα για οποιοδήποτε διάστημα τιμών, χωρίς να χρειάζεται να ομαδοποιούμε το ύψος σε ομάδες και να κάνουμε χρονοβόρους και επαναλαμβανόμενους υπολογισμούς.

Να δούμε πώς μπορεί να γίνει αυτό.

Πρώτα θα πρέπει να εισάγουμε την έννοια του ιστογράμματος. Το ιστόγραμμα είναι ένα διάγραμμα που μοιάζει οπτικά αρκετά με το ραβδόγραμμα αλλά έχει θεμελιώδεις διαφορές. Στο ραβδόγραμμα, αυτό που μετράμε απεικονίζετε μέσω του ύψους της μπάρας, ενώ στο ιστόγραμμα μεσώ του εμβαδού. Για να δημιουργήσουμε το ιστόγραμμα ομαδοποιούμε τις τιμές σε διαστήματα που ονομάζουμε bins και το πλήθος των τιμών που βρίσκετε σε αυτό το διάστημα απεικονίζεται από το εμβαδό των αντίστοιχων παραλληλογράμμων του ραβδογράμματος. Για παράδειγμα θα μετατρέψουμε το (h3) στα (h4), (h5) με 23 και 6 bins αντίστοιχα. Πλέον η πιθανότητα δεν αντιστοιχεί στην τιμή του κάθετου άξονα αλλά στο εμβαδό της μπάρας που έχει ως βάση το διάστημα των τιμών που απεικονίζει.

Για να γίνει πιο κατανοητό το πως χρησιμοποιούμε την κανονική κατανομή θα φτιάξουμε ενα ιστόγραμμα (h6) με 47 bins, ένα bin για κάθε εκατοστό[n3]Γενικά δεν χρειάζεται να φτιάχνουμε ιστόγραμμα με τέτοιο bin, στο παρόν άρθρο το κάνουμε για να δούμε πως συμπεριφέρεται η κανονική κατανομή. έτσι ώστε η ομαδοποίηση να συμπίπτει πρακτικά με το ραβδόγραμμα και έτσι να έχουμε καλύτερη εποπτεία. για να απαντήσουμε στο ερώτημά μας χρειάζεται να αθροίσουμε όλα τα εμβαδά του ιστογράμματος μεταξύ τον επίμαχων τιμών. Μέχρι στιγμής πρακτικά δεν έχει αλλάξει κάτι σχετικά με πριν πέρα του ότι στο καινούριο διάγραμμα η πιθανότητα απεικονίζεται από το εμβαδόν. Εάν μπορούσαμε να βρούμε μια καμπύλη η οποία να είναι εύκολα ολοκληρώσιμη[n4]με άπλα λόγια να μπορούμε να υπολογίσουμε το εμβαδόν που βρίσκετε μεταξύ της καμπύλης και του άξονα x. και να περιέχει το ίδιο εμβαδό με το ιστόγραμμα μας, τότε θα μπορούσαμε εύκολα να υπολογίσουμε τις επίμαχες πιθανότητες. Αυτό ακριβώς κάνουν οι κατανομές PDF (probability density). Στην περίπτωσή μας μπορούμε να χρησιμοποιήσουμε την κατάλληλη κανονική κατανομή που θα έχει αυτό το χαρακτηριστικό.

πάνω σε αυτό το ιστόγραμμα θα τοποθετήσουμε την καμπύλη της κατάλληλης κανονικής κατανομής η οποία όπως βλέπουμε βρίσκετε πολύ κοντά στις αληθινές τιμές του δείγματός μας. Πρακτικά το εμβαδόν που βρίσκεται κάτω από την καμπύλη της κανονικής κατανομής (ροζ διαγράμμιση) είναι πολύ κοντά με το εμβαδόν των αντίστοιχων παραλληλογράμμων του ιστογράμματος. Εάν κάνουμε τους υπολογισμούς θα δούμε ότι το εμβαδό του ιστογράμματος είναι: 0.5013 έναντι 0.496 . Η διαφορά μας είναι 0.0052 αρκετά μικρός αριθμός. Εάν θέλετε να επαληθεύσετε ή να μελετήσετε το παράδειγμα μπορείτε να κατεβάσετε τον κώδικα σε R απο το λινκ στο τέλος του άρθρου (article-data.R τα διαγράμματα του παραδείγματος, normal.R ξεχωριστό παράδειγμα κώδικα για μελέτη)

Αυτό που δεν φαίνεται καθόλου στο παράδειγμά μας είναι το πώς βρίσκουμε αυτήν την κατάλληλη καμπύλη και για ποιον λόγο αυτή η καμπύλη τα καταφέρνει τόσο καλά στο να υπολογίζει τις πιθανότητες εμφάνισης του ύψους.

Η απάντηση, αν και ίσως ακούγετε λίγο παράξενο βρίσκεται στα τυχερά παιχνίδια. Όλα τα φαινόμενα που ακολουθούν την κανονική κατανομή μπορούν να μοντελοποιηθούν με πειράματα τύχης όπως πχ την ρίψη ζαριών ή το στρίψιμο κερμάτων. Ή διατυπώνοντας το πιο σωστά εάν ένα φαινόμενο μοντελοποιείται με μια συγκεκριμένη κατηγορία πειραμάτων τύχης (που θα περιγράψουμε παρακάτω) τότε το φαινόμενο αυτό ακολουθεί την κανονική κατανομή.

Όμως τι ακριβώς εννοούμε όταν λέμε ότι μοντελοποιούνται με πειράματα τύχης; Και ποια είναι αυτά τα πειράματα;

Όταν λέμε μοντελοποίηση αναφερόμαστε στην δημιουργία μιας ελεγχόμενης διαδικασίας της οποίας την συμπεριφορά μπορούμε να αντιστοιχίσουμε με τα γεγονότα που συναντάμε στο πραγματικό φαινόμενο.
Π.χ. ας πάρουμε το φαινόμενο των Γεννήσεων αγοριών ή κοριτσιών. Με βάση τις γνώσεις μας γύρω από το μηχανισμό επιλογής φύλου, μπορούμε να μοντελοποιήσουμε την κάθε γέννηση σαν ισοδύναμο της ρίψης ενός τίμιου κέρματος, που στην κορώνα αντιστοιχίζουμε την γέννηση κοριτσιού και στα γράμματα την γέννηση αγοριού (ή και ανάποδα). Εάν ο τρόπος που θεωρούμε ότι γίνεται η επιλογή του φύλου είναι λανθασμένη τότε και η μοντελοποίηση του φαινομένου αυτού ως στρίψιμο ενός κέρματος θα είναι λανθασμένη.
Στην ιδανική περίπτωση το μοντέλο βασίζεται στις γνώσεις μας γύρω από τη φύση του φαινομένου και όχι στην παρατήρηση των αποτελεσμάτων, στην πραγματικότητα συνήθως προκύπτει και από τα δύο, γι' αυτό και αρκετές φορές τα μοντέλα που φτιάχνουμε δεν είναι ακριβή ή ακόμα χειρότερα μπορεί να είναι και λάθος.

Την στατιστική σαν γνωστικό κλάδο συνήθως την τοποθετούμε κάτω από τα μαθηματικά, μιας και την εξασκούμε κάνοντας χρήση κυρίως αυτόν. Όμως υπάρχει μία θεμελιώδης διαφορά της στατιστικής με άλλους κλάδους των μαθηματικών, που φέρνει την στατιστική πιο κοντά σε άλλους κλάδους της γνώσης Όπως η φυσική. Η στατιστική είναι μια εμπειρική επιστήμη[n5]εμπειρική ονομάζετε η επιστήμη που βασίζετε σε εμπειρικά δεδομένα και θεωρίες που μπορούν να ελεγχθούν εμπειρικά, Σε αντίθεση με τα μαθηματικά που εν γενεί βασίζετε σε λογικούς κανόνες και αξιώματα τα οποία δεν συνδέονται υποχρεωτικά με την εμπειρία.. Όταν αναλύουμε ένα πρόβλημα με στατιστικά εργαλεία τότε υποχρεωτικά κάνουμε παραδοχές οι οποίες βασίζονται σε εμπειρικά δεδομένα (ακριβώς όπως και στην φυσική). Στο παράδειγμα μας θεωρήσαμε ότι το ύψος ακολουθεί την κανονική κατανομή, αυτή η παραδοχή βασίζετε σε εμπειρικά δεδομένα και όχι σε κάποιου είδους μαθηματική απόδειξη. Μέσω των εμπειρικών δεδομένων και την γνώση του γενετικού/περιβαλλοντικού μηχανισμού επιλογής ύψους που επίσης βασίζετε σε εμπειρικά δεδομένα αποφασίζουμε ότι αυτό το μοντέλο παραγωγής ύψους (που καταλήγει σε κανονική κατανομή) αποτελεί το καταλληλότερο μοντέλο.

Για να κατανοήσουμε καλύτερα την κανονική κατανομή θα πρέπει να έχουμε στο μυαλό μας το ότι αποτελεί ένα εργαλείο μιας εμπειρικής επιστήμης και όχι ένα μαθηματικό θεώρημα όπως πχ το θεώρημα το Ευκλείδη. Σαν εμπειρικό εργαλείο θεμελιώθηκε πάνω σε παρατηρήσεις του φυσικού κόσμου και για να κατανοήσουμε την χρησιμότητα της θα πρέπει να μελετήσουμε τα φαινόμενα τα οποία περιγράφει και τυποποιεί.

Στα πλαίσια της στατιστικής και των πιθανοτήτων έχουν μελετηθεί αρκετά πειράματα τύχης τα οποία μπορούν να λειτουργήσουν σαν μοντέλα σε διάφορα φυσικά φαινόμενα. Η κανονική κατανομή μπορεί να μοντελοποιηθεί με ένα αρκετά απλό πείραμα τύχης, το στρίψιμο ενός κέρματος αρκετές φόρες. Μέσω της κανονικής κατανομής μπορούμε να υπολογίσουμε την πιθανότητα εμφάνισης ενός συγκεκριμένου ενδεχόμενου του πειράματος αυτού (πχ 10 γράμματα σε 20 ρίψεις) με αρκετή ακρίβεια. Αυτός είναι ιστορικά ο πρώτος δρόμος που κατέληξε στην κανονική κατανομή (υπάρχει και δρόμος της σχέσης με τα λάθη μετρήσεων στον οποίο θα αναφερθούμε αργότερα).

Για να πάρουμε αυτόν τον δρόμο θα ξεκινήσουμε από την μελέτη αυτού του απλού πειράματος τύχης το οποίο περιγράφετε από την Διωνυμική κατανομή.

Διωνυμική κατανομή

Η Διωνυμική κατανομή μελετάει τον αριθμό εμφάνισης ενός αποτελέσματος σε διαδοχικές ρίψεις ενός κέρματος. Η ρίψη ενός κέρματος έχει δυο δυνατά αποτελέσματα: κορώνα (Κ) ή γράμματα (Γ). Στα πλαίσια της διωνυμικής κατανομής μας ενδιαφέρει ο αριθμός εμφανίσεων του ενός από αυτά, την εμφάνιση του οποίου ονομάζουμε επιτυχία. Πχ Αν στρίψουμε ένα κέρμα μια φορά μπορεί να πάρουμε καμία ή μια κορώνα, εάν το στρίψουμε δυο φόρες: καμιά , μια ή δυο κορώνες, τρεις φόρες: καμιά, μια, δυο ή τρεις κορώνες κοκ.

Σε μια πιο τεχνική γλωσσά η διωνυμική κατανομή είναι μια διακριτή κατανομή που περιγράφει την πιθανότητα εμφάνισης ενός αριθμού επιτυχιών σε ένα παιχνίδι τύχης με δύο αποτελέσματα. (ο όρος διακριτή αναφέρετε στο γεγονός ότι η τυχαία μεταβλητή μπορεί να παίρνει τιμές μέσα από ένα πεπερασμένο σύνολο - και όχι από ένα απειροσύνολο όπως το - στην περίπτωση του κέρματος αναφερόμαστε στα δυο ενδεχόμενα (Κ)(Γ) σε αντίθεση πχ με το ύψος που δυνητικά μπορεί να πάρει οποιαδήποτε τιμή στο .

Συμπεριλαμβάνοντας την έννοια της πιθανότητας σε όσα έχουμε αναφέρει, εάν στρίψουμε ένα τίμιο κέρμα 1 φορά, έχουμε 2 δυνατά αποτελέσματα (κορώνα (Κ) ή γράμματα (Γ)) με πιθανότητα εμφάνισης του κάθε αποτελέσματος ½ = 0.5 (τίμιο)
Εάν στρίψουμε το κέρμα 2 φορές, τότε τα δυνατά αποτελέσματα είναι:

αποτελέσματαΚΓπιθανότητα
Κ Κ201/4
Κ Γ111/4
Γ Κ111/4
Γ Γ021/4

Εάν μας ενδιαφέρει μόνο ο αριθμός των κορωνών τότε έχουμε το εξής αποτέλεσμα:

κορώνεςεμφανίσειςπιθανότητα
011/4
122/4
211/4

Εάν στρίψουμε το κέρμα 3 φορές, τα δυνατά αποτελέσματα είναι:

αποτελέσματαΚΓπιθανότητα
Κ Κ Κ301/8
Κ Κ Γ211/8
Κ Γ Κ211/8
Κ Γ Γ121/8
Γ Κ Κ211/8
Γ Κ Γ121/8
Γ Γ Κ121/8
Γ Γ Γ031/8

Εάν καταγράψουμε τον αριθμό των κορωνών στα δυνατά αποτελέσματα τότε ο πίνακας θα έχει ως εξής:

κορώνεςεμφανίσειςπιθανότητα
011/8
133/8
233/8
311/8

διωνυμική κατανομή στο R

> x=seq(0,3);
> y=dbinom(x, size=3, prob=0.5);
> x
[1] 0 1 2 3
> y
[1] 0.125 0.375 0.375 0.125

Γενικά, ο αριθμός των επιτυχιών (στην περίπτωση του παραδείγματος ο αριθμός των κορωνών) σε n επαναλήψεις ενός πειράματος τύχης με δύο αποτελέσματα υπολογίζεται από τη διωνυμική κατανομή. Ο τύπος της είναι: ƒ k ; n , p = Pr K k = n k p k 1 - p n - k όπου
k ο αριθμός των επιτυχιών,
n ο αριθμός των επαναλήψεων,
p η πιθανότητα επιτυχίας.
Αν πχ θέλουμε να υπολογίσουμε την πιθανότητα να έχουμε 3 γράμματα σε 8 ρίψεις κέρματος τότε για k=3, n=8, p=0.5 έχουμε:
ƒ 3 ; 8 , 0.5 = Pr K 3 = 8 3 0.5 3 1 - 0.5 8 - 3 = 0.21875

Παρακάτω παραθέτω διαγράμματα με τον αριθμό επιτυχιών k για n = 2, 8, 32, 64 επαναλήψεις αντίστοιχα (p=0.5):

διαγραμα: (1)diagram 1
διαγραμα: (2)diagram 2
διαγραμα: (3)diagram 3
διαγραμα: (4)diagram 4
διαγραμα: (5)diagram 5
διαγραμα: (6)diagram 6

Στον οριζόντιο άξονα (Χ) είναι ο αριθμός των εμφανισθέντων επιτυχιών, στον κάθετο άξονα βρίσκεται η πιθανότητα εμφάνισης των αντιστοίχων επιτυχιών.

είναι εμφανές ότι παρ' όλες τις αλλαγές στους άξονες των γραφημάτων υπάρχει ένα μοτίβο το οποίο επαναλαμβάνετε σε όλα τα γραφήματα. Υπάρχει μια επικρατούσα τιμή (με την μεγαλύτερη εμφάνιση) που βρίσκεται στο κέντρο του κάθε διαγράμματος και εκατέρωθεν οι υπόλοιπες τιμές μειώνονται σταδιακά και συμμετρικά ως προς αυτήν. Όσο απομακρυνόμαστε από το κέντρο (πολύ μικρές ή πολύ μεγάλες τιμές) η πιθανότητα εμφάνισης μικραίνει δραματικά. Στο παράδειγμα των 64 επαναλήψεων βλέπουμε ότι ή πιθανότητα να εμφανιστούν 0 ή 64 επαναλήψεις είναι εξαιρετικά μικρές 1 2 64 = 5.4 · 10 -20   ή αλλιώς   0.00000000000000000054

Προσεγγίζοντας την διωνυμική.

Ο πρώτος ιστορικά τρόπος που κατέληξε στην εξίσωση της κανονικής κατανομής ήταν αποτέλεσμα της αναζήτησης ενός εναλλακτικού τρόπου υπολογισμού των τιμών της διωνυμικής κατανομής. Ο Abraham de Moivre το 1738[c1]Walker, Helen M. (1985). De Moivre on the Law of Normal Probability. In Smith, David Eugene. A Source Book in Mathematics. Dover. ISBN 0486646904. κατέληξε σε αυτό που σήμερα ονομάζετε κανονική προσέγγιση της διωνυμικής κατανομής και σήμερα αποτυπώνεται ως:

i j n k p k 1 - p n - k N j - n p n p 1 - p - N i - n p n p 1 - p      όπου      N z = 1 2 π - z e - x 2 2 dx

O παραπάνω τύπος αντιπροσωπεύει μια συνεχή συνάρτηση η οποία να έχει την δυνατότητα να μας δίνει την σωστή πιθανότητα εμφάνισης ενός ενδεχόμενου για οποιοδήποτε αριθμό επαναλήψεων n. Η ακριβής μέθοδος που καταλήγουμε σε αυτόν τον τύπο είναι αρκετά πολύπλοκη, για τον λόγο αυτό θα σκιαγραφήσω τα βασικά βήματα μιας μεθόδου που μπορούμε να καταλήξουμε στην επίμαχη συνάρτηση.

0 1
1 1 1
2 1 2 1
3 1 3 3 1
4 1 4 6 4 1
5 1 5 10 10 5 1
6 1 6 15 20 15 6 1
7 21 35 35 21
8 28 56 70 56 28
Τρίγωνο Pascal

θα ξεκινήσουμε με το τρίγωνο του pascal το τρίγωνο αυτό έχει την εξής ιδιότητα, κάθε αριθμός προκύπτει ως άθροισμα δυο αριθμών που βρίσκονται διαγώνια αριστερά και δεξιά στην προηγούμενη σειρά. Π.χ στην τελευταία σειρά ο δεύτερος αριθμός 8 προκύπτει από το άθροισμα 1+7 που βρίσκετε στην προηγούμενη (προτελευταία) σειρά εκατέρωθεν του 8. Το τρίγωνο του pascal αποτελεί μια διαφορετική διαδικασία υπολογισμού των αποτελεσμάτων της διωνυμικής κατανομής.

Για να δούμε την διαδικασία αυτή πιο συγκεκριμένα θα πάρουμε την περίπτωση των 8 επαναλήψεων διάγραμμα (3). τα αποτελέσματα που απεικονίζονται είναι τα εξής:

0 1 2 3 4 5 6 7 8
0.00390625 0.03125 0.109375 0.21875 0.2734375 0.21875 0.109375 0.03125 0.00390625

Εάν πάρουμε την γραμμή 8 (τελευταία γραμμή) από το τρίγωνο pascal και διαιρέσουμε τον κάθε αριθμό με τον συνολικό αριθμό δυνατών ενδεχομένων (ο αριθμός των δυνατών ενδεχόμενων για 8 ρίψεις είναι 2 8 = 256) θα πάρουμε τα αποτελέσματα της διωνυμικής κατανομής

Abraham de Moivre

Abraham de Moivre

  •  1/256 = 0.00390625
  •  8/256 = 0.03125
  • 28/256 = 0.109375
  • 56/256 = 0.21875
  • 70/256 = 0.2734375

Όποτε με το τρίγωνο του pascal έχουμε έναν εναλλακτικό τρόπο να υπολογίζουμε τα αποτελέσματα της διωνυμικής κατανομής. Οι συντελεστές που υπολογίζουμε με την διαδικασία αυτή μπορούν εναλλακτικά να υπολογιστούν και μεσώ του διωνυμικού θεωρήματος
a + b N = a N + N 1 a N - 1 b + N 2 a N - 2 b 2 + + N Ν b N π.χ. για 8 επαναλήψεις έχουμε: a + b 8 = 1 a 8 + 8 a 7 b + 28 a 6 b 2 + 56 a 5 b 3 + 70 a 4 b 4 + + 1 b 8

Αν αποδώσουμε στα a,b τις τιμές p,1-p των πιθανοτήτων του πειράματος τύχης της διωνυμικής κατανομής (του κέρματος στο παράδειγμά μας, όποτε a = b = 0.5) τότε το κάθε μονώνυμο της διωνυμικής ανάπτυξης θα αποτελεί και μια υπολογιζόμενη πιθανότητα (άξονας y στα διαγράμματα 1-6) και ο αύξων αριθμός του μονώνυμου θα αποτελεί τον αριθμό επιτυχιών (άξονας x στα διαγράμματα 1-6).

Αν προσθέσουμε όλα τα μονώνυμα θα έχουμε άθροισμα 1 (μιας και αποτελούν πιθανότητες όλων των δυνατόν ενδεχόμενων), και το άθροισμα μερικών διαδοχικών μονωνύμων μας δίνει την πιθανότητα να έχουμε αποτέλεσμα στο αντίστοιχο διάστημα επιτυχιών. Σε αυτό το σημείο μπορούμε να κάνουμε χρήση της ιδέας του ολοκληρώματος κατά Ρίμαν[n6]το άθροισμα διαδοχικών παραλληλογράμμων μας δίνει εμβαδό και να προσεγγίσουμε την τιμή των αθροισμάτων αυτόν μεσώ της ολοκλήρωσης κατά Ρίμαν της διωνυμικής κατανομής. το διώνυμο newton m n = m! n! m n ! που εμπεριέχεται στον τύπο της διωνυμικής κατανομής αποτελεί σημαντικό εμπόδιο στην ολοκλήρωση που θέλουμε να πετύχουμε όποτε εναλλακτικά μπορούμε να χρησιμοποιήσουμε τον προσεγγιστικό τύπο του Stirling για το n!,   n ! n n e - n 2 π n

Ξεκινώντας από το διωνυμικό θεώρημα, κάνοντας χρήση του προσεγγιστικού τύπου για το n! και ολοκληρώνοντας κατά Ρίμαν μπορούμε να καταλήξουμε στην κανονική κατανομή. f ( x , μ , σ ) = 1 σ 2 π e - ( x - μ ) 2 2 σ 2 . Ο σκοπός αυτός της χονδροειδούς περιγραφής της διαδικασίας είναι να δείξω το πως προκύπτουν τα βασικά στοιχεία της εξίσωσης της κανονικής κατανομής: το ολοκλήρωμα, το e και to . Τα οποία προσωπικά την πρώτη φορά που την είδα μου φάνηκε εξαιρετικά περίεργο το πως κατέληξαν να υπάρχουν μέσα σε αυτή την εξίσωση.

Σε αυτό το σημείο ολοκληρώσαμε την πορεία του de Moivre προς την διατύπωση της κανονικής κατανομής, στην συνεχεία θα δούμε πως ένας άλλος ερευνητής κατέληξε στον ίδιο τύπο άλλα με εντελώς διαφορετικό τρόπο.

Καμπύλη λαθών

Carl Friedrich Gauss

Carl Friedrich Gauss

To 1809 Gauss δημοσίευσε μια μονογραφία του με τιτλο Theoria motus corporum coelestium in sectionibus conicis solem ambientium στην οποία μεταξύ άλλων εισήγαγε μερικές σημαντικές έννοιες της στατιστικής όπως είναι η μέθοδος των ελάχιστων τετράγωνων, η μέθοδος maximum likelihood και η κανονική κατανομή. Το πρόβλημα που ήθελε να λύσει ο Gauss καθώς και η μέθοδος που ακολούθησε για να φτάσει στην κανονική κατανομή είναι εντελώς διαφορετικός από αυτόν του De Moivre και γιαυτό αξίζει να την εξετάσουμε.

Η αστρονομία είναι από τις πρώτες επιστήμες στην οποία χρειάστηκε ακρίβεια στις μετρήσεις. Σε αυτήν η επανειλημμένη λήψη μετρήσεων αποτελεί τυπική διαδικασία όποτε από νωρίς δημιουργήθηκε το πρόβλημα του πως τελικά λαμβάνουμε την τελική τιμή της μέτρησης. Ο πρώτος που αναφέρει το σχετικό ζήτημα ήταν ο Γαλιλαίος στο Dialogue Concerning the Two Chief Systems of the World—Ptolemaic and Copernican[c2]G. Galilei, Dialogue Concerning the Two Chief World Systems—Ptolemaic & Copernican (S. Drake translator), 2nd ed., Berkeley, Univ. California Press, 1967. το οποίο εκδόθηκε το 1632. Ο Γαλιλαίος μελέτησε τις ιδιότητες των τυχαίων λαθών που γίνονται στις αστρονομικές παρατηρήσεις και τα συμπεράσματα του συνοψίστηκαν από τον Stigler[c3]A. Hald, A History of Probability and Statistics and Their Applications before 1750. New York, John Wiley & Sons, 1990. σε 5 προτάσεις:

  1. Υπάρχει μόνο ένας αριθμός που δίνει την απόσταση ενός άστρου από το κέντρο της γης, η αληθινή απόσταση.
  2. Όλες οι παρατηρήσεις επιβαρύνονται με λάθη, που οφείλονται στον παρατηρητή, τα όργανα μέτρησης, τη γη, την πραγματική απόσταση.
  3. Οι παρατηρήσεις κατανέμονται συμμετρικά γύρω από την πραγματική τιμή, αυτό σημαίνει ότι επίσης τα σφάλματα κατανέμονται συμμετρικά γύρω από το μηδέν.
  4. Μικρά λάθη μέτρησης συμβαίνουν πιο συχνά από ότι μεγάλα λάθη.
  5. Η υπολογιζόμενη απόσταση είναι συνάρτηση των άμεσων γωνιακών παρατηρήσεων τέτοια ώστε μικρές παρεκκλίσεις των παρατηρήσεων μπορούν να οδηγήσουν σε μια μεγάλη παρέκκλιση της απόστασης.

Ο Γαλιλαίος δεν περιέγραψε κάποια συνάρτηση που να ορίζει πως κατανέμονται τα λάθη των παρατηρήσεων, όποτε το ζήτημα παρέμεινε ανοιχτό. πρώιμες προσπάθειες περιγραφής τέτοιων συναρτήσεων έγιναν τον 18ο αιώνα από τους Thomas Simpson[c4]T. Simpson, A Letter to the Right Honourable George Macclesfield, President of the Royal Society, on the Advantage of taking the Mean, of a Number of Observations, in practical Astronomy, Phil. Trans. 49 (1756), 82–93. και Laplace[c5]21. P. S. Laplace, Mémoire sur la probabilité des causes par les événements Mémoires de l'Académie Royale des Sciences present ́es par divers savan 6 (1774), 621–656. reprinted in Laplace, 1878-1912, Vol. 8, pp 27–65. Μεταφρασμενο στο S. M. Stigler, Memoir on the probability of the causes of events. Statistical Science 1 (1986) 364–378.. Τελικά όπως προαναφέραμε την λύση έδωσε ο Gauss το 1809.

Το 1801 ο Ιταλός αστρονόμος Giuseppe Piazzi εντόπισε ένα ουράνιο αντικείμενο για το οποίο είχε μια βάσιμη υποψία ότι επρόκειτο για πλανήτη. Ανακοίνωσε την ανακάλυψη και τον ονόμασε Ceres (Δήμητρα). Δύστυχος έξι εβδομάδες αργότερα, πριν οι αστρονόμοι μπορέσουν να συλλέξουν αρκετές παρατηρήσεις ώστε να υπολογίσουν την τροχιά του και να σιγουρευτούν ότι πρόκειται όντως για ένα νέο πλανήτη, ο Ceres κρύφτηκε πίσω από τον ήλιο και δεν αναμένονταν να επανεμφανιστεί πριν περάσει περίπου ένας χρόνος. Το ενδιαφέρον γύρω από αυτόν τον νέο πλανήτη μεγάλωσε και αστρονόμοι από όλη την Ευρώπη μπήκαν στην διαδικασία να υπολογίσουν την πιθανή θέση που ο πλανήτης θα επανεμφανισθεί. Ο νεαρός τοτε Gauss, ο οποίος ήταν ήδη γνωστός ως εξαιρετικός μαθηματικός πρότεινε μια περιοχή του ουρανού η οποία ήταν αρκετά διαφορετική από εκείνες που προτάθηκαν από τους άλλους αστρονόμους και τελικά ήταν σωστός.

Είναι αξιοσημείωτο ότι στην προσπάθεια του να λύσει αυτό το αστρονομικό πρόβλημα ο gauss εισήγαγε ένα σύνολο από πολύ σημαντικές έννοιες μεταξύ των οποίων και η κανονική κατανομή. Ο Gauss για των εντοπισμό της τροχιάς χρησιμοποίησε το κριτήριο ελαχίστων τετραγώνων για να βρει αυτή που ταίριαζε καλύτερα με τις παρατηρήσεις. Για να το κάνει αυτό χρειάστηκε να υπολογίσει την συνάρτηση κατανομής των σφαλμάτων μέτρησης η οποία βασίστηκε σε μια θεωρία σφαλμάτων που με τι σειρά της στηρίζετε σε τρεις υποθέσεις σχετικά με την φύση της κατανομής των σφαλμάτων:

  1. Η πιθανότητα εμφάνισης μικρών αποκλίσεων (σφαλμάτων μέτρησης) είναι μεγαλύτερη από αυτή των μεγάλων αποκλίσεων.
  2. Για κάθε πραγματικό αριθμό (ε) η πιθανότητα εμφάνισης λάθους μέτρησης με μετρό (ε) και (-ε) είναι ίσες.
  3. εάν πραγματοποιήσουμε πολλές δειγματοληψίες η πιο πιθανή κοντινή τιμή στην αληθινή είναι ο μέσος όρος των μετρήσεων.

Για να ακολουθήσουμε την μέθοδο του Gauss χρειαζόμαστε κάποιους ορισμούς.
Έστω p η σωστή (άλλα άγνωστη) τιμή μιας μετρούμενης ποσότητας.
Έστω ότι περνούμε ν ανεξάρτητες μετρήσεις Μ₁, Μ₂, Μ₃ … Μᵥ
Έστω φ(x) συνάρτηση πυκνότητας πιθανότητας του τυχαίου λάθους και αυτή είναι παραγωγίσιμη.
Η πρώτη υπόθεση του Gauss οδηγεί στο συμπέρασμα ότι φ(x) έχει μέγιστο στο x = 0 και η δεύτερη υπόθεση ότι φ(-x) = φ(x)
η παράσταση Mᵢ - p υποδηλώνει το λάθος της νιοστής μέτρησης και εφόσον οι δειγματοληπτικές μετρήσεις και τα αντίστοιχα λάθη είναι στοχαστικά ανεξάρτητα, η παράσταση
Ω = φ(M₁ − p)⋅φ(M₂ − p)⋅φ(M₃ − p) … φ(Mᵥ − p)
αποτελεί την από κοινού κατανομή πιθανότητας για τα ν σφάλματα. Κάνοντας χρήση της τρίτης υπόθεσης o Gauss θεώρησε των μέσο όρο (μ̄) των μετρήσεων ως το maximum likelihood εκτιμητή του p. Με άλλα λόγια δοθέντων των μετρήσεων Μ₁, Μ₂, Μ₃ … Μᵥ η επιλογή του p = μ̄ μεγιστοποιεί το Ω.

O Gauss με αυτές τις υποθέσεις κατέληξε να υπολογίσει ότι η συνάρτηση φ είναι: φ ( x ) = h π e - h 2 x 2 οπου h είναι το μέτρο της ακρίβειας των παρατηρήσεων.

Επίλογος

Είναι αξιοσημείωτο το γεγονός ότι ανεξάρτητα δυο μαθηματικοί κατέληξαν στην διατύπωση της ίδιου εργαλείου για να λύσουν φαινομενικά διαφορετικά προβλήματα. Αυτό βέβαια δεν ήταν η μοναδική φορά που συνέβη, κάτι αντίστοιχο συνέβη και με τον απειροστικό λογισμό όπου πάλι ανεξάρτητα δυο ερευνητές ο Νεύτωνας και ο Λάιμπνιτς κατέληξαν στην επινόηση του ίδιου εργαλείου άλλα για εντελώς διαφορετικούς σκοπούς. είναι και αυτό μέρος της μαγείας των μαθηματικών.

μπορείτε να κατεβάσετε των κώδικά του άρθρου από εδώ