Τυπικές εργασίες ανάλυσης δεδομένων. Ανάλυση δεδομένων υπολογιστή

Φροντιστήριο

BBK 22,172ya73

Αξιολογητές:

Martyshenko S.N.

Ανάλυση δεδομένων υπολογιστή:

Φροντιστήριο. – Vladivostok: Publishing house VGUES, 2010. – 80 p.

Καταρτίστηκε σύμφωνα με το πρόγραμμα σπουδών για τον κλάδο "Ανάλυση δεδομένων υπολογιστή" και τις απαιτήσεις του ρωσικού κρατικού προτύπου. Προορίζεται για φοιτητές ειδικοτήτων 0618000 Μαθηματικές μέθοδοι στα οικονομικά και 351400 «Εφαρμοσμένη πληροφορική στα οικονομικά». Περιέχει θεωρητικό υλικό για την πειθαρχία, εργασίες για πρακτικά μαθήματα και οδηγίες για την εφαρμογή τους.

Εγκρίθηκε σε συνεδρίαση του Τμήματος Μαθηματικών και Μοντελοποίησης στις 19/10/08***, πρακτικό Αρ. 18 ***

οικονομία και υπηρεσίες, 2010

Εισαγωγή

Η σύγχρονη επιστήμη και οι περισσότεροι τομείς πρακτικής δραστηριότητας χαρακτηρίζονται πλέον από μια στατιστική προσέγγιση. Οι νόμοι της οικονομίας μπορούν να θεωρηθούν ντετερμινιστικοί κατά μέσο όρο μόνο μετά από μια πιο λεπτομερή μελέτη, αποδεικνύεται ότι είναι τυπικά τυχαίοι.

Το εγχειρίδιο εξετάζει θεωρητικά και πρακτικά ζητήματα στατιστικής ανάλυσης δεδομένων. Η ανάλυση δεδομένων μέσω υπολογιστή θα πρέπει να θεωρείται ως η μελέτη τεχνικών για την πρακτική εφαρμογή θεωρητικών μεθόδων μαθηματικής στατιστικής. Η εφαρμοσμένη φύση του κλάδου που μελετάται τονίζεται από την εστίασή του στη χρήση ενός συγκεκριμένου προϊόντος λογισμικού EXCEL.

Οι κοινωνικοοικονομικές διαδικασίες και φαινόμενα εξαρτώνται από μεγάλο αριθμό παραμέτρων που τις χαρακτηρίζουν, γεγονός που προκαλεί δυσκολίες που σχετίζονται με τον προσδιορισμό της δομής των σχέσεων μεταξύ αυτών των παραμέτρων. Σε τέτοιες περιπτώσεις, όταν λαμβάνεται μια απόφαση με βάση την ανάλυση στοχαστικών, ελλιπών πληροφοριών, είναι απαραίτητο να χρησιμοποιηθούν μέθοδοι ανάλυσης στατιστικών δεδομένων.

Οι μέθοδοι ανάλυσης δεδομένων καθιστούν δυνατή την εύλογη επιλογή ανάμεσα σε μια ποικιλία πιθανών στατιστικών μοντέλων εκείνου που αντιστοιχεί καλύτερα στα αρχικά στατιστικά δεδομένα που χαρακτηρίζουν την πραγματική συμπεριφορά του υπό μελέτη πληθυσμού αντικειμένων, για την αξιολόγηση της αξιοπιστίας και της ακρίβειας των συμπερασμάτων που έγιναν με βάση μεγάλου στατιστικού υλικού.

Το εγχειρίδιο εξετάζει ένα σύνολο βαθιά τυποποιημένων στατιστικών μεθόδων που βασίζονται στην αναπαράσταση αρχικών πληροφοριών σε έναν πολυδιάστατο γεωμετρικό χώρο και επιτρέπουν σε κάποιον να προσδιορίσει σιωπηρά (λανθάνοντα) αλλά αντικειμενικά υπάρχοντα πρότυπα στην οργανωτική δομή και τις τάσεις ανάπτυξης των κοινωνικοοικονομικών διαδικασιών και φαινομένων υπό μελέτη.

Ο κύριος στόχος του εγχειριδίου είναι να διδάξει στους μαθητές τις θεωρητικές βάσεις των πιο κοινών μεθόδων ανάλυσης στατιστικών δεδομένων και να αναπτύξει δεξιότητες στη χρήση τυπικών εργαλείων λογισμικού που εφαρμόζουν διαδικασίες ανάλυσης στατιστικών δεδομένων.

Για να μελετήσει επιτυχώς το υλικό που παρουσιάζεται στο εγχειρίδιο, ο μαθητής χρειάζεται γνώση των κύριων ενοτήτων «Ανώτατα Μαθηματικά» και «Μαθηματική Στατιστική». Απαιτείται γνώση θεμελιωδών εννοιών όπως: τύποι τυχαίων μεταβλητών, χαρακτηριστικά τυχαίων μεταβλητών, βασικοί νόμοι κατανομής τυχαίων μεταβλητών, μέθοδοι αξιολόγησης χαρακτηριστικών του δείγματος, βασικά στατιστικά συμπεράσματα με χρήση στατιστικών κριτηρίων και έλεγχος υποθέσεων, γραμμική και μη γραμμική παλινδρόμηση.

Κατά τη διάρκεια της μελέτης του υλικού που παρουσιάζεται στο εγχειρίδιο, ο μαθητής θα πρέπει να αναπτύξει μια ιδέα για συγκεκριμένες πρακτικές καταστάσεις στις οποίες είναι απαραίτητο να χρησιμοποιηθούν μέθοδοι στατιστικής ανάλυσης.

Ως αποτέλεσμα της εργασίας με το εγχειρίδιο και της ολοκλήρωσης πρακτικών εργασιών, ο μαθητής πρέπει να επιτύχει ένα ορισμένο επίπεδο γνώσεων στον τομέα της ανάλυσης δεδομένων υπολογιστή. Το απαιτούμενο επίπεδο γνώσεων αποτελείται από τρία σημεία.

1. κύριος:

Η έννοια και η τεχνολογία της σύγχρονης ανάλυσης δεδομένων σε υπολογιστή.

Αρχές λειτουργίας λογισμικού σχεδιασμένου για στατιστική ανάλυση δεδομένων.

Αρχές λειτουργίας σύγχρονων οπτικών μεθόδων ανάλυσης δεδομένων και χρήση τους για στατιστική εξαγωγή και διατύπωση υποθέσεων για τη δομή των δεδομένων.

2. Ανάπτυξη της ικανότητας να επιλύει ανεξάρτητα προβλήματα σχετικά με την επιλογή των μεθόδων ανάλυσης σε πρακτικές καταστάσεις.

3. Να αποκτήσουν δεξιότητες στη χρήση συστημάτων λογισμικού. προορίζεται για στατιστική ανάλυση δεδομένων, καθώς και για δοκιμή ενοτήτων λογισμικού σε δεδομένα μοντέλου.

Δύο προσεγγίσεις στην ανάλυση δεδομένων

Οποιοσδήποτε οργανισμός κατά τη διάρκεια των δραστηριοτήτων του προσπαθεί να αυξήσει τα κέρδη και να μειώσει το κόστος. Σε αυτό τη βοηθούν οι νέες τεχνολογίες υπολογιστών και η χρήση διαφόρων προγραμμάτων αυτοματισμού επιχειρηματικών διαδικασιών. Αυτά είναι συστήματα λογιστικής, λογιστικής και αποθήκης, συστήματα λογιστικής διαχείρισης και πολλά άλλα. Όσο ακριβέστερα και πληρέστερα συλλέγονται και συστηματοποιούνται οι πληροφορίες, τόσο πιο ολοκληρωμένη θα είναι η κατανόηση των διαδικασιών στον οργανισμό. Τα σύγχρονα μέσα αποθήκευσης σάς επιτρέπουν να αποθηκεύετε δεκάδες και εκατοντάδες gigabyte πληροφοριών, αλλά χωρίς τη χρήση ειδικών εργαλείων για την ανάλυση των συσσωρευμένων πληροφοριών, τέτοια μέσα αποθήκευσης απλώς μετατρέπονται σε χωματερή άχρηστων πληροφοριών. Πολύ συχνά, η λήψη της σωστής απόφασης περιπλέκεται από το γεγονός ότι, παρόλο που υπάρχουν διαθέσιμα δεδομένα, είναι ελλιπή ή, αντίθετα, περιττά, γεμάτα με πληροφορίες που δεν σχετίζονται καθόλου με το θέμα, μη συστηματοποιημένες ή εσφαλμένα συστηματοποιημένες. Στη συνέχεια, καταφεύγουν στη βοήθεια εργαλείων λογισμικού που καθιστούν δυνατή τη μείωση των πληροφοριών σε μια μορφή που καθιστά δυνατή την αξιολόγηση των γεγονότων που περιέχονται σε αυτήν με επαρκή βαθμό αξιοπιστίας και αυξάνει την πιθανότητα λήψης μιας βέλτιστης απόφασης.

Υπάρχουν δύο προσεγγίσεις για την ανάλυση δεδομένων με χρήση πληροφοριακών συστημάτων.

Στην πρώτη έκδοση, το πρόγραμμα χρησιμοποιείται για την οπτικοποίηση πληροφοριών - εξαγωγή δεδομένων από πηγές και παροχή σε ένα άτομο για ανεξάρτητη ανάλυση και λήψη αποφάσεων. Συνήθως, τα δεδομένα που παρέχονται από το πρόγραμμα είναι ένας απλός πίνακας και σε αυτή τη μορφή είναι πολύ δύσκολο να τα αναλύσουμε, ειδικά αν υπάρχουν πολλά δεδομένα, αλλά υπάρχουν πιο βολικοί τρόποι εμφάνισης: κύβοι, γραφήματα, ιστογράμματα, χάρτες , δέντρα...

Η δεύτερη επιλογή για τη χρήση λογισμικού ανάλυσης είναι οικοδομικά μοντέλα. Το μοντέλο προσομοιώνει μια συγκεκριμένη διαδικασία, για παράδειγμα, αλλαγές στους όγκους πωλήσεων ενός συγκεκριμένου προϊόντος, συμπεριφορά πελατών κ.λπ. Για την κατασκευή ενός μοντέλου, είναι απαραίτητο να προ-επεξεργαστείτε τα δεδομένα και στη συνέχεια να εφαρμόσετε μαθηματικές μεθόδους ανάλυσης σε αυτά: ομαδοποίηση, ταξινόμηση, παλινδρόμηση κ.λπ. Το κατασκευασμένο μοντέλο μπορεί να χρησιμοποιηθεί για τη λήψη αποφάσεων, την εξήγηση των λόγων, την αξιολόγηση της σημασίας των παραγόντων , μοντελοποιώντας διάφορες επιλογές ανάπτυξης...

Ας δούμε ένα παράδειγμα.Η παροχή εκπτώσεων στους πελάτες είναι ένα κίνητρο για την αύξηση του όγκου αγορών. Όσο περισσότερο πωλείται ένα συγκεκριμένο προϊόν, τόσο μεγαλύτερο είναι το κέρδος. Από την άλλη, όσο μεγαλύτερη είναι η έκπτωση, τόσο χαμηλότερη είναι η σήμανση στο προϊόν και τόσο μικρότερο κέρδος αποφέρουν οι πωλήσεις αυτού του προϊόντος. Ας υπάρχει ένα ιστορικό πωλήσεων, που αντιπροσωπεύεται από έναν πίνακα με στήλες: ημερομηνία, όγκος πωλήσεων, ποσοστιαία έκπτωση, σήμανση και κέρδος. Όταν εκτελείτε μια χειροκίνητη ανάλυση, μπορείτε να δείτε το διάγραμμα.

Ομοσπονδιακή Υπηρεσία Επικοινωνιών Ομοσπονδιακό Εκπαιδευτικό Εκπαιδευτικό Προϋπολογισμό Ιδρύματος Ανώτατης Επαγγελματικής Εκπαίδευσης "Περιφέρεια Volga State Πανεπιστήμιο Τηλεπικοινωνιών και Πληροφορικής" _________________________________________________ Τμήμα Πληροφοριακών Συστημάτων και Τεχνολογιών Σημειώσεις Διαλέξε και τεχνολογίες, Business Informatics Samara 2013 UDC 004.02:004.6 Salmin A.A. Ανάλυση δεδομένων. Σημειώσεις διάλεξης. – Samara.: FGOBU VPO “PGUTI”, 2013. - 111 σελ. Εξετάζονται θέματα ανάλυσης δεδομένων. Παρουσιάζονται μερικές από τις βασικές μεθόδους ανάλυσης δεδομένων, όπως: ανάλυση παλινδρόμησης, συσχέτιση, ανάλυση διακύμανσης κ.λπ. αντανακλώνται. Κριτής: Tarasov V.N. – Διδάκτωρ Τεχνικών Επιστημών, Καθηγητής, Υπεύθυνος. Department of “Software and Control in Technical Systems” PGUTI Federal State Educational Budgetary Institution of Higher Professional Education “Volga Region State University of Telecommunications and Informatics” © Salmin A.A., 2013 2 Περιεχόμενα σημειώσεων διαλέξεων ΕΙΣΑΓΩΓΗ 5 1. ΕΙΣΑΓΩΓΗ “ΑΝΑΛΥΤΙΚΑ” 7 1.1. Εργασία με δεδομένα 7 1.2. Στάδια επίλυσης του προβλήματος της ανάλυσης δεδομένων και των σχέσεών τους 9 2. ΚΑΤΑΝΟΜΗ ΠΙΘΑΝΟΤΗΤΑΣ 18 2.1. Κατανομές πιθανοτήτων 20 2.3. Τυχαίες μεταβλητές και τυχαία δείγματα δεδομένων 23 2.4. Κανονική κατανομή 24 2.5.3. 3.1.Διαστήματα εμπιστοσύνης 30 3.2 Έλεγχος υποθέσεων 32 3.2.1. Είδη σφαλμάτων 33 3.2.2. Τομείς αποδοχής και μη αποδοχής 34 3.2.3. t-κατανομή 35 3.3. Εφαρμογή μιας μη παραμετρικής δοκιμής για ζευγαρωμένα δεδομένα 39 4. ΑΝΑΛΥΣΗ ΠΙΝΑΚΑΣ ΔΕΔΟΜΕΝΩΝ 43 4.1. Συνοπτικοί πίνακες 43 4.2. Υπολογισμός του αναμενόμενου αριθμού παρατηρήσεων 46 4.3. Στατιστικά Pearson chi-square 48 5. ΒΑΣΙΚΕΣ ΑΝΑΛΥΣΕΩΣ ΠΙΣΤΩΣΗΣ 51 5.1. Η έννοια της «παλίνδρομης» 51 5.2. Απλή γραμμική σχέση 52 5.2.1. Εξίσωση παλινδρόμησης 52 5.2.2. Προσαρμογή γραμμής παλινδρόμησης 54 5.2.3. Ερμηνεία παραμέτρων παλινδρόμησης 57 5.3. Έλεγχος του μοντέλου παλινδρόμησης 59 3 6. ΣΥΣΧΕΤΙΣΗ 63 6.1. Η έννοια της «συσχέτισης» 63 6.2. Πίνακας συσχέτισης 65 6.3. Πίνακας διαγραμμάτων σκέδασης συσχετίσεων 66 7. ΣΥΣΚΕΥΗ ΠΟΛΛΑΠΛΗΣ ΠΙΣΤΡΟΦΗΣΗΣ 69 7.1. Εξίσωση πολλαπλής παλινδρόμησης 69 7.2. Υποθέσεις παλινδρόμησης δοκιμής 73 7. 3. Σταδιακή παλινδρόμηση 75 7.4. Λογιστική παλινδρόμηση 76 7.5. Μη γραμμική παλινδρόμηση 77 8. ΑΝΑΛΥΣΗ ΔΙΑΚΥΡΩΣΗΣ 78 8.1. Μονόδρομη ανάλυση διασποράς 78 8.2. Μονόδρομη ανάλυση διακύμανσης και ανάλυση παλινδρόμησης 84 8.2. Ανάλυση διακύμανσης δύο παραγόντων 86 9. ΓΝΩΣΤΙΚΗ ΑΝΑΛΥΣΗ. ΟΜΑΔΕΣ 92 9.1. Γνωστική ανάλυση 92 9.2. Μέθοδοι γνωστικής ανάλυσης σύνθετων καταστάσεων 93 9.3. Παλινδρόμηση - γνωστική ανάλυση 96 10. ΕΥΦΥΝΗ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ 99 10.1. Συστήματα αναλυτικής επεξεργασίας δεδομένων 99 10.1.1. CRM – τεχνολογία 99 10.1.2. Συστήματα ERP 102 10.1.3. OLAP – τεχνολογία 103 10.2. Εξόρυξη Δεδομένων 105 10.2.1. Στάδια έρευνας δεδομένων με χρήση μεθόδων Εξόρυξης Δεδομένων 105 10.2.2. Τύποι μοτίβων 106 10.2.3. Μέθοδοι Εξόρυξης Δεδομένων 107 4 ΕΙΣΑΓΩΓΗ Οι προτεινόμενες σημειώσεις διάλεξης για τον κλάδο «Ανάλυση Δεδομένων» προετοιμάζουν τους μαθητές για την αποτελεσματική χρήση σύγχρονων εργαλείων ανάλυσης δεδομένων υπολογιστή. Προσφέρονται τα κύρια θέματα που είναι αφιερωμένα στη διαμόρφωση θεωρητικών και πρακτικών δεξιοτήτων στην εργασία με πακέτα λογισμικού εφαρμογών για την επίλυση προβλημάτων ανάλυσης και ερμηνείας δεδομένων για τη δημιουργία προβλέψεων κατάστασης και τη λήψη αποφάσεων διαχείρισης. Στο πλαίσιο των σημειώσεων της διάλεξης για τον κλάδο, εξετάζονται διάφοροι τρόποι δημιουργίας, μορφοποίησης και περιγραφής των βασικών αρχών εργασίας με πίνακες δεδομένων για τους σκοπούς της μετέπειτα ανάλυσής τους χρησιμοποιώντας στατιστικές και μαθηματικές μεθόδους. Έτσι, οι μελλοντικοί ειδικοί αναπτύσσουν τα θεμέλια της θεωρητικής γνώσης και των πρακτικών δεξιοτήτων στον τομέα της ανάλυσης δεδομένων και της λήψης αποφάσεων διαχείρισης. Θα πρέπει επίσης να σημειωθεί ότι προτείνεται η χρήση του προϊόντος MS Excel ως λογισμικού για την κατάκτηση του μαθήματος, το οποίο διαθέτει επαρκή εργαλεία ανάλυσης δεδομένων, όπως πακέτο ανάλυσης, γενικές στατιστικές συναρτήσεις του οδηγού συνάρτησης κ.λπ. Επιπλέον, προτείνεται η επιπλέον χρήση της προσθήκης StatPlus. Ο κλάδος «Ανάλυση Δεδομένων» βασίζεται στη γνώση των αντικειμένων «Τεχνολογία Πληροφορικής», «Ηλεκτρονικοί Πίνακες», «Πιθανότητες και Στατιστική», που έχουν σπουδάσει σε εκπαιδευτικά ιδρύματα τριτοβάθμιας εκπαίδευσης. Στοιχεία του μαθήματος «Ανάλυση Δεδομένων» χρησιμοποιούνται στη μελέτη των μαθημάτων «Μοντελοποίηση Συστήματος», «Σχεδιασμός Πληροφοριακών Συστημάτων», «Αξιοπιστία Πληροφοριακών Συστημάτων». Ο σκοπός του υλικού σε αυτές τις σημειώσεις διάλεξης είναι: - να παρέχει στους φοιτητές γενικές πληροφορίες σχετικά με τις αρχές επεξεργασίας και ανάλυσης δεδομένων, προκειμένου να αποκτήσουν νέες πληροφορίες από αυτούς. - Εμφάνιση μεθόδων, εργαλείων και τεχνολογιών για την ανάλυση δεδομένων. - Δείξτε, χρησιμοποιώντας το παράδειγμα της ανάλυσης παλινδρόμησης, την αρχή της απόκτησης νέας γνώσης από δεδομένα. Οι γνώσεις και οι δεξιότητες που αποκτήθηκαν ως αποτέλεσμα της μελέτης αυτού του κλάδου μπορούν να εφαρμοστούν: 1. κατά τη διεξαγωγή ανάλυσης δεδομένων με σκοπό τη λήψη στατιστικών πληροφοριών ή την πρόβλεψη μιας κατάστασης. 2. Να ερμηνεύει τα αποτελέσματα που λαμβάνονται κατά την ανάλυση. 3. κατά τη διαμόρφωση τεχνικών προδιαγραφών κατά τη δημιουργία IP από επαγγελματίες προγραμματιστές. 6 1. ΕΙΣΑΓΩΓΗ ΣΤΗ «ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ» 1.1. Εργασία με δεδομένα Τα δεδομένα είναι γεγονότα, γεγονότα, μηνύματα, μετρημένα χαρακτηριστικά και καταγεγραμμένα σήματα που γίνονται αντιληπτά από ένα άτομο. Η ιδιαιτερότητα των δεδομένων είναι ότι, αφενός, υπάρχουν ανεξάρτητα από τον παρατηρητή, και από την άλλη, γίνονται πραγματικά «δεδομένα» μόνο όταν υπάρχει ένα υποκείμενο που τα συλλέγει σκόπιμα. Κατώτατη γραμμή: τα δεδομένα πρέπει να είναι το θεμέλιο πάνω στο οποίο βασίζονται όλα τα συμπεράσματα, τα συμπεράσματα και οι αποφάσεις. Είναι δευτερεύοντα σε σχέση με τον σκοπό της έρευνας και το αντικείμενο, αλλά πρωταρχικά σε σχέση με τις μεθόδους επεξεργασίας και ανάλυσής τους, που εξάγουν από τα δεδομένα μόνο τις πληροφορίες που είναι δυνητικά διαθέσιμες στο επιλεγμένο υλικό. Τα δεδομένα λαμβάνονται ως αποτέλεσμα μετρήσεων. Η μέτρηση αναφέρεται στην αντιστοίχιση συμβόλων σε μοτίβα σύμφωνα με κάποιον κανόνα. Αυτοί οι χαρακτήρες μπορεί να είναι αλφαβητικοί ή αριθμητικοί. Οι αριθμητικοί χαρακτήρες μπορούν επίσης να αντιπροσωπεύουν κατηγορίες ή να είναι αριθμητικοί. Υπάρχουν 4 τύποι κλίμακες μέτρησης: 1) Κλίμακα ονομάτων. Αυτή η κλίμακα χρησιμοποιείται μόνο για σκοπούς ταξινόμησης. Σε κάθε κλάση δεδομένων εκχωρείται ο δικός της προσδιορισμός έτσι ώστε οι ονομασίες διαφορετικών κλάσεων να μην συμπίπτουν. Για παράδειγμα, η ταξινόμηση ατόμων κατά φύλο M και F (1 και 2, 10 και 100) ή κατηγορία ναι/όχι. Επιπλέον, οι αριθμητικές πράξεις δεν έχουν νόημα για την ονομασία κλίμακες. Για αυτήν την κλίμακα 7, το κέντρο μέτρησης είναι ο τρόπος λειτουργίας (ένα συχνά επαναλαμβανόμενο στοιχείο). 2) Τακτική κλίμακα. Αυτή η κλίμακα σάς επιτρέπει όχι μόνο να διαιρείτε τα δεδομένα σε κλάσεις, αλλά και να οργανώνετε τις ίδιες τις κλάσεις. Κάθε κλάση έχει διαφορετικό χαρακτηρισμό έτσι ώστε η σειρά των χαρακτηρισμών να αντιστοιχεί στη σειρά των κλάσεων. Αν αριθμήσουμε τις κλάσεις, τότε οι κλάσεις είναι σε αριθμητική σειρά. Αν υποδηλώσουμε τις κλάσεις με γράμματα, τότε οι τάξεις είναι με αλφαβητική σειρά. Για παράδειγμα, είναι απαραίτητο να προσδιοριστούν τα άτομα σύμφωνα με τρεις κοινωνικοοικονομικές κατηγορίες - χαμηλή, μεσαία, υψηλή: 1 - χαμηλή, 2 - μεσαία, 3 - υψηλή. ή X – χαμηλό, Y – μεσαίο, Z – υψηλό. Χρησιμοποιείται οποιοσδήποτε προσδιορισμός αριθμών ή γραμμάτων. Οι αριθμητικές πράξεις για αυτήν την κλίμακα επίσης δεν έχουν νόημα. 3) Διαστημική κλίμακα. Αυτή η κλίμακα επιτρέπει όχι μόνο την ταξινόμηση και την οργάνωση δεδομένων, αλλά και την ποσοτικοποίηση των διαφορών μεταξύ των κλάσεων. Για να πραγματοποιηθούν τέτοιες συγκρίσεις, είναι απαραίτητο να εισαγάγετε μια μονάδα μέτρησης και ένα αυθαίρετο σημείο αναφοράς (σημείο μηδέν). Για παράδειγμα, η θερμοκρασία σε βαθμούς Φαρενάιτ ανήκει σε μια κλίμακα διαστήματος, όπου 0F είναι η αρχή και 1F είναι η μονάδα μέτρησης. 4) Κλίμακα σχέσεων. Αυτή η κλίμακα διαφέρει από την κλίμακα διαστήματος μόνο στο ότι έχει απόλυτο σημείο αναφοράς. Εκείνοι. Αυτή η κλίμακα μπορεί να χρησιμοποιηθεί για να προσδιορίσει πόσες φορές μια μέτρηση είναι ανώτερη από μια άλλη. Για παράδειγμα: το ύψος ενός ατόμου σε ίντσες ανήκει σε μια κλίμακα αναλογίας στην οποία οι 0 ίντσες είναι ένα σταθερό σημείο αναφοράς και η 1 ίντσα είναι μια μονάδα μέτρησης. 8 Επιπλέον, οι παρατηρήσεις χωρίζονται σε: διακριτές και συνεχείς. Τα ονομαστικά και τα τακτικά δεδομένα είναι πάντα διακριτά, αλλά τα δεδομένα διαστήματος και σχετικά μπορεί να είναι είτε διακριτά είτε συνεχή. Για παράδειγμα, συνεχής: βολή σε στόχο (οποιοδήποτε αποτέλεσμα), θερμοκρασία (κλίμακα διαστήματος). διακριτά: ζάρια (1, 2, 3...6), κέρμα (κεφαλές/ουρές), αριθμός τηλεφωνικών κλήσεων σε μία ώρα (κλίμακα αναλογίας) (Εικ. 1.1). Ρύζι. 1.1. Διακριτά και συνεχή δεδομένα 1.2. Στάδια επίλυσης του προβλήματος της ανάλυσης δεδομένων και των σχέσεών τους Η ανάλυση δεδομένων είναι ένα σύνολο μεθόδων και μέσων εξαγωγής πληροφοριών από οργανωμένα δεδομένα για λήψη αποφάσεων. Τα κύρια στάδια επίλυσης του προβλήματος ανάλυσης δεδομένων φαίνονται στην αριστερή πλευρά του Σχ. 1.2. Στη δεξιά πλευρά, το καθένα από αυτά χωρίζεται σε μικρότερα στάδια. 9 Στάδιο 1 1.1. Ορισμός στόχου Δήλωση του ερευνητικού προβλήματος 1.2. Προσδιορισμός της σύνθεσης των δεδομένων 1.3. Συλλογή δεδομένων 1.4. Επιλογή εργαλείων ανάλυσης δεδομένων 1.5. Τυποποίηση δεδομένων Στάδιο 2 2.1. Εισαγωγή δεδομένων στη μνήμη Εισαγωγή δεδομένων υπολογιστή στο 2.2. Εργασία με την επεξεργασία αρχείων δεδομένων 2.3. Σχηματισμός εργασίας επεξεργασίας Στάδιο 3 3.1. Ορισμός Ποιοτική-απλή ανάλυση χαρακτηριστικών δεδομένων 3.2. Οπτικοποίηση δεδομένων 3.3. Ανάλυση δομής δεδομένων Στάδιο 4 4.1. Επιλογή μοντέλου δεδομένων Ποσότητα 4.2. Εκτέλεση επεξεργασίας και περιγραφής δεδομένων Στάδιο 5 5.1. Ανάλυση αποτελεσμάτων Ερμηνεία 5.2. Λήψη αποφάσεων και αποτελέσματα Εικ. 1.2. Στάδια ανάλυσης δεδομένων Η διατύπωση προβλήματος (είναι το καθοριστικό στάδιο από το οποίο εξαρτάται ολόκληρη η πορεία της ανάλυσης) ξεκινά με το στάδιο της διατύπωσης στόχου μόνο 10

Ανάλυση δεδομένων- ένα πεδίο των μαθηματικών και της επιστήμης των υπολογιστών που ασχολείται με την κατασκευή και την έρευνα των πιο γενικών μαθηματικών μεθόδων και υπολογιστικών αλγορίθμων για την εξαγωγή γνώσης από πειραματικά (με ευρεία έννοια) δεδομένα. η διαδικασία εξερεύνησης, φιλτραρίσματος, μετασχηματισμού και μοντελοποίησης δεδομένων για την εξαγωγή χρήσιμων πληροφοριών και τη λήψη αποφάσεων. Η ανάλυση δεδομένων έχει πολλές πτυχές και προσεγγίσεις, καλύπτοντας διαφορετικές μεθόδους σε διάφορους τομείς της επιστήμης και της δραστηριότητας.

Η εξόρυξη δεδομένων είναι μια συγκεκριμένη τεχνική ανάλυσης δεδομένων που εστιάζει στη μοντελοποίηση και την ανακάλυψη δεδομένων αντί στην περιγραφή τους.

Δεν πρέπει να συγχέεται με την Ανάκτηση Πληροφοριών. Εξαγωγή πληροφοριών(Αγγλικά) εξαγωγή πληροφοριών) είναι το καθήκον της αυτόματης εξαγωγής (δόμησης) δομημένων δεδομένων από μη δομημένα ή ημιδομημένα έγγραφα αναγνώσιμα από μηχανή.

Εξαγωγή πληροφοριώνείναι ένας τύπος ανάκτησης πληροφοριών που σχετίζεται με την επεξεργασία κειμένου φυσικής γλώσσας. Ένα παράδειγμα εξαγωγής πληροφοριών θα μπορούσε να είναι η αναζήτηση για επαγγελματικές επισκέψεις - τυπικά αυτό γράφεται ως εξής: PaidVisit(Company-Who, Company-To, DateVisit) - από ροές ειδήσεων, όπως: "Χθες, 1 Απριλίου 2007, εκπρόσωποι του η εταιρεία Pepelats International επισκέφτηκε το γραφείο της εταιρείας Gravitsap Productions.” Ο κύριος στόχος αυτού του μετασχηματισμού είναι η ικανότητα ανάλυσης αρχικά «χαοτικών» πληροφοριών χρησιμοποιώντας τυπικές μεθόδους επεξεργασίας δεδομένων. Ένας στενότερος στόχος μπορεί να είναι, για παράδειγμα, το καθήκον του εντοπισμού λογικών προτύπων στα γεγονότα που περιγράφονται στο κείμενο.

Στις σύγχρονες τεχνολογίες πληροφοριών, ο ρόλος μιας τέτοιας διαδικασίας όπως η εξαγωγή πληροφοριών αυξάνεται ολοένα και περισσότερο - λόγω της ταχείας αύξησης της ποσότητας αδόμητων (χωρίς μεταδεδομένα) πληροφοριών, ιδίως στο Διαδίκτυο. Αυτές οι πληροφορίες μπορούν να γίνουν πιο δομημένες μετατρέποντάς τις σε σχεσιακή μορφή ή προσθέτοντας σήμα XML. Κατά την παρακολούθηση των ροών ειδήσεων με τη βοήθεια ευφυών πρακτόρων, θα απαιτούνται μέθοδοι εξαγωγής πληροφοριών και μετατροπής τους σε μια φόρμα που θα είναι πιο βολική για εργασία αργότερα.

Μια τυπική εργασία εξαγωγής πληροφοριών: ανιχνεύστε ένα σύνολο εγγράφων γραμμένων σε φυσική γλώσσα και συμπληρώστε μια βάση δεδομένων με εξαγόμενες χρήσιμες πληροφορίες. Οι σύγχρονες προσεγγίσεις εξαγωγής πληροφοριών χρησιμοποιούν μεθόδους επεξεργασία φυσικής γλώσσας, που στοχεύει μόνο σε ένα πολύ περιορισμένο σύνολο θεμάτων (θέματα, προβλήματα) - συχνά μόνο σε ένα θέμα.

Εξόρυξη δεδομένων(ρωσ. εξόρυξη δεδομένων, εξόρυξη δεδομένων, εξόρυξη δεδομένων) είναι ένα συλλογικό όνομα που χρησιμοποιείται για να δηλώσει ένα σύνολο μεθόδων για την ανίχνευση σε δεδομένα προηγουμένως άγνωστα, μη τετριμμένα, πρακτικά χρήσιμα και προσβάσιμα ερμηνεία γνώσης που είναι απαραίτητη για τη λήψη αποφάσεων σε διάφορους τομείς της ανθρώπινης δραστηριότητας. Ο όρος εισήχθη από τον Grigory Pyatetsky-Shapiro το 1989.

αγγλική φράση " Εξόρυξη δεδομένων«Δεν έχει ακόμη καθιερωμένη μετάφραση στα ρωσικά. Όταν μεταδίδεται στα ρωσικά, χρησιμοποιούνται οι ακόλουθες φράσεις: κοσκίνισμα των πληροφοριών, εξόρυξη δεδομένων, εξαγωγή δεδομένων, και, εξόρυξη δεδομένων. Μια πιο ολοκληρωμένη και ακριβής φράση είναι « ανακάλυψη γνώσης σε βάσεις δεδομένων"(Αγγλικά) ανακάλυψη γνώσης σε βάσεις δεδομένων, ΚΔΔ).

Οι μέθοδοι εξόρυξης δεδομένων βασίζονται σε όλα τα είδη μεθόδων ταξινόμησης, μοντελοποίησης και πρόβλεψης που βασίζονται στη χρήση δέντρων αποφάσεων, τεχνητών νευρωνικών δικτύων, γενετικών αλγορίθμων, εξελικτικού προγραμματισμού, συνειρμικής μνήμης και ασαφούς λογικής. Οι μέθοδοι εξόρυξης δεδομένων συχνά περιλαμβάνουν Στατιστικές μέθοδοι(περιγραφική ανάλυση, ανάλυση συσχέτισης και παλινδρόμησης, παραγοντική ανάλυση, ανάλυση διακύμανσης, ανάλυση συνιστωσών, ανάλυση διακρίσεων, ανάλυση χρονοσειρών, ανάλυση επιβίωσης, ανάλυση σχέσεων). Τέτοιες μέθοδοι, ωστόσο, προϋποθέτουν κάποιες a priori ιδέες για τα δεδομένα που αναλύθηκαν, κάτι που είναι κάπως σε αντίθεση με τους στόχους Εξόρυξη δεδομένων(ανακάλυψη προηγουμένως άγνωστης μη τετριμμένης και πρακτικά χρήσιμης γνώσης).

Ένας από τους σημαντικότερους σκοπούς των μεθόδων Εξόρυξης Δεδομένων είναι η οπτική παρουσίαση των αποτελεσμάτων των υπολογισμών, γεγονός που επιτρέπει τη χρήση εργαλείων Εξόρυξης Δεδομένων από άτομα που δεν έχουν ειδική μαθηματική εκπαίδευση. Ταυτόχρονα, η χρήση στατιστικών μεθόδων ανάλυσης δεδομένων απαιτεί καλή γνώση της θεωρίας πιθανοτήτων και των μαθηματικών στατιστικών.

Η επιχειρηματική ευφυΐα καλύπτει την ανάλυση δεδομένων που βασίζεται στη συγκέντρωση.

Επιχειρηματική ευφυΐαή για συντομία B.I.- επιχειρηματική ανάλυση, επιχειρηματική ανάλυση. Αυτή η έννοια αναφέρεται συνήθως σε λογισμικό που δημιουργήθηκε για να βοηθήσει έναν διευθυντή να αναλύσει πληροφορίες σχετικά με την εταιρεία του και το περιβάλλον της. Υπάρχουν πολλές επιλογές για την κατανόηση αυτού του όρου.

Τα επιχειρηματικά αναλυτικά στοιχεία είναι μέθοδοι και εργαλεία για τη δημιουργία ενημερωτικών αναφορών σχετικά με την τρέχουσα κατάσταση. Ο σκοπός της επιχειρηματικής ευφυΐας, λοιπόν, είναι να παρέχει τις σωστές πληροφορίες στο άτομο που τις χρειάζεται την κατάλληλη στιγμή. Αυτές οι πληροφορίες μπορεί να είναι ζωτικής σημασίας για τη λήψη αποφάσεων διαχείρισης.
Τα επιχειρηματικά αναλυτικά στοιχεία είναι τα εργαλεία που χρησιμοποιούνται για τον μετασχηματισμό, την αποθήκευση, την ανάλυση, τη μοντελοποίηση, την παράδοση και τον εντοπισμό πληροφοριών ενώ εργάζονται σε προβλήματα που σχετίζονται με τη λήψη αποφάσεων βάσει στοιχείων. Ταυτόχρονα, αυτά τα εργαλεία παρέχουν στους λήπτες αποφάσεων τις σωστές πληροφορίες τη σωστή στιγμή χρησιμοποιώντας τις κατάλληλες τεχνολογίες.

Έτσι, το BI κατά την πρώτη κατανόηση είναι μόνο ένας από τους τομείς της επιχειρηματικής ανάλυσης στην ευρύτερη δεύτερη κατανόηση. Εκτός από την αναφορά, περιλαμβάνει εργαλεία ενοποίησης και καθαρισμού δεδομένων (ETL), αναλυτικές αποθήκες δεδομένων και εργαλεία εξόρυξης δεδομένων.

Οι τεχνολογίες BI καθιστούν δυνατή την ανάλυση μεγάλου όγκου πληροφοριών, εστιάζοντας την προσοχή των χρηστών μόνο σε βασικούς παράγοντες απόδοσης, μοντελοποιώντας τα αποτελέσματα διαφόρων επιλογών ενεργειών και παρακολουθώντας τα αποτελέσματα λήψης ορισμένων αποφάσεων.

Ο όρος εμφανίστηκε για πρώτη φορά το 1958 σε ένα άρθρο του ερευνητή της IBM Hans Peter Luhn. Χανς Πίτερ Λουν). Όρισε τον όρο ως: «Η ικανότητα κατανόησης των συνδέσεων μεταξύ των γεγονότων που παρουσιάζονται».

Το BI όπως το γνωρίζουμε σήμερα εξελίχθηκε από συστήματα λήψης αποφάσεων που εμφανίστηκαν στις αρχές της δεκαετίας του 1960 και αναπτύχθηκαν στα μέσα της δεκαετίας του 1980.

Το 1989, ο Howard Dresner (αργότερα αναλυτής της Gartner) όρισε την Business Intelligence ως έναν γενικό όρο που περιγράφει «έννοιες και τεχνικές για τη βελτίωση της λήψης επιχειρηματικών αποφάσεων χρησιμοποιώντας συστήματα που βασίζονται σε επιχειρηματικά δεδομένα».

Με στατιστική έννοια, ορισμένοι χωρίζουν την ανάλυση δεδομένων σε περιγραφική στατιστική, διερευνητική ανάλυση δεδομένων και έλεγχο στατιστικών υποθέσεων.

Στόχος περιγραφικά στατιστικά- επεξεργασία εμπειρικών δεδομένων, συστηματοποίησή τους, οπτική παρουσίαση σε μορφή γραφημάτων και πινάκων, καθώς και ποσοτική περιγραφή τους μέσω βασικών στατιστικών δεικτών.

Σε αντίθεση με την επαγωγική στατιστική, η περιγραφική στατιστική δεν εξάγει συμπεράσματα για τον πληθυσμό με βάση τα αποτελέσματα μεμονωμένων περιπτωσιολογικών μελετών. Η επαγωγική στατιστική, αντίθετα, υποθέτει ότι οι ιδιότητες και τα μοτίβα που προσδιορίζονται κατά τη μελέτη αντικειμένων δειγμάτων είναι επίσης εγγενή στον γενικό πληθυσμό.

Διερευνητική ανάλυση δεδομένωνΕίναι μια προσέγγιση για την ανάλυση δεδομένων για τη διατύπωση υποθέσεων που αξίζει να ελεγχθούν, που συμπληρώνεται από τυπικά στατιστικά εργαλεία για τον έλεγχο υποθέσεων. Ονομάστηκε από τον John Tukey για να τον διακρίνει από τον έλεγχο στατιστικών υποθέσεων, ένας όρος που χρησιμοποιείται για ένα σύνολο ιδεών σχετικά με τον έλεγχο υποθέσεων, το επίπεδο σημαντικότητας που επιτυγχάνεται, τα διαστήματα εμπιστοσύνης και άλλα που αποτελούν βασικά εργαλεία στο οπλοστάσιο των ασκούμενων στατιστικών.

Η διερευνητική ανάλυση δεδομένων ασχολείται με την ανακάλυψη νέων χαρακτηριστικών δεδομένων και ο έλεγχος στατιστικών υποθέσεων ασχολείται με την επιβεβαίωση ή την απόρριψη υπαρχουσών υποθέσεων.

Δοκιμές Στατιστικών Υποθέσεων- μία από τις κατηγορίες προβλημάτων στη μαθηματική στατιστική.

Έστω μια τυχαία μεταβλητή παρατηρήσιμη σε ένα (στατιστικό) πείραμα, η κατανομή του οποίου είναι γνωστή εν όλω ή εν μέρει. Τότε καλείται οποιαδήποτε δήλωση που αφορά στατιστική υπόθεση. Οι υποθέσεις διακρίνονται από τον τύπο των υποθέσεων που περιέχονται σε αυτές:

Μια στατιστική υπόθεση που καθορίζει μοναδικά μια κατανομή, δηλαδή πού βρίσκεται ένας συγκεκριμένος νόμος, ονομάζεται απλός.

Μια στατιστική υπόθεση που δηλώνει ότι μια κατανομή ανήκει σε μια συγκεκριμένη οικογένεια κατανομών, δηλαδή της μορφής όπου είναι η οικογένεια των κατανομών, ονομάζεται συγκρότημα.

Στην πράξη, είναι συνήθως απαραίτητο να ελεγχθεί μια συγκεκριμένη και συνήθως απλή υπόθεση. Αυτή η υπόθεση συνήθως ονομάζεται μηδενικό. Την ίδια στιγμή, μια αντιφατική υπόθεση που ονομάζεται ανταγωνιστικέςή εναλλακτική λύση.

Η υποθετική υπόθεση πρέπει να ελεγχθεί, η οποία πραγματοποιείται με τη χρήση στατιστικών μεθόδων, γι' αυτό και η υπόθεση ονομάζεται στατιστική. Για τον έλεγχο μιας υπόθεσης, χρησιμοποιούνται κριτήρια για την αποδοχή ή την απόρριψη της υπόθεσης.

Στις περισσότερες περιπτώσεις, οι στατιστικές δοκιμές βασίζονται σε τυχαία δειγματοληψία ενός σταθερού ποσού από μια διανομή. Στη διαδοχική ανάλυση, το δείγμα σχηματίζεται κατά τη διάρκεια του ίδιου του πειράματος και επομένως το μέγεθός του είναι μια τυχαία μεταβλητή (βλ. Διαδοχική στατιστική δοκιμή).

Ανάλυση δεδομένων

Ανάλυση κοινωνιολογικών δεδομένων

Ο κύριος στόχος της ανάλυσης δεδομένων στην κοινωνιολογία είναι να εντοπίσει (επιβεβαιώσει, διορθώσει) ορισμένα στατιστικά πρότυπα που ενδιαφέρουν τον ερευνητή. ή, με άλλα λόγια, ένα συγκεκριμένο είδος συμπίεσης, υπολογισμός του μέσου όρου των πληροφοριών που περιέχονται στα δεδομένα. Στη μεθοδολογία της ανάλυσης δεδομένων ως τομέα μεθοδολογίας κοινωνιολογικής έρευνας, θα πρέπει να διακρίνονται τουλάχιστον δομικά τα ακόλουθα αλληλένδετα μέρη:

Σημειώσεις

Ίδρυμα Wikimedia. 2010.

Δείτε τι είναι η "Ανάλυση δεδομένων" σε άλλα λεξικά:

Στατιστικές μελέτες που σχετίζονται με τον υπολογισμό ενός πολυδιάστατου συστήματος δεδομένων παρατήρησης που έχει πολλές παραμέτρους. Κόλαση. ταξινομούνται: 1. Περιγράφοντας κάποιες παραμέτρους μέσω άλλων και συνθέτοντας νέες παραμέτρους. 2. Γλώσσα παρουσίασης... ... Λεξικό επιχειρηματικών όρων

Αγγλικά ανάλυση, δεδομένα? Γερμανός Ανάλυση δεδομένων. Στάδιο εμπειρικής κοινωνιολογίας. έρευνα, κατά τη διάρκεια της οποίας με τη βοήθεια ουσιαστικών εκτιμήσεων και μαθηματικών στατιστικών. μέθοδοι που βασίζονται σε πρωτογενείς πληροφορίες, αποκαλύπτονται οι σχέσεις των μεταβλητών που μελετήθηκαν... ... Εγκυκλοπαίδεια Κοινωνιολογίας

Ανάλυση δεδομένων- δείτε Εφαρμοσμένα Στατιστικά... Οικονομικό-μαθηματικό λεξικό

ανάλυση δεδομένων- — EL ανάλυση δεδομένων Η αξιολόγηση των ψηφιακών δεδομένων, δηλ. δεδομένα που αντιπροσωπεύονται από μια ακολουθία κωδικών χαρακτήρων. (Πηγή: MGH) …… Οδηγός Τεχνικού Μεταφραστή

ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ- 1. Ένα σύνολο ενεργειών που εκτελούνται από έναν ερευνητή στη διαδικασία μελέτης δεδομένων που λαμβάνονται με τον ένα ή τον άλλο τρόπο προκειμένου να σχηματιστούν ορισμένες ιδέες σχετικά με τη φύση του φαινομένου που περιγράφεται από αυτά τα δεδομένα. Στη διαδικασία της Α.Δ. ερευνητής πιο συχνά... Ρωσική Κοινωνιολογική Εγκυκλοπαίδεια

ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ- ένα πεδίο των μαθηματικών και της επιστήμης των υπολογιστών που ασχολείται με την κατασκευή και την έρευνα των πιο γενικών μαθηματικών μεθόδων και υπολογιστικών αλγορίθμων για την εξαγωγή γνώσης από πειραματικά (με ευρεία έννοια) δεδομένα. Στην κοινωνιολογία A.D. χρησιμοποιείται σε... ... Κοινωνιολογία: Εγκυκλοπαίδεια

ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ- μια κατεύθυνση στατιστικής έρευνας, που περιλαμβάνει ένα σύνολο μεθόδων για την επεξεργασία ενός πολυδιάστατου συστήματος δεδομένων παρατήρησης, που χαρακτηρίζεται από πολλά χαρακτηριστικά. Σε αντίθεση με τις κλασσικές μαθηματικές και στατιστικές μεθόδους, οι οποίες προϋποθέτουν μια γνωστή... ... Μεγάλο οικονομικό λεξικό

ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ- (ανάλυση δεδομένων) έρευνα και επεξεργασία πληροφοριών από επιστημονικές εργασίες, έρευνες ή πειράματα. Τα κοινωνικά δεδομένα μπορούν να αναλυθούν με μια σειρά μεθόδων, συμπεριλαμβανομένων των διασταυρούμενων πινάκων, των στατιστικών δοκιμών (βλ. Στατιστικά στοιχεία και στατιστικές... ... Μεγάλο επεξηγηματικό κοινωνιολογικό λεξικό

ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ- – 1. Ένα σύνολο ενεργειών που εκτελούνται από έναν ερευνητή στη διαδικασία μελέτης δεδομένων που λαμβάνονται με τον ένα ή τον άλλο τρόπο, προκειμένου να σχηματιστεί μια συγκεκριμένη ιδέα για τη φύση του φαινομένου που περιγράφεται από αυτά τα δεδομένα. Ο ερευνητής δοκιμάζει τα δεδομένα...... Εγκυκλοπαιδικό Λεξικό Ψυχολογίας και Παιδαγωγικής

Ανάλυση δεδομένων- ένα σύνολο ενεργειών που πραγματοποιούνται από έναν ερευνητή στη διαδικασία μελέτης δεδομένων που λαμβάνονται με τον ένα ή τον άλλο τρόπο, προκειμένου να σχηματιστούν ορισμένες ιδέες σχετικά με τη φύση του φαινομένου που περιγράφεται από αυτά τα δεδομένα... Κοινωνιολογικό Λεξικό Socium