Scraping, Sammeln und Handhaben von Data Science Tools - Dummies

Ob Sie Daten benötigen, um eine Geschäftsanalyse oder einen anstehenden Journalismus zu unterstützen, mit Web-Scraping können Sie interessante und einzigartige Datenquellen aufspüren. In Web-Scraping richten Sie automatisierte Programme ein und lassen sie das Web nach den benötigten Daten durchforsten. Hier finden Sie kostenlose Tools, mit denen Sie Daten oder Bilder, einschließlich Import, kratzen können. io, ImageQuilts und DataWrangler.

Daten mit Import überschreiben. io

Haben Sie schon einmal versucht, eine Tabelle aus dem Internet in ein Microsoft Office-Dokument zu kopieren und dann nicht in der Lage zu sein, die Spalten korrekt anzuordnen? Frustrierend, nicht wahr? Das ist genau der Schmerzpunkt, den Import. io wurde entworfen, um zu adressieren.

Importieren. io - ausgesprochen "import-eye-oh" - ist eine kostenlose Desktop-Anwendung, mit der Sie mit nur wenigen Mausklicks einen Teil einer Webseite mühelos kopieren, einfügen, bereinigen und formatieren können. Sie können sogar importieren. io zum automatischen Crawlen und Extrahieren von Daten aus mehrseitigen Listen.

Import verwenden. io, Sie können Daten von einer einfachen oder komplizierten Reihe von Webseiten kratzen:

• Einfach: Greifen Sie auf die Webseiten über einfache Hyperlinks zu, die auf Seite 1, Seite 2, Seite 3 erscheinen.

• Kompliziert: > Füllen Sie ein Formular aus oder wählen Sie es aus einer Dropdown-Liste aus, und senden Sie Ihre Anforderung zum Scraping an das Tool. Importieren. Die beeindruckendste Eigenschaft von io ist seine Fähigkeit, Ihre Mausklicks zu beobachten, um zu lernen, was Sie wollen, und Ihnen dann Möglichkeiten anzubieten, wie Sie Ihre Aufgaben automatisch für Sie erledigen können. Obwohl Import. io lernt und schlägt Aufgaben vor. Es wird erst dann eine Aktion ausgeführt, wenn Sie den Vorschlag als korrekt markiert haben. Infolgedessen senken diese von Menschen verstärkten Interaktionen das Risiko, dass die Maschine aufgrund von Überschätzung eine falsche Schlussfolgerung zieht.

Bilder mit ImageQuilts

sammeln ImageQuilts ist eine Chrome-Erweiterung, die zum Teil von dem legendären Edward Tufte entwickelt wurde, einem der ersten großen Pioniere in der Datenvisualisierung - er machte die Verwendung der Daten- Tintenverhältnis, um die Wirksamkeit von Diagrammen zu beurteilen.

Die Aufgabe, die ImageQuilts ausführt, ist täuschend einfach zu beschreiben, aber sehr komplex zu implementieren. ImageQuilts macht Collagen aus Dutzenden von Bildern und fügt sie zu einem "Quilt" zusammen, der aus mehreren Zeilen gleicher Höhe besteht. Diese Aufgabe kann komplex sein, da die Quellbilder fast nie dieselbe Höhe haben. ImageQuilts schabt und skaliert die Bilder, bevor sie zu einem Ausgabebild zusammengefügt werden.

Der gezeigte Bildquilt wurde von einer Google-Images-Suche "Beschriftet zur Wiederverwendung" des Begriffs

Daten Wissenschaft abgeleitet. ImageQuilts ermöglicht es Ihnen sogar, die Reihenfolge der Bilder zu wählen oder sie zu randomisieren. Sie können das Werkzeug verwenden, um ein beliebiges Bild per Drag & Drop an einen beliebigen Ort zu verschieben, ein Bild zu entfernen, alle Bilder gleichzeitig zu vergrößern oder jedes Bild einzeln zu vergrößern.

Sie können das Werkzeug sogar verwenden, um zwischen Bildfarben zu wechseln - von Farbe zu Graustufen oder umgekehrter Farbe (was nützlich ist, um Kontaktbögen von Negativen herzustellen, wenn Sie zu den seltenen Menschen gehören, die noch analoge Fotografie bearbeiten).

Daten mit DataWrangler

umrunden DataWrangler ist ein Online-Tool, das vom Interactive Data Lab der University of Washington unterstützt wird (zum Zeitpunkt der Entwicklung von DataWrangler wurde diese Gruppe als Stanford Visualization Group bezeichnet). Die gleiche Gruppe hat Lyra entwickelt, eine interaktive Datenvisualisierungsumgebung, mit der Sie komplexe Visualisierungen ohne Programmierkenntnisse erstellen können.

Wenn es Ihr Ziel ist, Ihren Datensatz zu zu formen - oder Dinge zu bereinigen, indem Sie die Dinge wie ein Bildhauer bewegen (teilen Sie diesen Teil in zwei Teile, schneiden Sie das Bit ab und verschieben Sie es dorthin so dass alles darunter nach rechts verschoben wird, und so weiter) - DataWrangler ist das Werkzeug für Sie. Sie können mit DataWrangler Manipulationen vornehmen, die denen ähneln, die Sie in Excel mit Visual Basic ausführen können. Beispielsweise können Sie DataWrangler oder Excel mit Visual Basic verwenden, um Informationen aus Listen im Internet zu kopieren, einzufügen und zu formatieren.

DataWrangler schlägt sogar Aktionen vor, die auf Ihrem Dataset basieren und kann komplexe Aktionen über ganze Datensätze hinweg wiederholen - Aktionen wie das Überspringen von übersprungenen Zeilen, das Aufteilen von Daten aus einer Spalte in zwei oder das Umwandeln eines Headers in Spaltendaten. DataWrangler kann Ihnen auch zeigen, wo Ihre Daten fehlen.

Fehlende Daten können auf einen Formatierungsfehler hinweisen, der bereinigt werden muss.