Scrape und lade Google Bilder mit Python herunter

Die zunehmende Verbreitung von Web Scraping hat seine Einsatzgebiete erheblich erweitert. Viele KI-Anwendungen füttern heute Web-Scraping-Datensätze regelmäßig mit aktuellen Daten. Es findet ein regelmäßiger und ununterbrochener Datenfluss von Ziel-Webseiten zu den Datensätzen von Anwendungen der künstlichen Intelligenz statt.

Verwandter Beitrag: Der Einfluss der künstlichen Intelligenz auf die Zukunft des Kundenerfolgs

Die Bildverarbeitung ist einer der beliebtesten Bereiche in Anwendungen der künstlichen Intelligenz. Bildverarbeitung ist ein Gebiet der Informatik, das sich darauf konzentriert, Computer in die Lage zu versetzen, Objekte und Personen in Bildern und Videos zu identifizieren und zu verstehen. Wie andere Arten der künstlichen Intelligenz zielt die Bildverarbeitung darauf ab, Aufgaben auszuführen und zu automatisieren, die menschliche Fähigkeiten replizieren. In diesem Fall versucht die Bildverarbeitung, sowohl die Art und Weise zu kopieren, wie Menschen sehen, als auch die Art und Weise, wie sie dem, was sie sehen, einen Sinn geben.

Die Daten, die für die Entwicklung von Algorithmen und die Reduzierung von Fehlermargen in vielen Bereichen, insbesondere in Bildverarbeitungsprojekten, benötigt werden, werden durch Web Scraping gewonnen. In diesem Artikel werden wir eine Anwendung entwickeln, die häufig in Bildverarbeitungsprojekten verwendet wird. Wir werden Google Images mit der Programmiersprache Python kratzen und herunterladen. Also lasst uns anfangen.

Projektaufbau

Öffnen wir zunächst einen Ordner auf dem Desktop. Lassen Sie uns ein Terminal in diesem Dateipfad öffnen und die erforderlichen Bibliotheken installieren, indem Sie den folgenden Befehl ausführen.

Nachdem wir die erforderlichen Bibliotheken installiert haben, erstellen wir eine Datei mit dem Namen „index.py“ im Ordner.

Code

Fügen wir die folgenden Codes in die von uns erstellte Datei „index.py“ ein.

Wenn wir die Codes untersuchen, schauen wir uns zuerst die Felder mit statischen Werten an. Die folgenden Felder sind als statische Werte definiert. Wir geben den Namen und die Eigenschaften des Bildes an, das wir mit der Variable queryParams kratzen und herunterladen möchten.

Lesen Sie auch: Das ChatGPT – seine Auswirkungen auf die Unternehmen

Bei der Methode scrape_and_download_google_images() beginnt der Stream. Zielbilder werden geschabt und dann in den von uns angegebenen Ordner heruntergeladen.

def scrape_and_download_google_images(): images_data_in_json = convert_image_to_json() matched_image_data = re.findall(r'\"b-GRID_STATE0\"(.*)sideChannel:\s?{}}', images_data_in_json) remove_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data) matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, remove_matched_thumbnails) full_resolution_images = get_resolution_image(matched_resolution_images=matched_resolution_images) für index, (image_data, image_link) in enumerate(zip(soup.select(target_image_path), full_resolution_images), start=1): append_image_to_list(image_data=Bilddaten, image_link=Bildlink) print(f'{index}. Download des Bildes gestartet') download_image(image_link=image_link, index=index) print(f'{index}. Bild erfolgreich heruntergeladen') print(f'scraped und heruntergeladene Bilder: {google_images}')

Das Herunterladen des geschabten Bildes in den Ordner erfolgt in der Methode download_image(image_link=image_link, index=index). Das mit dieser Methode erstellte Bild wird in „Scraped_Images“ gespeichert, das wir zuvor zum Speicherort des Projekts hinzugefügt haben.

Hinweis: Erstellen Sie den Ordner „Scraped_Images“ in der Projektstruktur, bevor Sie die Anwendung ausführen

Lesen Sie auch: Was sind die Anwendungen und Vorteile von Blockchain-as-a-Service für Unternehmen?

Laufen

Um die Anwendung auszuführen, öffnen wir ein Terminal am Speicherort der Datei und führen den folgenden Befehl aus.

Nachdem die Anwendung ausgeführt wurde, werden die folgenden Informationen auf der Konsole der Anwendung gedruckt.

Schauen wir uns die Datei „Scraped_Images“ an, um die heruntergeladenen Bilder zu überprüfen.

Lesen Sie auch: Arten von Unternehmen und wie Sie Ihr Startup-Unternehmen gründen

Abschluss

Wir haben das Scraping und Herunterladen von Google-Bildern, das aus irgendeinem Grund erforderlich war, mit Python durchgeführt. Wenn Sie die benötigten Bilder von Google erhalten möchten, ohne Code schreiben zu müssen, erkunden Sie die Zenserp-API. Hier ist seine leistungsstarke und wunderbare Dokumentation, die ständig aktualisiert wird.