Grattez et téléchargez Google Images avec Python

La prévalence croissante du web scraping a considérablement augmenté ses domaines d'utilisation. Aujourd'hui, de nombreuses applications d'IA alimentent régulièrement des ensembles de données de grattage Web avec des données à jour. Il existe un flux de données régulier et ininterrompu des sites Web cibles vers les ensembles de données des applications d'intelligence artificielle.

Article connexe : L'impact de l'intelligence artificielle sur l'avenir de la réussite des clients

Le traitement d'images est l'un des domaines les plus populaires dans les applications d'intelligence artificielle. Le traitement d'images est un domaine de l'informatique qui vise à permettre aux ordinateurs d'identifier et de comprendre des objets et des personnes dans des images et des vidéos. Comme d'autres types d'intelligence artificielle, le traitement d'images vise à effectuer et à automatiser des tâches qui reproduisent les capacités humaines. Dans ce cas, le traitement d'image essaie de copier à la fois la façon dont les gens voient et la façon dont ils donnent un sens à ce qu'ils voient.

Les données nécessaires au développement d'algorithmes et à la réduction des marges d'erreur dans de nombreux domaines, notamment dans les projets de traitement d'images, sont obtenues par web scraping. Dans cet article, nous allons développer une application fréquemment utilisée dans les projets de traitement d'images. Nous allons gratter et télécharger Google Images avec le langage de programmation Python. Alors, commençons.

Configuration du projet

Tout d'abord, ouvrons un dossier sur le bureau. Ouvrons un terminal dans ce chemin de fichier et installons les bibliothèques nécessaires en exécutant la commande ci-dessous.

Après avoir installé les bibliothèques nécessaires, créons un fichier nommé 'index.py' dans le dossier.

Code

Collons les codes suivants dans le fichier 'index.py' que nous avons créé.

Si nous examinons les codes, regardons d'abord les champs avec des valeurs statiques. Les champs suivants sont définis comme des valeurs statiques. Nous spécifions le nom et les propriétés de l'image que nous voulons gratter et télécharger avec la variable queryParams.

Lisez aussi : Le ChatGPT – Ses implications pour les entreprises

La méthode scrape_and_download_google_images() est l'endroit où le flux commence. les images ciblées sont récupérées puis téléchargées dans le dossier que nous avons spécifié.

def scrape_and_download_google_images() : images_data_in_json = convert_image_to_json() matched_image_data = re.findall(r'\”b-GRID_STATE0\”(.*)sideChannel:\s?{}}', images_data_in_json) remove_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data) matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, remove_matched_thumbnails) full_resolution_images = get_resolution_image(matched_resolution_images=matched_resolution_images) pour index, (image_data, image_link) dans enumerate(zip(soup.select(target_image_path), full_resolution_images), start=1): append_image_to_list(image_data=image_data, image_link=image_link) print(f'{index}. le téléchargement de l'image a commencé') download_image(image_link=image_link, index=index) print(f'{index}. image téléchargée avec succès') print(f'images récupérées et téléchargées : {google_images}')

Le téléchargement de l'image grattée dans le dossier s'effectue dans la méthode download_image(image_link=image_link, index=index). L'image grattée dans cette méthode est enregistrée dans les "Scraped_Images" que nous avons précédemment ajoutées à l'emplacement du fichier du projet.

Remarque : Créez le dossier "Scraped_Images" dans la structure du projet avant d'exécuter l'application.

Lisez aussi : Quelles sont les applications et les avantages de Blockchain-as-a-service pour les entreprises ?

Courir

Pour exécuter l'application, ouvrons un terminal à l'emplacement du fichier et exécutons la commande suivante.

Une fois l'application exécutée, les informations suivantes sont imprimées sur la console de l'application.

Regardons le fichier "Scraped_Images" pour vérifier les images téléchargées.

Lisez aussi: Types de sociétés et comment incorporer votre entreprise en démarrage

Conclusion

Nous avons fait le grattage et le téléchargement de Google Images, ce qui était nécessaire pour une raison quelconque, avec python. Si vous souhaitez obtenir les images dont vous avez besoin de Google sans écrire de code, explorez l'API Zenserp. Voici sa documentation puissante et merveilleuse qui est constamment mise à jour.