Очистите и загрузите изображения Google с помощью Python

target_image_path = «.isv-r.PNCib.MSM1fd.BUooTd»
target_image_base_html_path = «.VFACy.kGQAp.sMi44c.lNHeqe.WGvvNb»

html = request.get("https://www.google.com/search", params=queryParameters, headers=headers, timeout=30)
суп = BeautifulSoup(html.text, «lxml»)

гугл_изображения = []

защита scrape_and_download_google_images():

images_data_in_json = convert_image_to_json()

matched_image_data = re.findall(r'\”b-GRID_STATE0\”(.*)sideChannel:\s?{}}', images_data_in_json)

remove_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data)

matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, remove_matched_thumbnails)

full_resolution_images = получить_разрешение_изображения (соответствующие_разрешения_изображения = сопоставленные_разрешения_изображения)

для индекса (image_data, image_link) в перечислении (zip (soup.select (target_image_path), full_resolution_images), start = 1):

append_image_to_list (image_data = image_data, image_link = image_link)

print(f'{index}. Загрузка изображения началась')

download_image(image_link=image_link, index=index)

print(f'{index}. изображение успешно загружено')

print(f'скопированные и загруженные изображения: {google_images}')

def remove_matched_get_thumbnails (matched_google_image_data):
вернуть re.sub(
r'\[\"(https\:\/\/encrypted-tbn0\.gstatic\.com\/images\?.*?)\",\d+,\d+\]', "", str(matched_google_image_data ))

защита get_resolution_image (соответствующие_разрешения_изображения):
возвращаться [
bytes(bytes(img, "ascii").decode("unicode-escape"), "ascii").decode("unicode-escape") для img в matched_resolution_images
]

защита convert_image_to_json():
all_script_tags = суп.выбрать («скрипт»)
images_data = ".join(re.findall(r"AF_initDataCallback\(([^<]+)\);", ​​str(all_script_tags)))
fixed_images_data = json.dumps(images_data)
вернуть json.loads(fixed_images_data)

def append_image_to_list (image_data, image_link):
google_images.append({
«image_title»: image_data.select_one(targetted_image_base_html_path)[«название»],
«image_source_link»: image_data.select_one (targetted_image_base_html_path) [«href»],
«ссылка_изображения»: ссылка_изображения
})

def download_image (ссылка на изображение, индекс):
открыватель=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/101.0.4951.54 Safari/537.36′)]
urllib.request.install_opener(открыватель)
urllib.request.urlretrieve(image_link, f'Scraped_Images/Image_{index}.jpg')

scrape_and_download_google_images()

html = request.get("https://www.google.com/search", params=queryParameters, headers=headers, timeout=30)
суп = BeautifulSoup(html.text, «lxml»)

гугл_изображения = []

images_data_in_json = convert_image_to_json()

matched_image_data = re.findall(r'\”b-GRID_STATE0\”(.*)sideChannel:\s?{}}', images_data_in_json)

remove_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data)

matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, remove_matched_thumbnails)

full_resolution_images = получить_разрешение_изображения (соответствующие_разрешения_изображения = сопоставленные_разрешения_изображения)

для индекса (image_data, image_link) в перечислении (zip (soup.select (target_image_path), full_resolution_images), start = 1):

append_image_to_list (image_data = image_data, image_link = image_link)

print(f'{index}. Загрузка изображения началась')

download_image(image_link=image_link, index=index)

print(f'{index}. изображение успешно загружено')

print(f'скопированные и загруженные изображения: {google_images}')