使用 Python 抓取和下载 Google 图像

target_image_path = “.isv-r.PNCib.MSM1fd.BUooTd”
targetted_image_base_html_path = “.VFACy.kGQAp.sMi44c.lNHeqe.WGvvNb”

html = requests.get(“https://www.google.com/search”, params=queryParameters, headers=headers, timeout=30)
soup = BeautifulSoup(html.text, “lxml”)

google_images = []

def scrape_and_download_google_images():

images_data_in_json = convert_image_to_json()

matched_image_data = re.findall(r'\”b-GRID_STATE0\”(.*)sideChannel:\s?{}}', images_data_in_json)

removed_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data)

matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, removed_matched_thumbnails)

full_resolution_images = get_resolution_image（匹配分辨率图像=匹配分辨率图像）

对于枚举（zip（soup.select（target_image_path），full_resolution_images），start = 1）中的索引，（image_data，image_link）：

append_image_to_list（图像数据=图像数据，图像链接=图像链接）

print(f'{index}.图片开始下载')

下载图片（图片链接=图片链接，索引=索引）

print(f'{index}. 图片下载成功')

打印（f'抓取和下载的图像：{google_images}'）

def remove_matched_get_thumbnails（matched_google_image_data）：
返回 re.sub(
r'\[\”(https\:\/\/encrypted-tbn0\.gstatic\.com\/images\?.*?)\”,\d+,\d+\]', “”, str(matched_google_image_data ))

def get_resolution_image(matched_resolution_images):
返回 [
bytes(bytes(img, “ascii”).decode(“unicode-escape”), “ascii”).decode(“unicode-escape”) for img in matched_resolution_images
]

def convert_image_to_json():
all_script_tags = soup.select(“脚本”)
images_data = “”.join(re.findall(r”AF_initDataCallback\(([^<]+)\);”, str(all_script_tags)))
fixed_images_data = json.dumps(images_data)
返回 json.loads(fixed_images_data)

def append_image_to_list（图像数据，图像链接）：
google_images.append({
“image_title”: image_data.select_one(targetted_image_base_html_path)[“title”],
“image_source_link”：image_data.select_one(targetted_image_base_html_path)[“href”],
“图片链接”：图片链接
})

def download_image（图像链接，索引）：
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36')]
urllib.request.install_opener（开瓶器）
urllib.request.urlretrieve(image_link, f'Scraped_Images/Image_{index}.jpg')

scrape_and_download_google_images()

html = requests.get(“https://www.google.com/search”, params=queryParameters, headers=headers, timeout=30)
soup = BeautifulSoup(html.text, “lxml”)

google_images = []

images_data_in_json = convert_image_to_json()

matched_image_data = re.findall(r'\”b-GRID_STATE0\”(.*)sideChannel:\s?{}}', images_data_in_json)

removed_matched_thumbnails = remove_matched_get_thumbnails(matched_google_image_data=matched_image_data)

matched_resolution_images = re.findall(r”(?:'|,),\[\”(https:|http.*?)\”,\d+,\d+\]”, removed_matched_thumbnails)

full_resolution_images = get_resolution_image（匹配分辨率图像=匹配分辨率图像）

对于枚举（zip（soup.select（target_image_path），full_resolution_images），start = 1）中的索引，（image_data，image_link）：

append_image_to_list（图像数据=图像数据，图像链接=图像链接）

print(f'{index}.图片开始下载')

下载图片（图片链接=图片链接，索引=索引）

print(f'{index}. 图片下载成功')

打印（f'抓取和下载的图像：{google_images}'）