python 淘宝爬虫小实例_Python

python 淘宝爬虫小实例

2022-02-25 12:15嗨学编程 Python

双十一即将到来，电商都在做活动打折，但打完折是不是真的优惠了，需要我们自己斟酌，毕竟我们不能一直关注着价格，也自然不能知道现在的价格比以前高了还是低了，今天让我们用Python来爬取一下淘宝吧

兄弟们，双十一剁手了吗？购物虽快乐，但是别过度了，毕竟很多降价不是真的降价，眼睛擦亮了~

python 淘宝爬虫小实例

今天来试试爬一下某宝，这玩意学会了做外包的话，还是值几个钱的。

python 淘宝爬虫小实例

环境/模块介绍

python 3.8 使用的环境
pycharm 使用的编辑器
selenium 浏览器驱动的第三方模块
csv 数据保存的模块
time 时间模块, 可以用于程序的延迟
random 随机数模块

下载操作浏览器驱动的第三方模块
对应视频教程：

Python：双十火热进行中，教你带你用Python继续剁手

				?

									selenium  pip install selenium

解释我基本都写在注释了，我就偷个懒不在写了。

				?

									from selenium import webdriver

									import time  # 时间模块, 可以用于程序的延迟

									import random  # 随机数模块

									from constants import TAO_USERNAME1, TAO_PASSWORD1

									import csv  # 数据保存的模块

									def search_product(keyword):

									    """搜索商品数据, 登录用户"""

									    driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)

									    time.sleep(random.randint(1, 3))  # 尽量避免人机检测  随机延迟

									    driver.f

									def parse_data():

									    """解析商品数据"""

									    divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfx"]/div/div')  #  所有的div标签

									    for div in divs:

									        try:

									            info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text

									            price = div.find_element_by_xpath('.//strong').text + '元'

									            deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text

									            name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text

									            location = div.find_element_by_xpath('.//div[@class="location"]').te'.//div[@class="pic"]/a').get_attribute('href')

									            print(info, price, deal, name, location, detail_url)

									            # 保存

									            with open('某宝.csv', mode='a', encoding='utf-8', newline='') as f:

									                csv_write = csv.writer(f)

									                csv_write.writerow([info, price, deal, name, location, detail_url])

									        except:

									            continue

									word = input('请输入你要搜索商品的关键字:')

									# 创建一个浏览器

									driver = webdriver.Chrome()

									# selenium操作的浏览器被识别了, 无法登录

									# 修改浏览器的部分属性, 绕过检测

									driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",

									            {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => false})"""})

									# 执行自动化浏览器的操作

									driver.get('https://www.taobao.com/')

									driver.implicitly_wait(10)  # 设置浏览器的等待,加载数据

									driver.maximize_window()  # 最大化浏览器

									# 调用商品搜索的函数

									search_product(word)

									for page in range(100): # 012

									    print(f'\n==================正在抓取第{page + 1}页数据====================')

									    url = f'https://s.taobao.com/search?q=%E5%B7%B4%E9%BB%8E%E4%B8%96%E5%AE%B6&s={page * 44}'

									    # 解析商品数据

									    parse_data()

									    time.sleep(random.randint(1, 3))  # 尽量避免人机检测  随机延迟