教师节送什么？Python教你挑选礼物

同理，我们也定义一个函数来模拟翻页，代码如下

def next_page(): 
    token = search() 
    num = 0 
    while num != token - 1: 
        driver.get('https://s.taobao.com/search?q={}&s={}'.format(keyword,44*num)) 
        driver.implicitly_wait(10)  #隐式等待 
        num += 1 
        drop_down() 
        get_product() 

翻页编写时，需要注意，我在代码加入了keyword，意思就是可以根据你自己的需求，爬取不同种类的商品信息。

7.将数据保存至MongoDB

def save_to_mongo(result): 
    try: 
        if db[MONGO_COLLECTION].insert(result): 
            print('储存到MongoDB成功') 
    except  Exception: 
        print('储存到MongoDB失败') 

8.结果展示

总结

这次用selenium爬取淘宝商品信息，代码逻辑框架如下

由于我能力有限，暂时只能实现这么多功能，下一步准备对MongoDB储存的数据进行分析，这样就完成了从数据爬取——数据储存——数据分析一个完整的过程。

最后，祝所有的老师们：教师节快乐!

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!