|
获取的response如下如：
因此可写出如下正则，从左到右分配匹配出ID、产品名称、发行机构、发行时间、产品期限、投资行业、首页收益。
- # 定义第3个函数parse_content_1，用来解析并匹配第一层网页内容，此处使用正则表达式方法
- def parse_content_1(response):
-
- # 写正则进行所需数据的匹配
- re_1 = re.compile(
- r'{"ROWID".*?"ID":"(.*?)","Title":"(.*?)","producttype".*?"issuers":"(.*?)","released":"(.*?) 0:00:00","PeriodTo":(.*?),"StartPrice".*?"moneyinto":"(.*?)","EstimatedRatio1":(.*?),"status":.*?"}')
- contents = re_1.findall(response)
- return contents
⑤ 解析第二层网页的内容并输出数据
第二层使用bs4中的select+选择器的方法来进行。除了第一层所提取的数据外，还需要发行地、收益分配方式、发行规模、最低收益、最高收益和利率等级分布情况。
网页如下，可见，我们所需要的信息隐藏在一个又一个tr标签里，而这个tr标签处于id=“procon1”下的一个table标签里(此处有个坑，就是从网页来看，table下还有个tbody标签，而实际得到的响应里并没有)。
由于我们不是所有的信息都要，所以我们可以一个一个的提取，最终输出个数据。代码如下(这中间用到了前面提到的选择器知识和一些字符串处理方法)：
- # 定义第4个函数parse_content_2，用来解析并匹配第二层网页内容，并输出数据，此处使用BeautifulSoup方法
- def parse_content_2(response,content):
-
- # 使用bs4进行爬取第二层信息
- soup = BeautifulSoup(response)
-
- # 爬取发行地和收益分配方式，该信息位于id为procon1下的table下的第4个tr里
- tr_3 = soup.select('#procon1 > table > tr')[3]
- address = tr_3.select('.pro-textcolor')[0].text
- r_style = tr_3.select('.pro-textcolor')[1].text
-
- # 爬取发行规模，该信息位于id为procon1下的table下的第5个tr里
- tr_4 = soup.select('#procon1 > table > tr')[4]
- guimo = tr_4.select('.pro-textcolor')[1].text
- re_2 = re.compile(r'.*?(d+).*?', re.S)
- scale = re_2.findall(guimo)[0]
- # 爬取收益率，该信息位于id为procon1下的table下的第8个tr里
- tr_7 = soup.select('#procon1 > table > tr')[7]
- rate = tr_7.select('.pro-textcolor')[0].text[:(-1)]
- r = rate.split('至')
- r_min = r[0]
- r_max = r[1]
-
- # 提取利率等级
- tr_11 = soup.select('#procon1 > table > tr')[11]
- r_grade = tr_11.select('p')[0].text
-
- # 保存数据到一个字典中
- item = {
- '产品名称':content[1],
- '发行机构':content[2],
- '发行时间':content[3],
- '产品期限':content[4],
- '投资行业':content[5],
- '首页收益':content[6],
- '发行地': address,
- '收益分配方式': r_style,
- '发行规模': scale,
- '最低收益': r_min,
- '最高收益': r_max,
- '利率等级': r_grade
- }
-
- # 返回数据
- return item
（编辑：核心网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
