我用手机写了一个Python爬虫,爬下了《凡人修仙传》……

前言

舞剑很喜欢阅读网络小说。

凡人修仙传,知北游,无限恐怖……等等,优秀的网络小说很多,为此,我在三年前创办了一个推书公众号@无梦解书荒。

专门用来推荐我觉得好看的网络小说。

小说爬虫

起因

老书虫一般有两个烦心事,第一,不知道看什么。第二,不知道去哪看。

第一个,可以去找推书公众号,以及各大榜单扫榜。

第二个,就没那么容易了。

翻开百度一搜,广告横行,弹窗关都关不完,阅读体验差的一批。

这时候,我们可以用 Python 爬虫,将小说从网页端爬取下来,整理成 TXT 文本,导入喜欢的阅读APP观看。

准备

舞剑前面介绍了两款 Python 集成开发环境,分别是 QPythonPydroid

这一次,就用 Pydroid 来爬取小说。

获得 Pydroid * 1

Python 爬虫,必须要观看源码,从源码中寻找需要的资源与文本。可以直接用 Python 扒源码,我这里建议用网页源码查看器,简单直观。

获得 Alook浏览器 * 1

开始

 1 

获取小说地址

①我这里准备爬取无限流小说《无限之僵尸真神》

②随机选取网址:

http://m.9txs.com/book/61781.html

 2 

分析源码地址

① 首先爬取第一章《山边小村》的文本内容,点进去第一章,可以发现网址链接后缀改变了。

http://m.9txs.com/book/61781/868469.html

多出了 /868469.html

② 用Milk浏览器打开网址,运行脚本,可以查看源码。

 3 

爬取首页 TXT 文本

① 爬取整页源码。

舞剑这里准备使用 requests 库,大家记得安装好。

首先自定义方法 get_one _page(),用来爬取源码并返回给 main() 方法。

接下来,在 main() 函数中输出源代码。

代码如下:

import requests#获取首页源码def get_one_page( url ): response = requests.get( url ) return response.text def main(): url = 'http://m.9txs.com/book/61781/868469.html' html = get_one_page( url ) print( html ) main()

②解析页面,筛选内容。

首先,来看看正文部分究竟在源码的哪里。

嗯,在

……

中间。

章节标题在

正文内容在

至于作者与书名,我们暂时不需要。

③编写代码,提取内容

这里准备使用 lxml 库来爬取正文,没安装的小伙伴记得先安装,很方便的。

首先,导入 lxml 库的 etree 模块。

然后,使用 etree 的 HTML() 方法来初始化源码。

最后,使用xpath语法来抽取我们需要的内容。

这里,新建一个方法 parse_one _page() 用来爬取资源。

代码如下:

#解析源码,提取正文def parse_one_page( html ): html = etree.HTML( html ) #标题 title = html.xpath('//div[@id="main"]/h1/text()') #正文 content = html.xpath('//div[@id="main"]/div[@class="content"]//text()') print( title ) print( content )

需要的内容为 title(标题) 和 content(正文)。

这里的代码输出后,会得到两个数组,分别记录着标题和正文的内容。

内容如下所示:

[‘第1章 山边小村’]

[‘nt’, ‘二愣子睁大着双眼,直直望着茅草和烂泥糊成的黑屋顶,身上盖 着的旧棉被,已呈深黄色,看不出原来的本来面目,还若有若无的散发着淡 淡的霉味。’, ‘n’, ‘在他身边紧挨着的另一人,是二哥韩铸,酣睡的十分 香甜,从他身上不时传来轻重不一的阵阵打呼声。’, ‘n’, ‘离床大约半丈 远的地方,是一堵黄泥糊成的……’, ‘……’, ‘nt’]

可以看到,这两个数组的确是我们需要的内容。

那么,就剩下最终的一步,将 爬取的小说标题和正文保存到 TXT 文本中。

 4 

写入文档,保存为TXT

保存为 TXT 文本很简单,只需要使用 Python 自带的文件系统就可以了。

这里先新建一个方法 write_txt(), 用来保存 TXT文本。

接着使用内置方法,创建 txt 文件 凡人修仙传.txt,设置参数为 a+,表示可以追加内容,最后使用 write()方法写入即可。

代码如下所示:

#保存TXT文本def write_txt( result ): with open( '/sdcard/凡人修仙传.txt', 'a+' ) as f: f.write( result )

接下来,就是在 main() 方法中调用 write_txt()方法就行了,但这里有两个问题:

① parse_one _page()方法返回的是列表(list),不能直接写入到 TXT 文本中。

②列表正文(content)中,除了小说正文外,还包含了 “n t” 这些符号,必须要去除后再写入 txt文档,才不会影响阅读体验。

取出标题

我们先取出 title(标题)中的内容, title 中只有一个内容,所以只需要使用下标为0的中括号就能取出,代码如下所示:

write_txt( title[0] )

取出正文

接着要取出 content(正文)中的内容, content 内部包含了换行符(n)和制表符(t),它们散落在每一段文字的开头与结尾,这里直接使用 join() 方法,用 n 将内容连接为 str(字符串)。

代码如下所示:

write_txt( 'n'.join(content) )

最终会在手机根目录生成 凡人修仙传.txt 文本,打开后可以看到爬取的内容一切正常。

后记

就这样,用 Python 爬虫爬下了凡人修仙传第一章的内容,是不是很简单。

至于其他章节的内容,留在下一节继续写。

另外,源码很简单,总共也就30行,如果有需要的小伙伴,可以后台回复:爬虫01,获取本次的代码。

关于 Pydroid ,可以去翻翻我以前的文章,也可以后台直接回复:0003, 免费领取。

文中用到的 Alook,嫌麻烦的小伙伴可以用其他的 via 等浏览器取代,只要可以查看源码就行。

当然,也可以后台回复:0008,或者直接回复: Alook, 即可免费获取。

© 版权声明
THE END
喜欢就支持以下吧
点赞0
分享
评论 抢沙发