实战:用python爬虫下载笔趣阁图书

(Updated: )
python › 技术 › 爬虫 › 笔趣阁

今天凯某人被同学要求去下载一本笔趣阁的小说 本人边学边做 实现了读取并保存为txt文件。

首先废话不多说上代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import re
import time
import requests
from bs4 import BeautifulSoup
urly="https://www.bqg5.cc/89_89739/" //图书地址
for id in range(155399464,156626079):   //阅读中起始章节id和最后一章的id
    time.sleep(3)   //延迟 防止banip
    url=urly+str(id)+".html"
    response=requests.get(url)
    soup = BeautifulSoup(response.text,"html.parser")
    biaoti=soup.title.string
    zhengwen=soup.find_all("p")
    ok=str(biaoti)+"\n"+str(zhengwen)
    path = "D:\\pachong\\"
    full_path=path+biaoti+".txt"
    file=open(full_path,"w")
    file.write(ok)
    print(ok)

不要吐槽我中文变量名哈哈哈哈 还有很低效的做法 毕竟第一次用python的爬虫

  • 首先使用的是 beautifulsoup的解决方案

    比较头疼的是在笔趣阁网站内没有找到CLASS,所以度娘 最后用到了 soup的find_all 查找了所有的“p”（因为只有正文有p）这样就保存下来了。然后在用批量替换吧“p”等删掉
    好了 读代码摸索即可！