Python网络爬虫与信息提取

Scrapy 爬虫框架介绍 官网：https://www.scrapy.org/ 文档：https://docs.scrapy.net.cn/en/latest/ 快速功能强大的网络爬虫框架 Scrapy 的安装 pip install scrapy scrapy -h Scrapy 爬虫框架结构 Scrapy不是一个函数功能库，而是一个爬虫框架。 ...

正则表达式 regular expression, regex, RE 正则表达式是用来简洁表达一组字符串的表达式 正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具 正则表达式可以用来判断某字符串的特征归属 ...

信息标记的三种形式 信息的标记 标记后的信息可形成信息组织结构，增加了信息维度 标记的结构与信息一样具有重要价值 标记后的信息可用于通信、存储或展示 标记后的信息更利于程序理解和运用 ...

Beautiful Soup 库入门 官网：https://www.crummy.com/software/BeautifulSoup/ You didn’t write that awful page. You’re just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, it’s been saving programmers hours or days of work on quick-turnaround screen scraping projects. Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful: ...

https://python-requests.org/ Requests 库入门 安装：pip install requests 基本使用 python 1 2 3 4 5 6 import requests r = requests.get("http://www.baidu.com") r.status_code 200 r.encoding = 'utf-8' r.text ...

本部分是 MOOC中的《Python网络爬虫与信息提取》笔记 课程链接：https://www.icourse163.org/learn/BIT-1001870001?tid=1475660446#/learn/content ...