WEB CRAWLER
小肩膀教育BUILD YOUR EXPERTISE.++
课程介绍
课程年份与状态按最新课表维护，具体学习安排、服务与学员权益请与老师确认。
面向网络数据采集开发，从 Python 基础、面向对象、生成器和线程开始，逐步学习 HTTP 请求、页面解析、JavaScript 分析与浏览器自动化。课程不仅关注获取数据，也覆盖图形界面、数据存储和任务部署。
目录包含 AST 程序开发、requests、Scrapy/Twisted、Selenium/Playwright、验证码识别，以及 MySQL、Redis、MongoDB、Docker 和分布式爬虫。还延伸到安卓端采集、常见数据结构与 CPython 源码分析，适合按基础、工程化和进阶专题分阶段学习。采集实践需遵守目标站点规则与数据授权。
课程亮点
- Python 基础与线程、迭代器、生成器相结合，服务于采集程序开发。
- 覆盖 HTTP、页面解析、JS 参数分析、AST 与浏览器自动化。
- Scrapy/Twisted 专题梳理中间件、管道、数据流和任务运行。
- 通过 MySQL、Redis、MongoDB 学习数据存储与调用。
- 结合 PyQt、Docker 和分布式专题，连接工具界面与部署运行。
- 补充安卓端采集、数据结构练习和 CPython 源码分析。
课程目录
12 个章节 · 269 个 MP4 视频标题。目录来自课程视频文件名，已去掉 .mp4 扩展名并按自然序排列；子文件夹作为章节，多层子目录保留层级名称。仅展示目录，不提供视频播放。
已按本地视频目录整理更新：2026-11-07
0101.第一部分 Python基础
31 条
- 0.课程介绍
- 1.Pycharm环境配置
- 2.字符串和常用方法
- 3.列表和常用方法
- 4.元组和取值
- 5.字典和常用方法
- 6.登录程序掌握循环控制语句
- 7.函数封装登录程序
- 8.类属性方法
- 09.两个循环中常用的方法
- 10.txt文本操作
- 11.with内部过程
- 12.参数args和kwargs
- 13.闭包和计时装饰器
- 14.异常捕获和自定义异常
- 15.for循环迭代器
- 16.yield生成器
- 17.修改字典setitem
- 18.修改字典getitem
- 19.super
- 20.描述符托管
- 21.属性操作
- 22.property
- 23.可变对象和不可变对象
- 24.new方法
- 25.repr和str
- 26.递归
- 27.普通多线程
- 28.守护线程
- 29.在子类中使用多线程
- 30.Lock上锁
0202.第二部分 AST程序开发
43 条
- 1.node环境配置
- 2.ECMAScript变量
- 3.undefined和null
- 4.Boolean布尔值
- 5.Number数字类型
- 6.String字符串
- 7.函数
- 8.循环判断语句
- 9.switch语句
- 10.三元运算符
- 11.Object创建
- 12.三种函数自执行改法
- 13.Array数组
- 14.Date时间
- 15.对象属性
- 16.Object的this
- 17.函数创建与执行
- 18.Hoisting
- 19.Primitive和Object
- 20.原型链
- 21.内存漫游环境配置
- 22.内存漫游基本原理
- 23.内存漫游anyproxy
- 24.内存漫游全局代理
- 25.内存漫游rule
- 26.内存漫游内容判断
- 27.内存漫游替换script
- 28.内存漫游rules_process
- 29.内存漫游运行
- 30.内存漫游plugins-manager
- 31.内存漫游eval插件
- 32.内存漫游字符串存储
- 33.内存漫游字符搜索
- 34.内存漫游变量替换
- 35.内存漫游赋值表达式替换
- 36.内存漫游对象表达式替换
- 37.内存漫游函数参数替换
- 38.改进内存漫游框架
- 39.内存漫游使用
- 40.还原混淆代码
- 41.自写AST还原数组混淆乱序
- 42.自写AST还原三层赋值数组
- 43.冗余节点删除
0303.第三部分 网络爬虫
46 条
- 1.爬虫基本原理
- 2.HTTP基础
- 3.requests基础方法
- 4.requests高级用法
- 5.实战-无广告百度搜索(bs4)
- 6.xpath改写上节课代码
- 7.正则知乎热榜
- 8.urlencode
- 9.腾讯视频m3u8
- 10.腾讯新闻
- 11.图怪兽图片
- 12.字体反爬硬解
- 13.字体反爬找文件
- 14.酷狗音乐下载
- 15.酷狗kg_mid
- 16.execjs执行js
- 17.酷狗设备指纹dfid
- 18.今日头条signature爬虫
- 19.pycharm配置node.js环境
- 20.唯品会mars_cid
- 21.云点播AES_m3u8
- 22.qq音乐sign webpack打包
- 23.知乎x-zse-96
- 24.大众点评svg
- 25.Hook视频解析debugger
- 26.py和js实现MD5
- 27.Hook MD5
- 28.Hook SHA
- 29.python实现RSA
- 30.Hook RSA
- 31.python实现AES
- 32.Hook AES
- 33.Hook Cookie
- 34.websocket
- 35.万能转发介绍
- 36.万能转发方案
- 37.自动化配合万能转发
- 38.selenium配置
- 39.selenium过淘宝检测
- 40.selenium滑块操作
- 41.selenium爬取豆瓣读书
- 42.playwright自动化
- 43.浏览器补环境proxy
- 44.补极验滑块环境
- 45.补今日头条环境
- 46.问题解答：AES去除填充
0404.第四部分 scrapy框架
21 条
- 1.第一个scrapy项目
- 2.scrapy shell
- 3.scrapy爬取豆瓣读书
- 4.管道存储数据
- 5.多管道优先级
- 6.管道的from_crawler
- 7.中间件信号
- 8.中间件函数流程
- 9.下载中间件随机user-agent
- 10.重写Request
- 11.scrapy发送post的两种形式
- 12.Twisted直接运行爬虫
- 13.Twisted邮件提醒
- 14.scrapy暂停和重启（官方文档）
- 15.自制暂停重启功能
- 16.crawl模板
- 17用twisted写爬虫
- 18.scrapy数据流程
- 19.scrapy爬取名言网站
- 20.scrapy爬取名言网站2
- 21.scrapy日志设置
0505.第五部分 Pyqt桌面程序开发
21 条
- 01.Pyqt介绍
- 02.音乐下载器UI
- 03.音乐下载器后台
- 04.打包GUI到exe
- 5.自动化软件UI
- 6.截图功能弹窗
- 7.截图坐标记录与绘制
- 8.截图双缓冲
- 9.选择截图和提示
- 10.命令可视化
- 11.截图定位坐标
- 12.鼠标单击截图中心
- 13.自动化输入文本
- 14.定位失败捕捉
- 15.截图最小化和分辨率自适应
- 16.执行时最小化
- 17.删除命令
- 18.更新命令
- 19.打开命令
- 20.自动化软件小结
- 21.多线程改写音乐项目
0606.第六部分 验证码识别
10 条
- 01.51滑块基本思路和图片请求
- 02.51滑块底图还原
- 03.51滑块发包
- 04.通用文字识别
- 05.通用验证码识别
- 06.训练环境配置
- 07.验证码训练
- 08.服务接口搭建
- 09.CenterNet训练滑块缺口
- 10.搭建滑块识别服务
0707.第七部分 数据库开发与调用
32 条
- 1.mysql安装配置
- 2.mysql的table
- 3.mysql增删改查
- 4.mysql数值类型
- 5.mysql字符串类型
- 6.mysql日期类型
- 7.mysql数据库引擎
- 8.mysql事务操作
- 9.pymysql操作数据库
- 10.多线程操作pymysql
- 11.多表查询-内外连接
- 12.子查询
- 13.sqlAlchemy操作mysql
- 14.多线程数据库连接池
- 15.sqlalchemy外键多表查询
- 16.sqlalchemy的mysql存储JSON
- 17.redis数据库安装使用
- 18.redis常用数据类型
- 19.redis设置键过期时间
- 20.redis事务
- 21.redis消息发布订阅机制
- 22.redis持久化之RDB
- 23.redis持久化之AOF
- 24.python操作redis连接池
- 25.python操作pipeline开启事务
- 26.redis主从复制
- 27.python实现redis发布订阅
- 28.mongodb安装配置
- 29.mongodb增删改查
- 30.mongodb的ID内涵
- 31.mongodb的查询
- 32.python操作mongodb
0808.第八部分 docker
11 条
- 1.docker安装部署
- 2.docker部署redis
- 3.docker部署爬虫项目
- 4.pycharm远程同步docker
- 5.docker目录挂载
- 6.docker虚拟机联通
- 7.pycharm调用docker镜像解释器
- 8.发布自己的镜像包
- 9.docker-compose多容器打包
- 10.docker修改镜像安装目录
- 11.docker网络
0909.第九部分 分布式爬虫
6 条
- 1.京东商品上半页
- 2.京东商品下半页
- 3.京东商品评论
- 4.分布式概念
- 5.实现分布式架构
- 6.docker-conpose分布式项目
1010.第十部分 安卓端爬虫
13 条
- 1.FD抓包配置
- 2.某易新闻APP爬虫
- 3.安卓自动化环境配置
- 4.安卓自动化元素定位
- 5.安卓自动化常用API
- 6.安卓自动化TouchAction
- 7.安卓逆向Frida版本
- 8.HttpCanary和证书配置
- 9.某嘟牛登录算法静态分析
- 10.某嘟牛Hook类方法
- 11.某嘟牛Hook重载方法
- 12.某嘟牛登录算法主动调用
- 13.frida的RPC远程调用算法
1111.第11部分 刷面试题
23 条
- 1.二分法查找数据
- 2.python实现链表
- 3.链表反转
- 4.给定结点，链表删除
- 5.查找链表倒数第K个元素
- 6.判断链表是否有环
- 7.去除链表重复项
- 8.python实现栈
- 9.python实现队列
- 10.python实现二叉树
- 11.二叉树的层序遍历
- 12.HTTP和HTTPS的区别
- 13.Python的深拷贝和浅拷贝
- 14.两个有序链表合并成一个有序链表
- 15.拷贝二叉树
- 16.斐波那契数列
- 17.楼梯问题
- 18.单例模式
- 19.冒泡排序
- 20.快速排序
- 21.OSI七层模型有哪些
- 22.三次握手四次挥手
- 23.过一遍面试题
12CPython源码分析
12 条
- 1.vs2017环境配置和下载
- 2.自己编译Python3.5解释器
- 3.一切皆对象PyObject
- 4.long对象解析和Hook
- 5.字符串对象初始化
- 6.字符串intern机制
- 7.字符串拼接用+为什么慢
- 8.列表的创建插入删除
- 9.源码中的字典对象
- 10.python的编译运行
- 11.pyc文件的生成
- 12.pyc文件创建反编译和虚拟化加密
信息整理：2026-11-07 · 课程介绍与目录在本站直接浏览；当前未接入视频播放、订单与在线支付。