Python

某一功能测试脚本

帮公司测试写的一个功能测试脚本。需要尽量少用第三方库,但其实还是用到了,连接ssh必须需要用到。 # coding:utf-8 import socket import sys import os import paramiko import subprocess...

Scrapy抓取伯乐在线文章

前面我讲了一下scrapy基础,接下来就是实战搞一下 jobbole.py 我使用的py2,需要用到Request和Response对象爬取网站,使用callback进行函数回调,获取文章信息这里直接使用ItemLoader来填...

Scrapy基础学习

做了个支线任务scrapy学习。 安装 pip3 install scrapy scrapy startproject yourproject 切换到spiders目录下面 scrapy genspider jobbole blog.jobbole.com scrapy运行 ...

用Python获取代理ip

业余学习scrapy,撸了一下反爬策略,继续怼了一波代理ip, # /usr/bin python # coding:utf-8 # author:2amor import requests from scrapy.selector import Selector import pymysql """ create ...