2.5 KiB
2.5 KiB
WebMagic文档2.0版
WebMagic是一个简单灵活、便于二次开发的爬虫框架。除了可以便捷的实现一个爬虫，WebMagic还提供多线程功能，以及基本的分布式功能。
你可以直接使用WebMagic进行爬虫开发，也可以定制WebMagic以适应复杂项目的需要。
1. 安装和使用
WebMagic包含两个主要的jar包：webmagic-core-{version}.jar和webmagic-extension-{version}.jar。在项目中添加这两个包的依赖，即可使用WebMagic。
1.1 使用Maven
WebMagic基于Maven进行构建，推荐使用Maven来安装WebMagic。在项目中添加以下坐标即可：
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-extension</artifactId>
<version>0.4.3</version>
</dependency>
WebMagic 使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖。
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-extension</artifactId>
<version>0.4.3</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
1.2 不使用Maven
不使用maven的用户，可以下载附带二进制jar包的版本(感谢oschina)：
git clone http://git.oschina.net/flashsword20/webmagic.git
在lib目录下，有项目依赖的所有jar包，直接在IDE里import即可。