搜狗workflow框架例程分析——01_搜狗workflow源码分析

例程01，通过wget方式抓取输入的网页内容

一、测试结果

我们使用例程01对例程00进行抓取测试

上图测试总共分为三次，第一次为http服务关闭状态，第二次为开启状态，第三次为电脑断网状态访问www.baidu.com

二、代码分析

例程01的代码主要分为两个部分，
1、获取URL，创建并启动http任务，
2、抓取response并分析，成功则打印网页内容。

1、获取，创建并启动http任务

这其中使用了WFTaskFactory::create_http_task()来创建一个http任务

	static WFHttpTask *create_http_task(const std::string& url,
										int redirect_max,
										int retry_max,
										http_callback_t callback);

	static WFHttpTask *create_http_task(const ParsedURI& uri,
										int redirect_max,
										int retry_max,
										http_callback_t callback);

	static WFHttpTask *create_http_task(const std::string& url,
										const std::string& proxy_url,
										int redirect_max,
										int retry_max,
										http_callback_t callback);

	static WFHttpTask *create_http_task(const ParsedURI& uri,
										const ParsedURI& proxy_uri,
										int redirect_max,
										int retry_max,
										http_callback_t callback);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

关于create_http_task()函数总共有四个重载版本，前三个参数无需解释，最后一个http_callback_t()函数比较关键，这个函数需要自己实现，选择打印错误代码，或者输出抓取的http内容。
task->get_req()函数得到任务的request，默认是GET方法，HTTP/1.1，长连接。框架会自动加上request_uri，Host等。

2、抓取response并分析，成功则打印网页内容

在callback函数中，下面一切的操作都是基于task，在本文最后会对WFHttpTask类进行分析。

(1)访问失败

通过返回的错误代码来判断错误类型并打印在命令行上

(2)访问成功

如果访问成功则通过get->req()函数将http协议信息打印到命令行中

访问成功后打印信息的代码可以分为两部分
1、打印http请求中的头部信息
2、打印http应答中的头部信息，内容

这里使用了一个 protocol::HttpHeaderCursor 的类

class HttpHeaderCursor
{
public:
	HttpHeaderCursor(const HttpMessage *message);
	virtual ~HttpHeaderCursor();

public:
	bool next(struct HttpMessageHeader *header);
	bool find(struct HttpMessageHeader *header);
	void rewind();

	/* std::string interface */
public:
	bool next(std::string& name, std::string& value);
	bool find(const std::string& name, std::string& value);

protected:
	http_header_cursor_t cursor;
};
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

通过这个函数循环打印http应答中头部数据信息。

3、protocol作用域分析

以protocol作为namespace的class有很多个，并且包含在不同的文件中，例如mian函数中的protocol::HttpRequest属于HttpMessages.h中，callback函数中的protocol::HttpHeaderCursor属于HttpUtil.h中

//HttpMessages.h
namespace protocol
{
struct HttpMessageHeader
{
	const void *name;
	size_t name_len;
	const void *value;
	size_t value_len;
};//Http协议头部结构体
class HttpMessage : public ProtocolMessage{}；//Http数据报类，继承了通用数据报协议类
class HttpRequest : public HttpMessage{}；//Http请求数据报类
class HttpResponse : public HttpMessage{}；//Http应答数据报类
}

//HttpUtil.h 对Http数据报的操作
namespace protocol
{
// static class
class HttpUtil{……};//其中包括了设置应答状态，解码chunk编码的内容
class HttpHeaderMap{……};
class HttpHeaderCursor{……};//对request和response的header进行扫描
class HttpChunkCursor{……};//对使用chunk编码的request和response的header进行扫描
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24