赞
踩
上一篇和大家讲了怎么用C#批量下载验证码图片,这一篇和大家讲讲如何用C#将网页上的html内容保存到一个本地txt文档里面。其实爬虫这个事情,相信大家可能各有各的实现方法,Python讲爬虫的书超级的多,关于C#做爬虫的....好像很少,我看到了一些比较早的用C#制作蜘蛛程序的文章,在这里我按照上一篇的格式写一下比较简单的实现。如有不对,请多指教。
1.C#控制台编程
新建一个C#控制台项目,VS->文件->新建->项目->visual c#->控制台应用程序,项目命名依旧是csharpconsole。先加入三个命名空间Net 、Web和IO,如下图所示(跟上一篇一毛一样哈哈,不过我就是分两篇博客写)。
2.编写DownloadHtml函数
这个函数的作用呢就是发送http请求,判断页面的内容类型是不是文本文件,如果是文本文件呢,就在SaveTextFile函数中把内容读取保存到本地。
- public static bool DownloadHtml(string htmlUrl, string savePath)
- {
- bool value = false;
- Web
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。