C#实现web信息自动抓取

　　本文示例源代码或素材下载

　　背景

　　随着Internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这 就需要Internet信息抓取程序来代替人工的操作。

　　所谓Internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式 。

　　信息量的增加会带来信息网站发布人员工作量的剧增，为实现信息发布系统实现信息自

　　动发布、减少工作人员工作量、即时跟踪最新信息，就需要自动信息提供 程序，因此Internet信息抓取程序应运而生。

　　目标

　　实现自定义网站信息分类抓取，存入本地数据库、生成静态页面或其它用户定义的信息结构，并下载与信息相关 的多媒体文件。

　　开发

　　目标站点结构分析

　　本步骤是准确抓取信息个关键。

　　首先要选择更新频 率高的页面做为抓取地址，然后分析要抓取内容页面url特点。

　　然后分析要抓取信息页面的元素特性，比如标题位置，内容位置 等，得到定位标记点。

　　将以上信息 写成自己的配置文件或存到数据库中。

　　每个网站都需要分析，写出单独的配置文件，供抓取程序使用。

　　信息提取

　　根据配置文件取得要抓取页面url，使用HttpWebRequest类获取内容：

//获取http页面函数
　　　　　　　 public string Get_Http(string a_strUrl,int timeout)
　　　　　　　 {
　　　　　　　　　　　 string strResult ;　　　　　　　　
　　　　　　　　　　　 try
　　　　　　　　　　　 {
HttpWebRequest myReq = (HttpWebRequest) HttpWebRequest.Create(a_strUrl) ;
　　　　　　　　　　　　　　　 myReq.Timeout = timeout;
　　　　　　　　　　　　　　　 HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
　　　　　　　　　　　
　　　　　　　　　　　　　　　 Stream myStream = HttpWResp.GetResponseStream () ;
　　　　　　　　　　　　　　　 StreamReader sr = new StreamReader (myStream , Encoding.Default);
　　　　　　　　　　　　　　　 StringBuilder strBuilder = new StringBuilder();
　　　　　　　　　　　　　　　 while (-1 != sr.Peek())
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 strBuilder.Append (sr.ReadLine()+" ");
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 strResult = strBuilder.ToString ();
　　　　　　　　　　　 }
　　　　　　　　　　　 catch(Exception exp)
　　　　　　　　　　　 {
　　　　　　　　　　　　　　　 strResult = "错误：" + exp.Message ;
　　　　　　　　　　　 }
　　　　　　　　　　　 return strResult ;
　　　　　　　 }