C#实现web信息自动抓取

　　获取页面内容后，分析页面中连接地址取到要抓取的url：

//处理页面标题和链接
　　　　　　　 public string SniffWebUrl( string urlStr,string blockB,string blockE )
　　　　　　　 {　　　　　　
　　　　　　　　　　　 string urlch1 = "";
　　　　　　　　　　　 string urlch2 = "";　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　 int end_n1 = 0;
　　　　　　　　　　　 int end_nums = 0;
　　　　　　　　　　　 int end_nums1 = 0;
　　　　　　　　　　　 int end_nums2 = 0;
　　　　　　　　　　　 int end_nums3　　　　 = 0;　　　　　　　　　　　
　　　　　　　　　　　 string reUTStr = "";
　　　　　　　　　　　 string reTitle = "";
　　　　　　　　　　　 string ret = "";　　　　　　　　　　
　　　　　　　　　　　 try
　　　　　　　　　　　 {
　　　　　　　　　　　　　　　 int pos01 = urlStr.IndexOf( "." );
　　　　　　　　　　　　　　　 int pos02 = urlStr.LastIndexOf( "/" );
　　　　　　　　　　　　　　　 if( pos01 < 0 )
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 return "";
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 if( pos02 < 0 )
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 return "";
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 int pos03 = urlStr.IndexOf( "/",pos01 );
　　　　　　　　　　　　　　　 if ( pos03 < 0 )
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 urlch1 = urlStr;
　　　　　　　　　　　　　　　　　　　 urlch2 = urlStr;
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 urlch1 = urlStr.Substring( 0,pos03 );
　　　　　　　　　　　　　　　　　　　 urlch2 = urlStr.Substring( 0,pos02 );
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 string tmpAllStr = new PublicFun().Get_Http( urlStr ,time1);
　　　　　　　　　　　　　　　 int pos1 = tmpAllStr.IndexOf( blockB );
　　　　　　　　　　　　　　　 int pos2 = tmpAllStr.IndexOf( blockE,pos1 + blockB.Length );
　　　　　　　　　　　　　　　 if ( pos1>0 && pos2>0 && pos2>pos1 )
　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　 ret = tmpAllStr.Substring( pos1 + blockB.Length,pos2 - pos1 - blockB.Length );
　　　　　　　　　　　　　　　　　　　 ret = ret.Substring( ret.IndexOf( "<" ));
　　　　　　　　　　　　　　　　　　　 while( ret.IndexOf( "<A" ) >= 0 )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; ret = ret.Substring( 0,ret.IndexOf( "<A" ) ) + "<a" + ret.Substring( ret.IndexOf( "<A" ) + 2 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 while( ret.IndexOf( "</A" ) >=0 )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; ret = ret.Substring( 0,ret.IndexOf( "</A" ) ) + "</a" + ret.Substring( ret.IndexOf( "</A" ) + 3 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 while( ret.IndexOf( "Href=" ) >=0 )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; ret = ret.Substring( 0,ret.IndexOf( "Href=" )) + "href=" + ret.Substring( ret.IndexOf( "Href=" ) + 5 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 while( ret.IndexOf( "HREF=" ) >=0 )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; ret = ret.Substring( 0,ret.IndexOf( "HREF=" )) + "href=" + ret.Substring( ret.IndexOf( "HREF=" ) + 5 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 while( ret.IndexOf( "href='" ) >=0 )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; ret = ret.Substring( 0,ret.IndexOf( "href='" )) + "href="" + ret.Substring( ret.IndexOf( "href='" ) + 6 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 }　　　　　　
　　　　　　　　　　　　　　　 tmpAllStr = ret;　　　　　
　　　　　　　　　　　　　　　 int begin_nums = tmpAllStr.IndexOf( "href=" );
　　　　　　　　　　　　　　　 while ( begin_nums >= 0 )
　　　　　　　　　　　　　　　 {　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　 string tmpStrA = "";
　　　　　　　　　　　　　　　　　　　 string tmpStrB = tmpAllStr.Substring( begin_nums + 5,1 );
　　　　　　　　　　　　　　　　　　　 if ( tmpStrB == """ )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; end_n1 = begin_nums + 6;
　　　　　　　　　　　　　　　　　　　　　　&nb sp; if ( ( end_n1 + 1 ) > tmpAllStr.Length )
　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　 return "";
　　　　　　　　　　　　　　　　　　　　&nbs p;　　 }
　　　　　　　　　　　　　　　　　　　　　　　 tmpStrA = tmpAllStr.Substring( begin_nums+6,1 );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; end_n1 = begin_nums + 5;
　　　　　　　　　　　　　　　　　　　　　　&nb sp; tmpStrA = tmpStrB;
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 if ( tmpStrA == "#" )
　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p; tmpAllStr = tmpAllStr.Substring( end_n1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp; begin_nums = tmpAllStr.IndexOf( "href=" );
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　 {　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　 end_nums1 = tmpAllStr.IndexOf( " ",end_n1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp; end_nums2 = tmpAllStr.IndexOf( ">",end_n1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp; end_nums3 = tmpAllStr.IndexOf( "</a",end_nums2 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp; if ( ( end_nums3 >= 0 ) && ( end_nums2 >= 0 ) )
　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　 reTitle = tmpAllStr.Substring( end_nums2 + 1,end_nums3 - end_nums2 - 1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　 if ( end_nums1 > end_nums2 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　 end_nums = end_nums2;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　 if ( end_nums1 < 0 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　 end_nums = end_nums2;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　 end_nums = end_nums1;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 string str4 = tmpAllStr.Substring( end_nums-1, end_nums - end_nums + 1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　 if ( str4 =="""　 || str4 == "'" )
　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　 end_nums = end_nums - 1;
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 string sTotalOne = tmpAllStr.Substring( end_n1,end_nums - end_n1 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　 if ( sTotalOne.IndexOf( "http://" ) <0 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　 if ( sTotalOne.IndexOf( "/" ) == 0 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　 sTotalOne = urlch1 + sTotalOne;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　 {　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 int linshiIntNum = 0;
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　 int flags = 0;
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　 string urlChange = urlStr;;
　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　　 while( sTotalOne.IndexOf( "../" ) >= 0 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　　　　　 sTotalOne = sTotalOne.Substring( sTotalOne.IndexOf( "../" ) + 3 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　　　　　 linshiIntNum = linshiIntNum + 1;
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　　　　　 flags = flags +1;
　　　　　　　　　　　　　　　　　　　　　　&n bsp;　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 while( ( urlChange.LastIndexOf( "/" ) >= 0 ) && ( linshiIntNum >= 0 ) )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　　　　　 urlChange = urlChange.Substring( 0,urlChange.LastIndexOf( "/" ) );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　　　　　 linshiIntNum = linshiIntNum - 1;
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 if ( flags == 0 )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　　　　　 sTotalOne = urlch2 + "/" + sTotalOne;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　　　　 {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　　　　　　　　　　　　　 sTotalOne = urlChange + "/" + sTotalOne;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　　　　　　　　　　　　　 reUTStr = reUTStr + new PublicFun().RemoveHtmlCode( reTitle ) + sTotalOne;
　　　　　　　　　　　　　　　　　　　　　& nbsp;　　　　　 tmpAllStr = tmpAllStr.Substring( end_nums3 + 4 );
　　　　　　　　　　　　　　　　　　　　　　&nb sp;　　　　 begin_nums = tmpAllStr.IndexOf( "href=" );
　　　　　　　　　　　　　　　　　　　　　　&nb sp; }
　　　　　　　　　　　　　　　　　　　　　　　 else
　　　　　　　　　　　　　　　　　　　　　　& nbsp; {
　　　　　　　　　　　　　　　　　　　　　　&nbs p;　　　　 begin_nums = - 1;
　　　　　　　　　　　　　　　　　　　　　　&nb sp; }　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 }
　　　　　　　　　　　　　　　 return reUTStr;
　　　　　　　　　　　 }
　　　　　　　　　　　 catch( Exception e)
　　　　　　　　　　　 {
　　　　　　　　　　　　　　　 return "";
　　　　　　　　　　　 }
　　　　　　　 }