用C#实现蜘蛛/爬虫程序的多线程控制

<建立表>
CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I )
&&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、
线程标志（初值为-1，线程标志是从0开始的整数）四个字段
<提取Url地址>
cfullname = (ctablename) + '.dbf'&&为表添加扩展名
USE (cfullname)　
GO TOP
LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND
( threadNum = thisNum OR threadNum = - 1) )　
&&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，
可以通过参数传递得到
gotUrl = curl
recNum = RECNO()
IF recNum <= RECCOUNT() THEN　&&如果在列表中找到这样的Url地址
UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum =
thisNum WHERE RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，
线程标志列设为本线程的编号。
<下载内容>
cfulltablename = (ctablename) + '.dbf'
USE (cfulltablename)
SET EXACT ON
LOCATE FOR curl = (csiteurl) && csiteurl是参数，为下载到的内容所对应的Url地址
recNumNow = RECNO()&&得到含有此地址的记录号
UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() =
recNumNow &&插入对应地址的对应内容
<插入新地址>
ctablename = (ctablename) + '.dbf'
USE (ctablename)
GO TOP
SET EXACT ON
LOCATE FOR curl = (cnewurl) &&查找有无此地址
IF RECNO() > RECCOUNT() THEN &&如果尚无此地址
SET CARRY OFF
INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum )
VALUES ( (cnewurl) , "" , 0 , -1 )　&&将主页地址添加到列表

　　好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。

　　3.线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：

string url = "";
int times = 0;
while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录
{
url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值
if ( url == "" )//如果没有找到
{
times ++;//尝试次数自增
continue; //进行下一次尝试
}
if ( times > N ) //如果已经尝试够了次数，则退出进程
{
downloadThread[i].Abort; //退出进程
}
else//如果没有尝试够次数
{
Times = 0; //尝试次数归零处理
}
//进行下一步针对得到的Url的处理
}

　　4.这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：

for( int i = 0; i < n; i++ )//关闭指定数量n的线程数
{
downloadThread[i].Abort();//逐个关闭线程
}

　　好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。

　　这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。

　　最后说明一下我所使用的环境：

　　winXP sp2 Pro

　　VFP 9.0

　　Visual Studio 2003 .net中文企业版