asp.net爬虫对应网址下图片采集-1475-源码+说明资料

发布人

转载地址:http://www.3q2008.com/soft/search.asp?keyword=1475
注：技术难点 循环爬页面的过程
 

管理员 账号 密码
用户 账号 密码 姓名 邮箱 电话
计划   计划名称  网址 层    所属用户
采集明细    计划ID  关键字  图片地址 页面地址
用户登录
修改密码
修改个人信息
建立计划
查询 已经建立的 计划的对应的关键字
管理员
查看全部数据
图片是采集到文件 只是存储 图片 的位置
图片的关键字 就是 Alt 属性, 若没有该属性, 则没有关键字

 

 
  
1.信息采集 提供一个起始网页，就能够按一定的规则沿着网页上的超级链接在网络上漫游（可以提供漫游的层数），收集资源信息（网页上的图片信息及其配对的关键词与主要文字信息），直至遍历整个网站 
2 索引 处理一下搜集到的信息，建立索引库以供查询。
  
3 用户查询 一个web应用程序 主要负责接收、解释用户的请求、查询索引库以及返回排序后的搜索结果。 
从 1 2 3 可以得到整个系统的操作流程!,
  


普通用户：1.按关键字搜索图片（数据库中搜索）
     2.注册
     3.登录
注册用户：1.按关键字搜索：搜索关键字可以得到相应的图片（查询数据库中的信息）
     2.按网页地址搜索信息，以及爬虫层数：爬出该界面中的图片、入库存储、建立 相关索引。
     3.查看自己的爬出的图片。（可删除）
管理员： 1.输入一个URL，以及爬虫层数，进行爬虫。（系统自动建立索引）。
     2.按关键字搜索：搜索关键字可以得到相应的图片（可删除该关键字中的每一项数据）
     3.可以删除数据库中的与一个关键字有关的所有信息。
     

用户信息：
     User_ID(用户编号)、
     Name(用户名)、
     Password(密码)、
     E-mail(邮箱)、
     Phone_Number(电话号码)、
     URL_Number(地址编号)、
     User_Authority(用户权限)
图片信息：
     Picture_ID(图片编号)、
     Keyword(关键字)、
     From_URL(出处网站)、
     Picture_URL(图片连接)、
     User_ID(用户编号)
.....................................................................................
普通用户
1．登录
2．注册
3．关键字查询图片信息
注册用户
1．修改登录密码
2．关键字查找数据库中的图片
3．指定URL的网站进行图片搜索
4．查看自己以前使用网络爬虫搜索出来的图片信息
5．删除指定的自己以前使用网络爬虫搜索出来的图片信息
6．批量删除自己以前使用网络爬虫搜索出来的图片信息
超级管理员
1．修改登录密码
2．查找数据库中的图片可以关键字
3．删除数据库中的图片信息
4．对指定URL的网站进行图片搜索（可以设计层数）
5．查看指定用户以前使用网络爬虫搜索出来的图片信息
6．删除指定用户以前使用网络爬虫搜索出来的图片信息
7．批量删除某用户以前使用网络爬虫搜索出来的图片信息
8．对系统用户进行管理（删除系统注册用户）
用户信息：
     User_ID(用户编号)、
     Name(用户名)、
     Password(密码)、
     E-mail(邮箱)、
     Phone_Number(电话号码)、
     URL_Number(地址编号)、
     User_Authority(用户权限)
图片信息：
     Picture_ID(图片编号)、
     Keyword(关键字)、
     From_URL_ID(出处网站)、
     Picture_URL_ID(图片连接)、
     User_ID(用户编号)
地址信息；
     URL_ID(地址编号)

打开封面下载高清视频观看高清视频视频下载器