C# 访问网页并对页面上的元素进行抓取

时间:2021-2-26 作者:admin

C# 访问网页并对页面上的元素进行抓取

//
HttpWebRequest request=HttpWebRequest.Create(“URL”) AS HttpWebRequest;

//设置访问页面的标头
request.Method = “get”;//通过get方式访问
//在需访问的页面F12,Network下的Headers中可以查看
request.Accept = “”;
request.ContentType = “”;
request.UserAgent = “”;

HttpWebResponse response = request.GetResponse() as HttpWebResponse;

StreamReader steamReader=new SteamReader(response.GetResponseStream());

//如果请求下来的页面是zip格式
Stream ResStream = new System.IO.Compression.GZipStream(response.GetResponseStream(), System.IO.Compression.CompressionMode.Decompress);
Encoding encoding = Encoding.GetEncoding(“utf-8”);
StreamReader streamReader = new StreamReader(ResStream, encoding);

//请求下来的HTML页面
String data=stream.ReadToEnd();

//以携程网主页房间数为例

C#  访问网页并对页面上的元素进行抓取

        Hashtable hashtable = new Hashtable();// 网页中元素对象
        var htmlDoc = new HtmlAgilityPack.HtmlDocument();
        htmlDoc.LoadHtml(data);//解析
         
        HtmlNode token = htmlDoc.DocumentNode.SelectSingleNode(Xpath);
        
        List<String> li = new List<string>();
        
		//遍历其中符合条件的数据
        foreach (HtmlNode row in token.SelectNodes("option"))
        {
            li.Add(row.InnerHtml);
        }
        
        String aa=string.Empty;
        for (int i=0;i<li.Count;i++) {
            aa += li[i]+ "\r\n";
        }

//显示爬取下来的数据aa
C#  访问网页并对页面上的元素进行抓取

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。