C#用HtmlAgilityPack获取百度前端源码，为什么不行？

liu8359 · 发表于 2020-10-1 17:16

本帖最后由 liu8359 于 2020-10-2 08:58 编辑

试了好几种办法都不行

[C#] 纯文本查看 复制代码

                HtmlWeb web = new HtmlWeb();
                HtmlAgilityPack.HtmlDocument doc = web.Load(url);
                string code = doc.ParsedText;

[C#] 纯文本查看 复制代码

            WebRequest request = WebRequest.Create(url);
            WebResponse response = request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
            string code = reader.ReadToEnd();

[C#] 纯文本查看 复制代码

            string Html = string.Empty;//初始化新的webRequst
            HttpWebRequest Request = (HttpWebRequest)WebRequest.Create(url);

            Request.KeepAlive = true;
            Request.ProtocolVersion = HttpVersion.Version11;
            Request.Method = "GET";
            Request.Accept = "*/* ";
            Request.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.56 Safari/536.5";
            Request.Referer = url;

coolcalf · 发表于 2020-10-1 17:31

原来也这么干，后来了解了一下python，发现自己是傻瓜

liu8359 · 发表于 2020-10-1 17:33

coolcalf 发表于 2020-10-1 17:31
原来也这么干，后来了解了一下python，发现自己是傻瓜

那我还是研究python吧，主要是工作就用C#，想研究着玩玩

悲恸的大灰狼 · 发表于 2020-10-1 17:40

学习一下z

cdj68765 · 发表于 2020-10-1 17:57

[C#] 纯文本查看 复制代码

            var Html = new WebClient().DownloadString("https://www.baidu.com");

试试这个代码？

woaihot · 发表于 2020-10-1 18:19

百度html代码前面是一大堆空白的,往下拉就能看见了

zll1396971887 · 发表于 2020-10-1 21:23

这都能水? 你滚动条那么长看不到吗?打开百度首页源码看看?

XuYiXin · 发表于 2020-10-1 21:34

试试httphelper http://httphelper.sufeinet.com/

夜泉 · 发表于 2020-10-2 00:02

其实你这个已经获取到内容了，只是你看到了开头没看到结尾，内容在下面，看到你发的图上的滚动条了没？你得往下拉。。。。

刚开始我也被百度这个设计恶心到了。。。

liu8359 · 发表于 2020-10-2 08:52

cdj68765 发表于 2020-10-1 17:57
[mw_shl_code=csharp,true] var Html = new WebClient().DownloadString("https://www.baidu.co ...

大佬，我试试

帐号		自动登录	找回密码
密码			注册[Register]

[已解决] C#用HtmlAgilityPack获取百度前端源码，为什么不行？