博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
经验总结21--抓取WEB数据,汇率,HtmlAgilityPack
阅读量:6575 次
发布时间:2019-06-24

本文共 976 字,大约阅读时间需要 3 分钟。

网上找了非常多资料,PHP的比較多,然后找到有csv文件的。处理起来非常麻烦,国外的站点速度非常慢。

最后还是去页面上抓取数据,我是从中国银行抓取的,各位可去其它站点抓取。

1、模拟请求URL。

string url = "http://srh.bankofchina.com/search/whpj/search.jsp?

pjname=1316";

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;

                request.Method = "GET";
                request.ContentType = "text/html; charset=UTF-8";
                request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0";
                HttpWebResponse response = request.GetResponse() as HttpWebResponse;
                Stream myResponseStream = response.GetResponseStream();
                StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
                string result = myStreamReader.ReadToEnd();

2、对HTML进行处理。

使用HtmlAgilityPack进行辅助。

HtmlDocument doc = new HtmlDocument();

                doc.LoadHtml(result);
                foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td"))
                {
                    if (node.InnerText == "美元")
                    {
                        result = node.NextSibling.NextSibling.InnerText;
                        break;
                    }
                }

具体数据位置。自己可先用F12查找到。然后使用工具进行查找,具体文档自己去查,这种方法临时获取到USD-CNY的汇率。

转载地址:http://wxgjo.baihongyu.com/

你可能感兴趣的文章
在Pycharm中使用GitHub
查看>>
linux 查询系统版本命令、查询端口号是否被占用命令
查看>>
java笔记八:IO流之字符流与字符缓冲流
查看>>
Docker 命令收集
查看>>
myeclipse注册码生成器
查看>>
BW数据源深入研究
查看>>
【转】接口测试总结
查看>>
怎样快速学好PHP技术之PHP学习方法总结
查看>>
这是歌手,马云
查看>>
泰国商家频繁被问是否支持手机付款,竟向游客放大招!
查看>>
30PB数据1年内迁移到Spark,eBay的经验有何可借鉴之处?
查看>>
你不可不知的GopherChina大咖讲师们
查看>>
余承东再会张近东 战略合作升级点燃818第一把火
查看>>
蚂蚁金服董事长彭蕾开微博 支付宝小编差点惹祸遭劝退
查看>>
拥有华为Mate 9,无需健身房自己练一样有效
查看>>
开启千元快充时代 魅族发布魅蓝5s 售价799元起
查看>>
趣店季报图解:营收环比降14% 大白汽车收入近6亿
查看>>
人民币中间价“四连涨”迫近6.6区间 创逾半年新高
查看>>
Java开发者该如何选择合适的NoSQL?
查看>>
广西龙胜一村寨旅游扶贫年终分红670万元
查看>>