这个数据需要登录网站后才能看到、怎样用脚本下载？已经提供帐号及密码

[#1]

大家好!

这个数据需要登录网站后才能看到、怎样用脚本下载？

https://vip.cfi.cn/ts_exdailytradeinfopage.aspx?caller=1&clid=meoh&ptime=20210824&pdiv=ts_content_ca... 

我抓取了浏览器中相关信息。有帐号、密码。

但我不会如何编写脚本来自动下载这些数据。

Request URL: https://vip.cfi.cn/ts_exdailytradeinfopage.aspx?caller=1&clid=meoh&ptime=20210824&pdiv=ts_content_caller&visitby_pcclient=False
Request Method: POST
Status Code: 200 OK
Referrer Policy: no-referrer-when-downgrade
Cache-Control: private
Content-Encoding: gzip
Content-Length: 1853
Content-Type: text/html; charset=utf-8
Date: Wed, 29 Dec 2021 08:03:02 GMT
Server: Microsoft-IIS/8.5
Vary: Accept-Encoding
X-AspNet-Version: 2.0.50727
X-Powered-By: ASP.NET
Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7
Connection: keep-alive
Content-Length: 0
Cookie: cficatA0A1A5670A5671=2021-12-28; ts_user_name=lala; ts_user_pwd=jmp1234; ASP.NET_SessionId=0h43hlzuoybz1h45ognhwe45
Host: vip.cfi.cn
Origin: https://vip.cfi.cn
Referer: https://vip.cfi.cn/ts_exdailytradeinfopage_caller.aspx?clid=meoh&table=ts_exdaily&ptime=20210824&null&t=1640764980858
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36
X-Requested-With: XMLHttpRequest
caller: 1
clid: meoh
ptime: 20210824
pdiv: ts_content_caller
visitby_pcclient: False

感谢专家帮助! 

[#2]

VBA

[#3]

Hi Lala

我New http request中有user name和password的参数。

[#4]

谢谢!

几个方法我都试过、不成功

u =
"https://vip.cfi.cn/ts_exdailytradeinfopage.aspx?caller=1&clid=meoh&ptime=20210824&pdiv=ts_content_caller&visitby_pcclient=False";
obj = New HTTP Request(
	URL( u ),
	Method( "POST" ),
	Headers( "Content-Type, application/x-www-form-urlencoded; charset=UTF-8" ),
	Username( "lala" ),
	Password( "jmp1234" )
)<< Send( "blob" );

chardata = Blob To Char( obj, "gb2312" );
filename = Save Text File( "$temp/deleteme.html", chardata );
d1 = Open( filename, HTML Table( 1 ) );

[#5]

Hi Lala

你试试别的网站是否正常，这个网页应该是服务器宕机了。

另外，第一次执行你的代码时返回一个错误的信息‘HTTP Error 411’ 。网上查了下需要你把获取方式从‘Post’修改为‘Get’

然后就可以获取网页了，但是网页里显示服务器负载过高。无法加载，另外网页中没有table，JMP不能按照默认的方法获取数据。

[#6]

感谢您的帮助、

我修改了获取方式、好象成功了。

但第二次再执行好象受限制了。可能网站是防批量爬取数据。

[#7]

看来没有办法了。