mikeon88
管理員
UID 1
精華
0
積分 0
帖子 15453
閱讀權限 255
註冊 2007-1-14 用戶註冊天數 6283
用戶失蹤天數 0
118.169.164.30
|
|
Wu Alex 於 2018年10月31日 上午12:05 寫道:
Hi Mike,
1. 請參考module Finviz.
2. 不建議將放入這段程式,因為
a) 共有3百多頁, 約要10 minutes才能抓完
b) 1個user在10分鐘內,connect這頁300多次, 若有100個user同時執行這段程式, 就connect 30000多次, 應該沒有多久就會被擋下來了.
3. 可以詢問看看有沒有同學可以提供24 hr ASP.NET server及SQL Server, 我們可以由一個人執行一次抓取這些資料,然後Excel連到自建的Server來抓取,如此才不會被該網站block.
Regards,
Alex
|
|
|