標題: 新盈再表181120:中股bug
Raimu
同學




UID 292
精華 0
積分 0
帖子 672
閱讀權限 99
註冊 2011-4-1
用戶註冊天數 4768
用戶失蹤天數 1082

49.159.171.10
發表於 2018-10-25 09:46  資料 私人訊息 
開始擋機器人了...
被網站擋掉
頂部
Curry
同學




UID 66927
精華 0
積分 0
帖子 1522
閱讀權限 99
註冊 2017-2-14
用戶註冊天數 2622
用戶失蹤天數 430

59.124.228.82
發表於 2018-10-25 09:59  資料 私人訊息 
以後要自己手動貼損益表惹...
頂部
powerhouse
同學




UID 24063
精華 0
積分 0
帖子 246
閱讀權限 99
註冊 2014-9-28
用戶註冊天數 3491
用戶失蹤天數 1987

59.115.56.238
發表於 2018-10-25 10:13  資料 私人訊息 
來源網站,美股版 MW 與全球版 WSJ 屬同個集團,若 MW 有問題,可能 WSJ  之後也會出現類似問題。

小弟是覺得不太像阻擋使用者 IP 也不像是擋電腦機器,否則網頁應該也沒辦法看,可能需要真正的程式大神來判斷一下。

猜測 1. 對方網站判讀出是太多人用盈再表抓取資料 (而不是透過一般瀏覽器瀏覽),而在網頁中埋下程式阻擋 EXCEL 抓取資料。(因為吃掉 MW 太多頻寬但卻沒有帶來廣告點選)

猜測 2. MW 網頁外掛太多載速過慢,或是網頁當中的程式碼哪裡卡住,導致盈再表來不及讀取,故誤判為無資料之後就一頁一頁快速略過 ....


頂部
Raimu
同學




UID 292
精華 0
積分 0
帖子 672
閱讀權限 99
註冊 2011-4-1
用戶註冊天數 4768
用戶失蹤天數 1082

49.159.171.10
發表於 2018-10-25 10:52  資料 私人訊息 
需要請excel大神幫忙看看有沒有機會驗證機器人
頂部
bni822
同學




UID 2197
精華 0
積分 0
帖子 75
閱讀權限 99
註冊 2013-1-26
用戶註冊天數 4101
用戶失蹤天數 1850

36.230.89.217
發表於 2018-10-25 11:53  資料 私人訊息 
如果程式載連續抓取吃料時, 由程式控制間隔幾秒再抓, 會不會比較不會被擋.
頂部
vickiwutw
同學




UID 61756
精華 0
積分 0
帖子 4
閱讀權限 99
註冊 2016-5-18
用戶註冊天數 2894
用戶失蹤天數 1984

61.230.122.155
發表於 2018-10-25 11:59  資料 私人訊息 
我自己到目前為止,跑美股和收藏都沒有問題。但特定股票如 JCI 會出現資料庫無資料的情況,以 JCI 而言,用全球也跑不出來。電腦:WIN 10
EXCEL:Office Pro 2013 (和大家不一樣)
IE:IE 11.345

不過昨天可以現在不行的話,難道是windows update鎖了啥??

[ 本帖最後由 vickiwutw 於 2018-10-25 12:03 編輯 ]
頂部
bni822
同學




UID 2197
精華 0
積分 0
帖子 75
閱讀權限 99
註冊 2013-1-26
用戶註冊天數 4101
用戶失蹤天數 1850

36.230.84.124
發表於 2018-10-25 12:03  資料 私人訊息 
剛剛試了一下, 第一次抓 WFC 沒問題, 2(?)分內再抓即無法顯示 !把Hinet 小烏龜關掉後重開 (換 IP),  間隔 10~15分再抓, 又OK了.  
或許不用等那麼久, 但是程式內若每次有抓資料的動作, 間隔幾秒, 或許比較不會有問題 !  
這是我猜的啦 !!
頂部
Raimu
同學




UID 292
精華 0
積分 0
帖子 672
閱讀權限 99
註冊 2011-4-1
用戶註冊天數 4768
用戶失蹤天數 1082

110.26.96.36
發表於 2018-10-25 12:26  資料 私人訊息 
網站會有一些判斷猜測使用者是不是機器人
如果覺得使用者是機器人就會跳出一些問題叫你回答
頂部
sherry5312
同學




UID 32441
精華 0
積分 0
帖子 55
閱讀權限 99
註冊 2015-1-7
用戶註冊天數 3390
用戶失蹤天數 779

223.137.13.181
發表於 2018-10-25 12:35  資料 私人訊息 
我的電腦完全無法跑美股,很傷腦筋,台股可以
頂部
sywang33
同學




UID 67474
精華 0
積分 0
帖子 82
閱讀權限 99
註冊 2017-3-27
用戶註冊天數 2581
用戶失蹤天數 443
來自 台北

114.34.34.138
發表於 2018-10-25 12:36  資料 私人訊息 
marketwatch 開始擋爬蟲程式...  爬蟲程式得把自己偽裝成瀏覽器...


QUOTE:
原帖由 Raimu 於 2018-10-25 12:26 發表
網站會有一些判斷猜測使用者是不是機器人
如果覺得使用者是機器人就會跳出一些問題叫你回答

頂部
bni822
同學




UID 2197
精華 0
積分 0
帖子 75
閱讀權限 99
註冊 2013-1-26
用戶註冊天數 4101
用戶失蹤天數 1850

36.230.84.124
發表於 2018-10-25 12:37  資料 私人訊息 
剛剛又試了, 間隔時間久, 就沒問題 !!  僅供參考 !!
頂部
kweit2013
同學




UID 2942
精華 0
積分 0
帖子 70
閱讀權限 99
註冊 2013-11-23
用戶註冊天數 3800
用戶失蹤天數 1984

114.136.141.207
發表於 2018-10-25 12:50  資料 私人訊息 
我也是完全不能跑美股 單一無法 收藏頁也無法 頭痛
頂部
hawkeye052
同學




UID 68666
精華 0
積分 0
帖子 36
閱讀權限 99
註冊 2017-6-7
用戶註冊天數 2509
用戶失蹤天數 1963

1.200.54.67
發表於 2018-10-25 15:51  資料 私人訊息 
美股完全不能跑,請問有解決的方式了嗎
頂部
jzknight1689
同學




UID 71962
精華 0
積分 0
帖子 27
閱讀權限 99
註冊 2018-1-23
用戶註冊天數 2278
用戶失蹤天數 1288

114.38.152.73
發表於 2018-10-25 17:12  資料 私人訊息 
昨天晚餐開始也不能跑。
頂部
jennycaplock
同學




UID 2562
精華 0
積分 0
帖子 74
閱讀權限 99
註冊 2013-6-25
用戶註冊天數 3951
用戶失蹤天數 1446

211.72.212.2
發表於 2018-10-25 17:35  資料 私人訊息 
剛剛跑了一下美股  可以跑喔!
頂部