輪換還是固定?為帳號作業挑選代理工作階段

輪換位址是供應商預設販售的方案,卻是已登入帳號的錯誤預設值。兩者各自適用的時機,以及固定工作階段實際保證了什麼。
代理供應商以輪換作為主打,因為輪換正是爬取資料所需要的:每個請求一個新位址,分散負載並躲開針對單一位址的頻率限制。帳號作業需要的卻恰恰相反,而買下預設方案,就是有人的帳號每小時都從不同國家出現的原因。
兩者各是什麼
| 輪換 | 固定 | |
|---|---|---|
| 位址 | 每個請求或每隔幾分鐘換一個新的 | 一個,在一段工作階段內保持不變 |
| 設計用途 | 大量收集資料 | 進行一般作業的已登入帳號 |
| 失效模式 | 工作階段一再被要求重新驗證 | 單一位址承載了超出應有的量 |
| 工作階段長度 | 不是你能控制的 | 通常為數分鐘到數小時,視供應商而定 |
為什麼輪換會破壞已登入的作業
工作階段是平台下的一個賭注:賭持有這個 Cookie 的瀏覽器,就是當初登入的那一個。在工作階段中途更換國家,是這個賭注押錯了的最明確訊號,而平台客氣的回應就是一次驗證挑戰。遇到一次不是災難;每天都遇到,則是你自己造成的例行公事。
固定實際上承諾了什麼
比人們以為的少。固定工作階段通常是在所述的時間窗內盡力維持,而當底層的節點消失時,位址仍然可能改變。請閱讀供應商自己的說明用語,而不是行銷標語,然後驗證你實際拿到什麼:PowerOps 測試端點的方式,是回報它實際觀測到的對外位址,而這不一定是供應商所列的國家。
經驗法則
- 已登入的帳號作業:固定,每個設定檔一個端點,盡可能少更換
- 從公開頁面大量收集資料:輪換,並遵守網站的限制
- 依國家進行排名與可用性檢查:整輪檢查期間使用固定,讓結果具有可比性
- 未登入的一次性研究:哪個最便宜就用哪個
指派一次,然後就別再操心
網路路徑會漂移,幾乎從來不是因為某個決定,而是因為某個設定檔沒有指派路徑就被開啟,或是有人重新指向了共用端點。把代理指派給設定檔時,會將它複製到該設定檔上,所以沒有兩個設定檔共用同一組有效的憑證,開啟設定檔時網路路徑也會一併帶上。正確的事會自然發生,因為那是唯一會發生的事。


