隨著企業逐漸將應用程序轉移至云端,并通過應用程序編程接口(API)暴露各種功能,網絡罪犯也紛紛快速轉向利用這一新暴露出來的攻擊界面。借助機器爬蟲,黑客能夠大幅增加其攻擊的波及面和有效性。與許多新技術的情況類似,安全再一次滯后了。
管理咨詢公司AArete技術實踐總經理John Carey稱,問題在于企業必須合理安排其安全預算。客戶通常是看不到反機器爬蟲技術方面的投入的。他說:“工具和技術稀缺,而且越來越貴。同時,由于是個有利可圖的犯罪領域,威脅范圍也正在擴大。”
針對API的機器爬蟲攻擊問題愈趨嚴峻
今年早些時候,安全公司Radware和研究公司Osterman Research發布了一份報告,指出2020年有98%的企業遭受過針對其應用程序的攻擊,82%報告稱遭到惡意程序攻擊。最常見的攻擊類型是拒絕服務(DoS),86%的企業都經歷過;網絡爬蟲攻擊次之,84%的企業遭遇過;賬戶劫持則有75%的企業報告過。
受訪企業中55%將API安全當做“首要工作”,59%表示要在2021年“大力投資”API安全。僅四分之一的企業表示用過機器爬蟲程序管理工具。至于明年,59%的企業計劃大力投資API防護,51%打算投入Web應用防火墻,但僅32%考慮投資反爬蟲管理工具。此外,僅52%的企業將安全完全集成進API持續交付,而集成進Web應用的比例則是63%。
情況只會越來越糟數字經濟保護委員會9CSDE)、消費技術協會和美國電信協會(USTelecom)3月的一份報告指出,由于2025年物聯網設備的數量預計可達到800億,相當于全球人口數量的十倍,機器爬蟲的破壞潛力也將隨其利用物聯網設備而呈指數級增長。API是很容易得手的目標,因為企業可以通過API將后端數據和功能暴露給可信合作伙伴、客戶和公眾。CSDE建議采用API網關來輔助抵御惡意機器爬蟲。
根據安全公司GreyNoise Intelligence的數據,在過去三個月里,有超過6800個IP地址一直在掃描互聯網上的ENV文件(用于存儲數據庫登錄憑證、口令和API令牌的配置文件)。GreyNoise研究主管Nathan Thai透露,這些掃描流量中,1.4%已知呈良性。“一些安全公司會掃描這些文件,他們沒有惡意,只是在做調查或者編撰報告。”
另外23%的流量就是惡意的了,因為相同的IP地址還參與了其他可疑行為。剩下75%歸屬未知類別,可能是無害的研究,也可能是網絡罪犯在執行被動監視,好根據監視情況通過其他渠道做別的壞事。Thai稱:“通常情況下,他們會一次做完,因為他們根本不在乎會不會被逮到。”最大的流量來源是哪兒呢?云托管提供商Amazon、Linode、微軟、阿里巴巴和DigitalOcean。
而且這種活動還在升級。過去六個月來,執行機會性ENV爬取的機器爬蟲的活動規模直接翻了個倍。Imperva的《2021惡意僵尸網絡報告》揭示,惡意機器爬蟲如今占據了所有網站流量的四分之一,相較于去年上升了6%,而且三分之一的登錄嘗試都是惡意的。
更糟糕的是,惡意爬蟲程序還越來越智能了。Imperva應用安全戰略總監Edward Roberts表示:“更難以檢測和阻止的高級僵尸程序構成了去年惡意爬蟲流量的主體。”這種惡意程序是造成API高速濫用、誤用及攻擊的根本原因。隨著API數量每年成倍增長,惡意黑客也有了更多途徑來入手敏感數據。
如何利用針對API的機器爬蟲攻擊
佛瑞斯特研究所首席分析師Sandy Carielli表示,爬蟲程序常用于憑證填充攻擊,也可用于庫存囤積。她說:“當限量版運動鞋、音樂會門票或最新游戲系統等搶手商品開始發售時,機器爬蟲會搶在合法人類用戶之前一擁而上,瞬間搶光庫存。”然后爬蟲程序運營者就可以轉售這些商品牟取暴利了。
Carielli表示,企業也會使用機器爬蟲。“不道德的公司會用爬蟲程序從競爭對手的網站上爬取價格,然后將自己的價格設得略低一點,或者爬取高端產品的產品信息和圖片,再用在自己的網站上兜售假貨。”
DDoS工具和Web應用防火墻防不住所有類型的爬蟲程序攻擊。企業需要專用的反爬蟲程序管理解決方案。Carielli稱:“注意,爬蟲攻擊合法業務邏輯。你不是要阻止所有人登錄或購買產品,而是只阻止惡意爬蟲。”
看一家銀行是如何對抗惡意爬蟲的
一家中型金融機構的網絡安全技術經理Jeff表示,被阻止的流量中85%都來自惡意爬蟲程序。其余15%要么是地理封禁的登錄嘗試,要么是合法人類用戶嘗試太多次登錄,或者使用了過時代理或應用。
不是所有機器爬蟲網絡流量都會被阻止。有些流量來自良性爬蟲程序。Jeff稱:“我們與Quicken和Mint等其他金融機構和聚合器合作。從某種意義上講,這些都是爬蟲網絡,因為這就是在多個站點執行多項功能的API。惡意爬蟲程序則只要能切進來就可以造成大量破壞。最糟糕的情況是,惡意爬蟲程序能夠冒充用戶,收集該用戶的財務信息。”
網絡罪犯也能以其他方式利用機器爬蟲網絡。例如,他們可以利用網頁爬蟲找出哪家銀行提供最佳費率,然后創建賬戶用來洗錢。Jeff表示:“你會發現有機器爬蟲網絡不斷利用真實賬戶轉移資金,只不過是以自動化的方式轉移。網絡罪犯還會利用機器爬蟲網絡來繞過限制。他們可能位于受限制的國家,將機器爬蟲網絡設在不受限國家的云提供商處,從而繞開合規監管。”
為識別機器爬蟲程序,Jeff所在的公司審查機器人程序的用戶代理名稱和IP地址。如果是已知惡意IP地址,就立即阻止。然后查看其與API的交互方式,查找cookie或會話重放、異常行為模式和其他可疑行為的跡象。
Jeff稱:“如果請求的第一個頁面是賬戶狀態頁而不是登錄頁面,那就不正常了。假設我們知道某賬戶持有者是個22歲的大學生,每兩周周五會存入200美元,而現在開始每周幾次存入大量現金,那事情就不對勁了。”
Jeff拒絕透露銀行內部使用了什么工具來識別惡意行為。而在外圍邊緣,他們采用Salt Security。該工具的人工智能和機器學習大幅減輕了內部安全團隊的工作量。
只要發現一起機器爬蟲程序攻擊,往往該攻擊中的所有請求都有某種共性,比如相似的請求構造模式,或者共同的源地址,或者都使用同一個代理。Salt Security首席產品官Elad Koren稱:“如果是合法請求,就會按一定順序進來。”這樣就可以使用通用參數識別同屬于該攻擊的其他流量,或者標記目標賬戶以加強安全防護。Koren表示:“機器爬蟲網絡通常只是攻擊的一部分。加上賬戶劫持,一拿到登錄憑證,他們就能借助更高級的工具深入進來,卷走資金。”
常用機器爬蟲網絡檢測技術
Radware和Osterman Research的調查研究顯示,Web應用防火墻(WAF)是檢測機器爬蟲流量最常用的技術,48%的企業都使用這種技術。此外,47%的企業查找已知惡意IP地址,43%使用全自動區分計算機和人類的圖靈測試(CAPTCHA),34%采用速率限制,26%構建自有解決方案,僅24%使用專用反機器爬蟲程序技術。
Constellation Research副總裁兼首席分析師Andy Thurai稱:“只要實現得當,CAPTCHA非常有效。我們知道,抵御機器爬蟲程序的成功率高達90%。一般說來,視覺處理挑戰非常有效,需要人腦來解決。”
速率限制和WAF也很有效。Thurai表示:“實現得當的API安全應當按用戶、位置和身份限制API使用的速率,或者阻止不受支持的協議、調用方式或可疑包頭或內容。”專用機器爬蟲程序防御解決方案還會監測規模、簽名、地理頻次和流量內容等流量特征。
區分良性機器爬蟲程序和惡意機器爬蟲程序很有必要。例如,大多數客戶通信都遷移到了聊天機器人等機器人程序上了。所以,任意給定時間上都有大量良性機器人程序流量流經網絡。模式識別有助于區分這二者。