捕獲和轉換Web的工具

GrabzIt的Web Scraper API,數據即服務!

通過GrabzIt的Web Scraper API,我們可以為您的應用程序提供作為網絡服務的抓取數據,使您能夠 int找回剪貼信息 into您的應用程序。 的 int數據整理 into您的應用程序是通過回調處理程序實現的,該回調處理程序是可公開訪問的URL上的腳本或應用程序,用於處理從 網頁抓取工具。 完整的文件按順序發佈到此回調處理程序中,因此,例如,它可以從一系列圖像開始,然後以 JSON 文件,然後可以使用客戶端庫中的幫助程序方法輕鬆解析JSON文件中的數據。 此API還使您的應用程序可以自動控制刮擦的開始和停止時間,以及請求重新發送結果。

首先開始 刮擦 然後選擇 回調網址選項 從“導出選項”選項卡中,然後輸入回調處理程序的URL,例如 http://www.example.com/handler/

如果您的回調處理程序有任何問題,請從“抓取選項”選項卡中選擇“調試”模式。 這將輸出由回調處理程序返回的響應 into日誌。

回調處理程序

要在回調處理程序中處理抓取的數據,請在“導出”選項卡上選擇JSON或XML選項,因為這會以易於被任何面向對象的語言讀取的格式返回數據。

對於不是JSON或XML數據的數據,您的處理選項受到限制,因為該數據不是很容易機讀,因此最好的選擇是 save 文件到磁盤還是數據庫中。

為了幫助 integration過程GrabzIt提供以下用於以下語言的scraper API。 但是,由於我們的代碼是開源的,可以在 GitHub上 您沒有理由不能使用此處未列出的一種編程語言,也可以要求我們 為您創建一個圖書館。 如果您願意,為什麼不與世界分享呢?

ASP.NET Scraper API PHP Scraper API Python Scraper API

雖然回調處理程序是緊密聯繫的最佳方法 int使用您的應用程序對GrabzIt的Web刮板進行管理,您還可以 int通過Amazon S3,Dropbox,FTP和WebDav進行評估。