網(wǎng)絡(luò)信息采集大師是一款快速網(wǎng)絡(luò)信息下載、分類軟件,該軟件能夠快速獲得各種類型的網(wǎng)頁信息,網(wǎng)頁深度無限制,網(wǎng)站類型無論是靜態(tài)的HTM、HTML還是ASP和JSP統(tǒng)統(tǒng)都能被軟件完美識別,自動獲取完整的記錄,為搜集信息提供方便地解決方案。
網(wǎng)絡(luò)信息采集大師功能特點(diǎn):
1、完美的數(shù)據(jù)采集功能;
2、可靠的數(shù)據(jù)分類管理;
3、支持POST一定的數(shù)據(jù)之后再請求頁面;
4、支持全量采集和增量采集功能;
5、網(wǎng)頁框架,HTTPS全支持;
6、超多縣城并發(fā),真實(shí)多線程;
7、強(qiáng)大的過濾、分類功能;
8、圖片音樂等二進(jìn)制文件統(tǒng)統(tǒng)支持。
網(wǎng)絡(luò)信息采集大師特色介紹:
1、強(qiáng)大的信息采集功能??刹杉瘞缀跞魏晤愋偷木W(wǎng)站信息,包括靜態(tài)htm,html類型和動態(tài)ASP,ASPX,JSP等??蒒級頁面關(guān)聯(lián)采集,自動整合成一條完整記錄。支持網(wǎng)頁框架,鏈接和網(wǎng)頁加密等。支持完整采集和增量采集(斷點(diǎn)續(xù)采)??勺詣酉螺d二進(jìn)制文件,比如圖片,軟件,mp3等??刹杉镜卮疟P信息。支持Post數(shù)據(jù)請求采集方式。
2、網(wǎng)站登錄。需要登錄才能看到的信息,先在任務(wù)的‘登錄設(shè)置’處進(jìn)行登錄,就可采集登錄后才能看到的信息。
3、速度快,運(yùn)行穩(wěn)定。真正的多線程,多任務(wù),運(yùn)行時(shí)占用系統(tǒng)資源很少,可穩(wěn)定地長時(shí)間運(yùn)行。(明顯區(qū)別于其他軟件)
4、數(shù)據(jù)保存格式豐富??砂巡杉臄?shù)據(jù),保存為Txt,Excel和多種數(shù)據(jù)庫格式(Access sqlserver Oracle Mysql等)。
5、支持腳本。 可設(shè)置腳本類型的任務(wù), 類似javascript:submit(‘Page',1)等格式的可輕松采集。
6、強(qiáng)大的新聞采集,自動化處理功能??勺詣颖A粜侣劦母袷剑▓D片等(可通過設(shè)置自動去除廣告)??赏ㄟ^設(shè)置,自動下載圖片 ,自動把正文里圖片的網(wǎng)絡(luò)路徑改為本地文件路徑(也可保留原樣);可把采集的新聞自動處理成自己設(shè)計(jì)的模板格式;可采集具有分頁形式的新聞。 通過這些功能,簡單設(shè)置后即可在本地建立一個(gè)強(qiáng)大的新聞系統(tǒng),無需人工干預(yù)。
7、強(qiáng)大的信息自動再加工功能。對采集的信息,可進(jìn)行二次批量再加工,使之更加符合您的實(shí)際要求。也可設(shè)置自動加工公式,在采集的過程中,按照公式自動加工處理,包括數(shù)據(jù)合并和數(shù)據(jù)替換等。
8、提供從采集,到自動加工,到數(shù)據(jù)導(dǎo)出(發(fā)布)一條龍自動化功能。通過任務(wù)調(diào)度實(shí)現(xiàn),實(shí)時(shí)監(jiān)測和發(fā)布。指定某些任務(wù)自動運(yùn)行,把采集的數(shù)據(jù)自動去掉重復(fù)之后導(dǎo)入數(shù)據(jù)庫(可指定組合唯一項(xiàng))??裳h(huán)往復(fù)運(yùn)行??芍付橙蝿?wù)在某個(gè)時(shí)間點(diǎn)運(yùn)行??稍O(shè)置采集一定數(shù)據(jù)量后,自動保存入庫,自動清空內(nèi)存。此功能可在占用系統(tǒng)資源很少的情況下,連續(xù)不間斷地采集十萬級和百萬級數(shù)據(jù)。做到無人值守采集。