隨著互聯(lián)網(wǎng)的迅猛發(fā)展、WEB信息的增加，用戶要在信息海洋里查找自己所需的信息，就象大海撈針一樣，搜索引擎技術(shù)恰好解決了這一難題（它可以為用戶提供信息檢索服務(wù)）。搜索引擎是指互聯(lián)網(wǎng)上專門提供檢索服務(wù)的一類網(wǎng)站，這些站點(diǎn)的服務(wù)器通過網(wǎng)絡(luò)搜索軟件(例如網(wǎng)絡(luò)搜索機(jī)器人)或網(wǎng)絡(luò)登錄等方式，將Intemet上大量網(wǎng)站的頁(yè)面信息收集到本地，經(jīng)過加工處理建立信息數(shù)據(jù)庫(kù)和索引數(shù)據(jù)庫(kù)，從而對(duì)用戶提出的各種檢索作出響應(yīng)，提供用戶所需的信息或相關(guān)指針。用戶的檢索途徑主要包括自由詞全文檢索、關(guān)鍵詞檢索、分類檢索及其他特殊信息的檢索(如企業(yè)、人名、電話黃頁(yè)等)。下面以網(wǎng)絡(luò)搜索機(jī)器人為例來說明搜索引擎技術(shù)。
　　1．網(wǎng)絡(luò)機(jī)器人技術(shù)
　　網(wǎng)絡(luò)機(jī)器人(Robot)又被稱作Spider、Worm或Random，核心目的是為獲取Intemet上的信息。一般定義為“一個(gè)在網(wǎng)絡(luò)上檢索文件且自動(dòng)跟蹤該文件的超文本結(jié)構(gòu)并循環(huán)檢索被參照的所有文件的軟件”。機(jī)器人利用主頁(yè)中的超文本鏈接遍歷WWW，通過U趾引用從一個(gè)HT2LIL文檔爬行到另一個(gè)HTML文檔。網(wǎng)上機(jī)器人收集到的信息可有多種用途，如建立索引、HIML文件合法性的驗(yàn)證、uRL鏈接點(diǎn)驗(yàn)證與確認(rèn)、監(jiān)控與獲取更新信息、站點(diǎn)鏡像等。
　　機(jī)器人安在網(wǎng)上爬行，因此需要建立一個(gè)URL列表來記錄訪問的軌跡。它使用超文本，指向其他文檔的URL是隱藏在文檔中，需要從中分析提取URL，機(jī)器人一般都用于生成索引數(shù)據(jù)庫(kù)。所有WWW的搜索程序都有如下的工作步驟：
　　(1)機(jī)器人從起始URL列表中取出URL并從網(wǎng)上讀取其指向的內(nèi)容；
　　(2)從每一個(gè)文檔中提取某些信息(如關(guān)鍵字)并放入索引數(shù)據(jù)庫(kù)中；
　　(3)從文檔中提取指向其他文檔的URL，并加入到URL列表中；
　　(4)重復(fù)上述3個(gè)步驟，直到再?zèng)]有新的URL出現(xiàn)或超出了某些限制(時(shí)間或磁盤空間)；
　　(5)給索引數(shù)據(jù)庫(kù)加上檢索接口，向網(wǎng)上用戶發(fā)布或提供給用戶檢索。
　　搜索算法一般有深度優(yōu)先和廣度優(yōu)先兩種基本的搜索策略。機(jī)器人以URL列表存取的方式?jīng)Q定搜索策略：先進(jìn)先出，則形成廣度優(yōu)先搜索，當(dāng)起始列表包含有大量的WWW服務(wù)器地址時(shí)，廣度優(yōu)先搜索將產(chǎn)生一個(gè)很好的初始結(jié)果，但很難深入到服務(wù)器中去；先進(jìn)后出，則形成深度優(yōu)先搜索，這樣能產(chǎn)生較好的文檔分布，更容易發(fā)現(xiàn)文檔的結(jié)構(gòu)，即找到最大數(shù)目的交叉引用。也可以采用遍歷搜索的方法，就是直接將32位的IP地址變化，逐個(gè)搜索整個(gè)Intemet。
　　搜索引擎是一個(gè)技術(shù)含量很高的網(wǎng)絡(luò)應(yīng)用系統(tǒng)。它包括網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)動(dòng)標(biāo)引技術(shù)、檢索技術(shù)、自動(dòng)分類技術(shù)，機(jī)器學(xué)習(xí)等人工智能技術(shù)。
　　2．索引技術(shù)
　　索引技術(shù)是搜索引擎的核心技術(shù)之一。搜索引擎要對(duì)所收集到的信息進(jìn)行整理、分類、索引以產(chǎn)生索引庫(kù)，而中文搜索引擎的核心是分詞技術(shù)。分詞技術(shù)是利用一定的規(guī)則和詞庫(kù)，切分出一個(gè)句子中的詞，為自動(dòng)索引做好準(zhǔn)備。目前的索引多采用Non—clustered方法，該技術(shù)和語言文字的學(xué)問有很大的關(guān)系，具體有如下幾點(diǎn)：
　　(1)存儲(chǔ)語法庫(kù)，和詞匯庫(kù)配合分出句子中的詞匯；
　　(2)存儲(chǔ)詞匯庫(kù)，要同時(shí)存儲(chǔ)詞匯的使用頻率和常見搭配方式；
　　(3)詞匯寬，應(yīng)可劃分為不同的專業(yè)庫(kù)，以便于處理專業(yè)文獻(xiàn)；
　　(4)對(duì)無法分詞的句子，把每個(gè)字當(dāng)作詞來處理。
　　索引器生成從關(guān)鍵詞到URL的關(guān)系索引表。索引表一般使用某種形式的倒排表(1nversionUst)，即由索引項(xiàng)查找相應(yīng)的URL。索引表也要記錄索引項(xiàng)在文檔中出現(xiàn)的位置，以便檢索器計(jì)算索引項(xiàng)之間的相鄰關(guān)系或接近關(guān)系，并以特定的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)在硬盤上。
　　不同的搜索引擎系統(tǒng)可能采用不盡相同的標(biāo)引方法。例如Webcrawler利用全文檢索技術(shù)，對(duì)網(wǎng)頁(yè)中每一個(gè)單詞進(jìn)行索引；Lycos只對(duì)頁(yè)名、標(biāo)題以及最重要的100個(gè)注釋詞等選擇性詞語進(jìn)行索引；Infoseek則提供概念檢索和詞組檢索，支持and、or、near、not等布爾運(yùn)算。檢索引擎的索引方法大致可分為自動(dòng)索引、手工索引和用戶登錄三類。
　　3. 檢索器與結(jié)果處理技術(shù)
　　檢索器的主要功能是根據(jù)用戶輸入的關(guān)鍵詞在索引器形成的倒排表中進(jìn)行檢索，同時(shí)完成頁(yè)面與檢索之間的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并實(shí)現(xiàn)某種用戶相關(guān)性反饋機(jī)制。
　　通過搜索引擎獲得的檢索結(jié)果往往成百上千，為了得到有用的信息，常用的方法是按網(wǎng)頁(yè)的重要性或相關(guān)性給網(wǎng)頁(yè)評(píng)級(jí)，進(jìn)行相關(guān)性排序。這里的相關(guān)度是指搜索關(guān)鍵字在文檔中出現(xiàn)的額度。當(dāng)額度越高時(shí)，則認(rèn)為該文檔的相關(guān)程度越高。能見度也是常用的衡量標(biāo)準(zhǔn)之一。一個(gè)網(wǎng)頁(yè)的能見度是指該網(wǎng)頁(yè)入口超級(jí)鏈接的數(shù)目。能見度方法是基于這樣的觀點(diǎn)：一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)引用得越多，則該網(wǎng)頁(yè)就越有價(jià)值。特別地，一個(gè)網(wǎng)頁(yè)被越重要的網(wǎng)頁(yè)所引用，則該網(wǎng)頁(yè)的重要程度也就越高。結(jié)果處理技術(shù)可歸納為：
　　(1)按頻次排定次序 通常，如果一個(gè)頁(yè)面包含了越多的關(guān)鍵詞，其搜索目標(biāo)的相關(guān)性應(yīng)該越好，這是非常合平常理的解決方案。
　　(2)按頁(yè)面被訪問度排序 在這種方法中，搜索引擎會(huì)記錄它所搜索到的頁(yè)面被訪問的頻率。人們?cè)L問較多的頁(yè)面通常應(yīng)該包含比較多的信息，或者有其他吸引入的長(zhǎng)處。這種解決方案適合一般的搜索用戶，而因?yàn)榇蟛糠值乃阉饕�擎都不是專業(yè)性用戶，所以這種方案也比較適合一般搜索引擎使用。
　　(3)二次檢索 進(jìn)一步凈化(比flne)結(jié)果，按照一定的條件對(duì)搜索結(jié)果進(jìn)行優(yōu)化，可以再選擇類別、相關(guān)詞進(jìn)行二次搜索等。
　　由于目前的搜索引擎還不具備智能，除非知道要查找的文檔的標(biāo)題，否則排列第一的結(jié)果未必是“最好”的結(jié)果。所以有些文檔盡管相關(guān)程度高，但并不一定是用戶最需要的文檔。
　　搜索引擎技術(shù)的行業(yè)應(yīng)用：
　　搜索引擎的行業(yè)應(yīng)用一般指類似于千瓦通信提供的多種搜索引擎行業(yè)與產(chǎn)品應(yīng)用模式，大體上分為如下幾種形式：
　　1、 政府機(jī)關(guān)行業(yè)應(yīng)用
　　n 實(shí)時(shí)跟蹤、采集與業(yè)務(wù)工作相關(guān)的信息來源。
　　n 全面滿足內(nèi)部工作人員對(duì)互聯(lián)網(wǎng)信息的全局觀測(cè)需求。
　　n 及時(shí)解決政務(wù)外網(wǎng)、政務(wù)內(nèi)網(wǎng)的信息源問題，實(shí)現(xiàn)動(dòng)態(tài)發(fā)布。
　　n 快速解決政府主網(wǎng)站對(duì)各地級(jí)子網(wǎng)站的信息獲取需求。
　　n 全面整合信息，實(shí)現(xiàn)政府內(nèi)部跨地區(qū)、跨部門的信息資源共享與有效溝通。
　　n 節(jié)約信息采集的人力、物力、時(shí)間，提高辦公效率。
　　2、企業(yè)行業(yè)應(yīng)用
　　n 實(shí)時(shí)準(zhǔn)確地監(jiān)控、追蹤競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)，是企業(yè)獲取競(jìng)爭(zhēng)情報(bào)的利器。
　　n 及時(shí)獲取競(jìng)爭(zhēng)對(duì)手的公開信息以便研究同行業(yè)的發(fā)展與市場(chǎng)需求。
　　n 為企業(yè)決策部門和管理層提供便捷、多途徑的企業(yè)戰(zhàn)略決策工具。
　　n 大幅度地提高企業(yè)獲取、利用情報(bào)的效率，節(jié)省情報(bào)信息收集、存儲(chǔ)、挖掘的相關(guān)費(fèi)用，是提高企業(yè)核心競(jìng)爭(zhēng)力的關(guān)鍵。
　　n 提高企業(yè)整體分析研究能力、市場(chǎng)快速反應(yīng)能力，建立起以知識(shí)管理為核心的競(jìng)爭(zhēng)情報(bào)數(shù)據(jù)倉(cāng)庫(kù)，是提高企業(yè)核心競(jìng)爭(zhēng)力的神經(jīng)中樞。
　　3、新聞媒體行業(yè)應(yīng)用
　　n 快速準(zhǔn)確地自動(dòng)跟蹤、采集數(shù)千家網(wǎng)絡(luò)媒體信息，擴(kuò)大新聞線索，提高采集速度。
　　n 支持每天對(duì)數(shù)萬條新聞進(jìn)行有效抓取。監(jiān)控范圍的深度、廣度可以自行設(shè)定。
　　n 支持對(duì)所需內(nèi)容智能提取、審核。
　　n 實(shí)現(xiàn)互聯(lián)網(wǎng)信息內(nèi)容采集、瀏覽、編輯、管理、發(fā)布的一體化。
　　4、 行業(yè)網(wǎng)站應(yīng)用
　　n 實(shí)時(shí)跟蹤、采集與網(wǎng)站相關(guān)的信息來源。
　　n 及時(shí)跟蹤行業(yè)的信息來源網(wǎng)站，自動(dòng)，快速更新網(wǎng)站信息。動(dòng)態(tài)更新信息。
　　n 實(shí)現(xiàn)互聯(lián)網(wǎng)信息內(nèi)容采集、瀏覽、編輯、管理、發(fā)布的一體化。
　　n 針對(duì)商務(wù)網(wǎng)站提出商務(wù)管理模式，大大提高行業(yè)網(wǎng)站的商務(wù)應(yīng)用需求。
　　n 針對(duì)資訊網(wǎng)站分類目錄生成，提出用戶生成網(wǎng)站分類結(jié)構(gòu)。并可以實(shí)時(shí)增加與更新分類結(jié)構(gòu)。不受級(jí)數(shù)限制。從而大大利高行業(yè)的應(yīng)用性。
　　n 提供搜索引擎SEO優(yōu)化專業(yè)服務(wù)，快速提高行業(yè)網(wǎng)站的推廣。
　　n 提供與CCDC呼叫搜索引擎的廣告合作。建立行業(yè)網(wǎng)站聯(lián)盟，提高行業(yè)網(wǎng)站知名度。
　　5) 網(wǎng)絡(luò)信息監(jiān)察與監(jiān)控
　　n 網(wǎng)絡(luò)輿情系統(tǒng)。如“千瓦通信-網(wǎng)絡(luò)輿情雷達(dá)監(jiān)測(cè)系統(tǒng)”

　　n 網(wǎng)站信息與內(nèi)容監(jiān)察與監(jiān)控系統(tǒng)，如“千瓦通信-網(wǎng)站信息與內(nèi)容監(jiān)測(cè)與監(jiān)察系統(tǒng)（站內(nèi)神探）”

http://www.sg363.cn