搜索引擎基本結(jié)構(gòu)一般包括：搜索器、索引器、檢索器、用戶接口等四個功能模塊。
1、搜索器：
搜索器也叫網(wǎng)絡蜘蛛，是搜索引擎用來爬行和抓取網(wǎng)頁的一個自動程序，在系統(tǒng)后臺不停歇地在互聯(lián)網(wǎng)各個節(jié)點爬行，在爬行過程中盡可能快的發(fā)現(xiàn)和抓取網(wǎng)頁。
2、索引器。
它的主要功能是理解搜索器所采集的網(wǎng)頁信息，并從中抽取索引項。
3、檢索器。
其功能是快速查找文檔，進行文檔與查詢的相關度評價，對要輸出的結(jié)果進行排序。
4、用戶接口。
它為用戶提供可視化的查詢輸入和結(jié)果輸出的界面。
請注冊百度搜索資源平臺http://ziyuan.baidu.com，綁定站點，如整站未收錄或半年內(nèi)收錄≤10條則系統(tǒng)會通過彈窗發(fā)送“新站保護”通道，按照要求提交則可快速收錄。
Site語法是一種在搜索引擎中指定搜索結(jié)果范圍的語法。 使用Site語法時，您可以使用“site:”后跟您要搜索的網(wǎng)站域名來限制搜索結(jié)果范圍。例如，如果您希望在“www.google.com”中搜索“apple”，您可以使用以下語法： site:www.google.com apple 您還可以使用Site語法來搜索特定域名下的特定文件類型，例如：site:www.amazon.com fil
相關統(tǒng)計數(shù)據(jù)表明：互聯(lián)網(wǎng)上近似重復的網(wǎng)頁的數(shù)量占網(wǎng)頁總數(shù)量的比例高達29%，完全相同的網(wǎng)頁大約占網(wǎng)頁總數(shù)量的22%.研究表明，在一個大型的信息采集系統(tǒng)中，30%的網(wǎng)頁是和另外70%的網(wǎng)頁完全重復或近似重復的。即：互聯(lián)網(wǎng)的網(wǎng)頁中相當高的比例的網(wǎng)頁內(nèi)容是近似相同或完全相同的!搜索爬蟲抓取會產(chǎn)生網(wǎng)頁重復的類型：1.多個URL地址指向同一網(wǎng)頁以及鏡像站點如：www.sina.com 和www.sina.c
搜索引擎通常通過以下方式來抓取您的網(wǎng)頁內(nèi)容： 1. 網(wǎng)站提交：您可以將您的網(wǎng)站提交給各大搜索引擎，以便搜索引擎了解您的網(wǎng)站存在。 2. 網(wǎng)絡爬蟲：搜索引擎使用自己的網(wǎng)絡爬蟲程序，定期檢索并抓取互聯(lián)網(wǎng)上的內(nèi)容。當您的網(wǎng)站被網(wǎng)絡爬蟲訪問時，搜索引擎就可以抓取您的網(wǎng)頁內(nèi)容。 3. 外部鏈接：如果您的網(wǎng)站被其他網(wǎng)站所鏈接，搜索引擎可以通過這些鏈接進入您的網(wǎng)站并抓取您的網(wǎng)頁內(nèi)容。 4. 社交媒體：如
