1 引言
隨著信息技術的推廣和互聯網的普及,電子郵件日益成為人們不可或缺的重要通信手段。電子郵件以其便捷、高效率和低成本受到人們的青睞,但與此同時一些別有用心的個人或組織恰恰利用了電子郵件的優勢大肆發送未經收件人許可的內容,傳播散布不受歡迎甚至違禁內容。據中國互聯網協會反垃圾郵件中心2008年第1季度數據顯示,中國網民收到垃圾郵件的比例為56.7%,平均每周收到垃圾郵件的數量為17.64封。這些垃圾郵件在互聯網的蔓延,污染了網絡環境,消耗了大量網絡資源,影響了網絡安全,干擾了人們正常通信。本文是基于參加互聯網協會反垃圾郵件工作組工作及反垃圾郵件項目實施經驗,從保障網絡安全的角度討論了垃圾郵件的防范體系。
2 垃圾郵件的定義
國際上對垃圾郵件并沒有統一的標準,國際通常分別從發件行為是“未經許可或未經同意的高頻率、大量的電子郵件(Unsolicited Bulk E-mail,UBE)”和發件內容“未經許可或未經同意商業郵件(Unsolicited Commercial E-mail,UCE)”兩種方式來定義垃圾郵件。
我國《防范互聯網垃圾電子郵件技術要求》中對于垃圾郵件的定義是指收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件以及隱藏發件人身份、地址或者含有虛假的信息源、發件人、路由等信息的電子郵件。我國《互聯網電子郵件服務管理辦法》中雖未明確提出“垃圾郵件”的定義,但明確了禁止的行為和不允許使用電子郵件傳輸的內容。該管理辦法第12條和第13條規定未經授權不得利用他人的計算機系統發送電子郵件,不得將采用在線自動收集、字母或者數字任意組合等手段獲得的他人互聯網電子郵件地址用于出售、共享、交換或者向這些電子郵件地址發送互聯網電子郵件,不得隱匿或者偽造互聯網電子郵件信封信息;不得未經接收者明確同意,向其發送包含商業廣告內容的互聯網電子郵件等。第11條規定了電子郵件禁止傳播包含《中華人民共和國電信條例》第57條所禁止的9條內容。
3 垃圾郵件的分類
根據垃圾郵件的定義和垃圾郵件的特點可將垃圾郵件分為兩大類:第一類是信件由非法發件行為發出,主要是指違背協議、隱匿偽造發件相關信息、不遵守常規模式(如以極高的頻率發送郵件、用字符不同的排列組合猜測用戶名等),無論信頭信體是否為合法信息,發件人的發送行為就是不符合規范的;第二類是信件包含法律法規所禁止的內容,《中華人民共和國電信條例》第57條明確指出了9種不允許的信息。
因此,電子郵件基于行為和內容可以分為非法行為發出合法內容的信件(簡稱A型),非法行為發出非法內容的信件(簡稱B型),合法行為發出非法內容的信件(簡稱C型),正常郵件4種情況進行判斷(見圖1)。
圖1 電子郵件的4中類型
3.1 非法行為發出合法內容的信件和非法行為發出非法內容的信件(A型和B型)
A型和B型判斷垃圾郵件的主要判斷依據是“非法行為發出的信件”,也就是圖1中大橢圓所包含的部分。發送垃圾郵件的主要目的包括商業、政治輿論、破壞網絡安全及其他目的。垃圾郵件只有達到較大的發件數量且針對某個特定群體有較高的覆蓋率才能達到發件人的目的。垃圾郵件發送者在制造垃圾郵件的時候就要考慮發送效率問題,因此絕大多數的垃圾郵件制造者采用自動化程度較高的群發腳本、程序在短時間內高頻率發送大量郵件,與此同時垃圾郵件發送者通常采取隱匿或偽造發件信息的辦法逃避處罰和規避接收者溯源針對源頭防范垃圾郵件。其中,A型非法行為發出合法內容的信件在一定程度上是可以容忍的,比如某些合法機構或個人為了提高大量信件的發件效率或者進行商業推廣采取一些投機取巧的辦法,而B型非法行為發出非法內容的信件是法理難容的。A型垃圾郵件主要包括商業廣告、推廣信息等。B型垃圾郵件主要包括病毒、欺詐信息、色情暴力、政治敏感信息等。
3.2 合法行為發出非法內容的信件(C型)
目前,該類垃圾郵件占全部垃圾郵件的比例是比較低的,但危害極大。這類垃圾郵件的發件行為從技術上講完全遵循相關協議,由于發件行為是合乎規范的(沒有高頻率、偽造隱匿等特征),所以不可能大肆制造廣泛傳播,此類垃圾郵件主要是針對某個確定的小群體,某些十分確定的人進行傳播非法信息或危害網絡安全的活動,收件人與發件人有可能是較為熟識的關系。C型垃圾郵件主要包括政治敏感信息、色情暴力、病毒與網絡欺詐等內容。
4 垃圾郵件對網絡安全的威脅
發送垃圾郵件的非法發件行為嚴重浪費網絡資源,影響正常網絡服務。當有限的網絡帶寬上充斥著大量非正常郵件流量,其他業務流量勢必受到影響,大量的垃圾郵件短時間內爆發會造成網絡擁塞,使互聯網不堪重負。垃圾郵件的存儲和處理占用消耗大量的郵件服務器的資源,導致郵件系統服務性能下降。
如圖2所示,A和B具備非法發件的特征,B和C具備非法內容的特征。其中,B是具備兩種特征的垃圾郵件,該類型危害最大。
圖2 垃圾郵件非法行為與非法內容危害程度
4.1 A型垃圾郵件對網絡安全的威脅
A型垃圾郵件主要特點是采取高頻率大量群發郵件,其主要危害是威脅網絡及郵件服務正常運行,鑒于其內容有一定的合法信息量,這類垃圾郵件主要是商業廣告、推廣信息等,其危害主要集中在網絡及郵件服務上,如針對年輕人的電子產品推介信息,針對女性的美容信息等。最終用戶對此類郵件在某種程度上是可以適當容忍的。
4.2 B型垃圾郵件對網絡安全的威脅
B型垃圾郵件既采用了非法的發件行為危害網絡及郵件正常運行,同時發送的又是法律法規明令禁止的虛假的、不健康的、反動的內容等信息。此類垃圾郵件無論從法律上還是情理上都是無法容忍的,該類郵件對網絡及郵件服務和用戶均有嚴重影響。此郵件危害最大。
4.3 C型垃圾郵件對網絡安全的威脅
C型垃圾郵件具備了B型垃圾郵件內容上非法的特點,但是對網絡和服務器的影響較小,C型垃圾郵件的危害主要集中在用戶身上。C與B相比,C對網絡和郵件服務影響較小,但是造成的不良危害與B是相同的。此類也是無法容忍的。
中國互聯網協會反垃圾郵件中心2008年4月發布的《2008年第一次中國反垃圾郵件狀況調查報告》中指出,在18類垃圾郵件中,國內用戶最難以忍受的垃圾郵件內容前4位分別是:病毒、欺詐內容、色情暴力、政治敏感信息;后4位分別是:房源信息、IT產品推銷、訂票/訂房/旅游、其他。顯然,用戶難于接受的垃圾郵件主要集中在非法內容上,即B和C兩類垃圾郵件,能一定程度容忍的垃圾郵件體現在有一定合法信息量的A中。盡管最終用戶對于A類型的垃圾郵件是可以適度容忍的,但是A類垃圾郵件對于互聯網服務負載的負面影響是不可低估的。
5 垃圾郵件防范技術
目前,垃圾郵件呈現如下特點:發件人地址隨著郵件主題隨機變化、偽造郵件頭干擾信息、信體內容隨機變化、正文以圖片方式顯示等。而反垃圾郵件目前尚無國際標準,有缺陷的協議應用極為廣泛,很難有一種新協議新技術立刻取代現有協議,所以現階段無法徹底根治垃圾郵件問題。但我們可以基于3種類型的垃圾郵件進行分類討論分析,在今后的垃圾郵件治理過程中針對不同類型的垃圾郵件進行疏堵結合,盡可能降低垃圾郵件對網絡安全的威脅。從垃圾郵件的產生與傳播特征入手,防范技術可分為預防技術與過濾攔截技術。廣為熟知的防范新技術有修補服務器漏洞,關閉開放式轉發(Open Relay),針對IP,域名和郵件地址設置黑白名單等。目前,熱點的預防性技術主要有:挑戰應答模式(Challenge-Response),Domain Keys,SPF (Sender Policy Framework),SenderID,電子郵票等。這些基于完善協議加強認證思路的防范技術需要MTA(Mail Transport Agent郵件傳輸代理)與MDA(Mail Deliver Agent郵件投遞代理)配合應用才能起效,但由于目前標準不統一,普及度有限,所以從防范技術入手收效甚微。垃圾郵件過濾是目前使用最為廣泛的防范垃圾郵件手段。從垃圾郵件的分類基于行為和基于內容的角度來看,判別過濾垃圾郵件技術也可以分為基于發件進行“行為識別”和基于內容進行“內容過濾”。
5.1 “行為識別”技術
“行為識別”技術是指根據郵件發送行為判斷其是否是合法的技術。采用這種技術,可以不用考慮郵件內容,僅僅根據其發送的行為判斷此郵件是否屬于垃圾郵件。郵件傳輸遵循SMTP協議的,任何不滿足該協議規范的郵件都有理由判斷為垃圾郵件。“行為識別”通過對郵件發件行為與若干條規則進行比對,同時還需要通過大量統計發送垃圾郵件行為特征,不斷分析正常和異常的發件行為特點,將垃圾郵件特征形成行為識別模型。“行為識別”技術模型中包含了發件源頭信譽的檢查、SMTP連接頻率、反向域名解析驗證等諸多要素,“行為識別”是針對協議進行的掃描,不涉及信體內容,有效地避免了內容圖片化,正文文字變造引起的過濾失效。“行為識別”技術所作的判斷過程基本在開始傳輸DATA之前結束。采用垃圾郵件行為模式識別模型不僅大大提高了垃圾郵件辨別的準確率,而且不需要對信件的全部內容進行掃描,無需接受完整郵件,節約了網絡和郵件服務器資源。
5.2 “內容過濾”技術
除去網絡攻擊目的垃圾郵件外,其他的垃圾郵件都需要通過郵件內容達到其目的。因此,針對內容過濾的“內容過濾”技術應運而生。早期的內容過濾是根據關鍵字庫中的關鍵字,將信件正文進行分詞,一旦分詞與關鍵字匹配一致即判斷為垃圾郵件。但是,相同的詞語在不同的語境中語義會有很大差異,因此關鍵字過濾誤判率很高。目前,內容過濾技術主要采用基于統計的方法,是指對郵件內容進行分詞統計然后對內容進行主題分類,從而實現過濾。目前,常用的文本分類統計技術有貝葉斯算法,該方法在進行過濾之前,需要龐大的垃圾數據樣本庫。過濾時先通過統計獲得特征項在垃圾郵件中出現的先驗概率,再利用統計中的貝葉斯公式,求得含有這些特征項的郵件是垃圾郵件的后驗概率,該過濾方法是以先驗概率進行內容評分,從而判定其所屬類型。此外,還有基于SVM(支撐向量基)的過濾,基于神經網絡的過濾等。
盡管我國《防范互聯網垃圾電子郵件技術要求》給出垃圾郵件客戶機防范功能要求和防范垃圾郵件的方法,并明確了電子郵件的格式,但是垃圾郵件發送者在利益的驅動下不斷改進發送垃圾郵件的方法,因此急需專業、系統的防范體系與設備支撐反垃圾郵件工作。
6 垃圾郵件防范體系
根據目前垃圾郵件的現狀與特征,我們根據實際工作經驗總結出了基于預防與過濾攔截相結合的多層防范體系(見圖3)。
圖3 垃圾郵件防范體系圖
一封郵件的送達需要從郵件用戶代理(MUA)到郵件傳輸代理(MTA)再到郵件投遞代理(MDA)多個環節,我們可以針對每個環節進行多層次的防范。垃圾郵件發送者制造一封垃圾郵件要通過MTA傳播出去,因此首先關閉MTA到MTA之間開放式轉發(Open Relay),不給垃圾郵件跳轉傳播的機會。在MTA(Mail Transport Agent,郵件傳輸代理)將電子郵件傳送至MDA(Mail Deliver Agent,郵件投遞代理)的時候,應該采取行為過濾的方式對垃圾郵件進行過濾,通過行為過濾可以去除A型和B型垃圾郵件,此后再將剩余的郵件采取“內容過濾”的方式進行過濾。從網絡分層的角度講,可以在網絡層進行如IP并發連接限制、IP連接頻率限制、IP連接速率控制、動態黑白名單等行為識別過濾。在會話層進行DNS反向查詢、HELO域名有效性查詢、行為模式判斷等行為識別。最后,在應用層進行基于自定義規則庫、貝葉斯過濾或其它算法的內容過濾等。如果相關發件源頭認證技術能夠形成統一的標準并予以廣泛推廣,從MTA到郵件MDA之間引入適當的認證也會大大抑制垃圾郵件。
在進行攔截過濾的同時,用戶應及時向郵件服務提供商提供個人垃圾郵件樣本和反饋過濾情況,以便郵件服務提供商適時做出適當調整。各個具備內容過濾功能的產品需要大量垃圾郵件樣本,豐富自己的規則庫,理論上垃圾郵件樣本庫趨于無限大,過濾效果趨近于100%。同時,各個具有過濾功能的服務器或其他設備應定期將本系統垃圾郵件動態信息逐級上報,并根據上一級垃圾郵件信息處理中心下發的策略對本系統進行調整(見表1)。
表1 垃圾郵件分層過濾表
先采取“行為模式”識別后采取“內容過濾”的好處是,“行為模式”在協議掃描時是不接受郵件信體數據的,也就是說付出較小的代價進行初篩,過濾掉大部分垃圾郵件后再采取“內容過濾”的方式分析剩余信件的內容進行再次篩查。
郵件服務器過濾的效果無法達到絕對準確,當用戶收到通過過濾的信件時,可以根據個人偏好判斷、分辨出漏判信件,并通過查看過濾報表找出誤判信件并將信息反饋至過濾設備,過濾設備根據用戶反饋信息進行調整。
7 結束語
本文從垃圾郵件的產生原因與傳播特點論述了垃圾郵件的技術防范體系。我國《中華人民共和國電信條例》明確把電子郵件服務歸類為增值服務,鑒于垃圾郵件對網絡安全的巨大危害和對廣大用戶工作生活的侵擾,應積極推動電子郵件技術及其相關標準和協議的演進,加大對與發送垃圾郵件者的懲處力度。