試析中文信息處理與現代漢語語法

論文類別:文學藝術論文 > 漢語言文學論文
論文標簽:現代漢語論文
論文作者: 年玉萍
上傳時間:2011/8/7 3:30:00

  論文關键詞:中文信息處理 现代漢語語法 句處理

  論文摘要:用计算機來處理漢語信息包括“字處理”、“詞處理”和“句處理”三个階段。“句處理”是實現自然語言的處理與理解這一關鍵性的技術難關。其中遇到的問題比較多:詞性的判斷;短語、句子的結構分析;歧義現象分析等等,最根本的方法是語言學家盡可能地把語言中的這些現象通过歸納、分析、總結出規律,再用形式化的方式描述出來,以便利於計算機處理。
  
  用計算機來處理漢語信息,就是漢語信息處理,又稱中文信息處理。中文信息處理包括“字處理”、“詞處理”和“句處理”。“字處理”、“詞處理”分別與漢字和詞匯有關,在此主要談谈“句處理”。
  句處理的主要內容是,怎樣使計算機理解自然語言(如现代漢語)的句子的意思,又怎樣使計算機生成符合自然語言規則的句子。“句處理”所需要的語言知識,將是一种涉及到語音、語義、語法、語用等诸方面的綜合性知識。目前。大家都深感現有的關於汉語的知識遠遠不能满足中文句處理的需要。單就句法方面的情況說。在中文信息處理過程中將会不斷遇到我們想象不到的問題,許多問題在人看來還是比較容易解決的,但計算機就解決不了。也有一些問題,本身在學術界就有不同的觀點,那麽,就給中文信息處理增加了更大的困難。
  用計算機來處理中文信息,遇到了很多困難,從现代漢語語法的角度來看,主要有以下一些問題:
  
  一、詞性的判斷
  
  由於漢语缺乏形態。漢語的词性判斷主要是根據词的語法功能,不同的詞,詞性意義可能不同,同一個詞出現在不同的地方,詞性意義也可能不同,漢語中,大多數詞有固定的詞性,但有些詞的用法比較特殊。例如:
  1.他花了十塊錢買了一盆花。
  2.你用那個鎖把門鎖上。
  3.他比雷鋒還雷锋。
  這三個句子中分別有兩個“花”、“鎖”、“雷鋒”。但它們只是音同、形同,詞性和意義都不同。句子1中的第一個“花”是動詞,“花費”的意思,第二個“花”是名词,“植物”的意思。句子2中的第一個“鎖”是名词,即“鎖子”的意思,第二個“鎖”是動詞,是“鎖住”的意思。句子3中第一個“雷鋒”是名詞,表示人名,第二個“雷鋒”是形容詞,表示“雷鋒的精神、品质等”。具有一定語言知識的人大体上都能分清它們的区別。從傳統語言教學的角度來講,句子1中的兩個“花”是詞形、讀音相同,但词性和意思都不一樣,且兩個“花”的意思之間沒有聯系,所以屬於同音词。句子2中的兩個“鎖”,也是词形、讀音相同,詞性和意思都不一樣,但兩個“鎖”意思間有聯系,所以屬於兼類詞。句子3中的兩個“雷鋒”詞形、讀音相同,詞性和意思都不一樣,意思也有聯系,但第二個“雷鋒”屬於詞類活用。Ⅲ從教學的角度看,這種分類比較細致,便於人們的理解和掌握,但是,從中文信息處理的角度来看,這種分法太細,不便於计算機掌握。
  目前,在中文信息處理中,是這样來定義兼類詞的:亢世勇認為“兼類詞有廣義兼類詞和狹義兼類詞。廣義兼類詞就是中文信息處理中所說的現代漢語的同形詞,對於計算機而言,只要詞形相同,不管讀音是否相同、意義是否相通,是同形異音詞、同形同音詞,還是一詞多義、一詞多種用法,都是相同的,都要從多個當中選一個。狹义的兼類詞就是指一般的現代漢語著作定義的,‘同形同音、意義上有一定的聯系,且具有兩類或兩類以上詞的語法功能的詞”’。陸儉明認为,兼類詞是“指同字形、同音而意義不同或詞性不同的詞”。如果按这種定義理解,以上三個句子中的兩个“花”、“鎖”、“雷鋒”都可以稱之為兼類詞。因为,中文信息處理的目的是让計算機能根據具體环境判斷出詞的詞性,從而准確理解其中的含義就可以了。盡管如此,但是,漢語词類是多功能的,一類词不需要發生詞形變化就可以充當不同的句子成分,不同類的詞可以充當相同的句子成分,這樣就給兼類詞区分帶來了更多的麻煩。因而,兼類詞的選擇是計算機詞性自動標註的一個“瓶頸”。盡管信息處理專家運用了規則排歧、統計概率排歧或者兩者結合起來等多种方法進行排歧,但到目前為止,還没有一種方法、一種系統能够徹底解決這個問題。
  
  二、短語、句子的結構分析
  
  由於漢語缺乏形態。所以。語序和虛詞成了漢語中表示語法的主要手段。有些短語、句子的結构不好理解,需要形式和意義結合起來分析。例如:
  A組:a。陜西+甘肅+寧夏 (“陜西+甘肅+宁夏”三者為聯合關系)
  b.中國+(北京+陜西)(“中國”與“北京陕西”是偏正關系.“北京”与“陜西”是聯合關系)
  C.中國(陕西(西安))(“中國”与“陜西西安”是偏正關系,“陜西”與“西安”也是偏正關系)这一組中的abe三個短語对人來說,都很容易分清楚,但計算機目前還很難區分,要讓計算機分辨清楚,就得把三個處所名詞組合在一起構成a類、b類、e類不同關系的條件與規則研究清楚,並将這些條件與規則加以形式化輸入到計算機內。
  B組:開始討論(述賓關系)分析研究(聯合关系)研究結束(主謂關系)
  取下來(述補關系) 看完再說(連谓關系) 叫他回來(兼語關系)
  生產管理(定中關系) 諷刺說(状中關系) 介紹寫(不構成合法的句法關系)
  這組是現代漢語裏“動词性詞語+動詞性詞語”構成的種種不同的結構關系,對人來說,通過講解大致可以分辨,可是讓計算機要分清楚,就非常難,因為我們至今還沒有总結出“動詞性詞語+動词性詞語”構成各種不同句法關系的具體規則。換句話說,“动詞性詞語+動詞性词語”在什麽條件下一定構成合法的什麽句法關系,能構成什麽樣不同的句法关系,我們至今還說不清楚。

免費論文下載中心 http://www.hi138.com   C組:天氣好——好天氣(主謂——偏正)很好——好得很(偏正——述補)
  來人了。——人來了。(述賓——主謂)
  一張票三元錢。——三元錢一張票。(主謂——主謂)這一组都是由於語序的不同而形成的結構和意義都不同的短語和句子。這些結構對人而言,稍加學習就可以理解,但這些給計算機理解意思增加了難度。需要人們把這些語序的變化形成的不同的結構概括出規律來,再用形式化的方式描述出來。輸入到計算機裏。
  
  三、歧義現象
  
  現代漢語短語結構的歧義是進行漢語句法分析的一大障礙。“句處理”要解決的核心問題是排歧問題,計算機面對的歧義,不只是我们人所能感覺到的諸如下面這樣一些句子的歧義現象:
  
  (1)他正在輸血。(他正給病人輸血。/他病了,正輸血。)
  
  (2)看望的是病人。(你看望的那個人是病人。/看望你的那個人是病人。)
  
  (3)我們急需進口产品。(我們急需進口的產品。/我们急需從國外進口產品。)
  某些在人看來不存在歧義的句子計算机會認為有歧義.例如:
  (4)a他被警察叫去罰了一百塊錢。
  b他被警察叫去寫了一份檢查。例(4)a句和b句,在人的眼裏結構是不一样的。a句“被警察”这個介詞結構一直管到底。全句意思是“他被警察叫去,他被警察罰了一百塊錢”:而b句“被警察”這個介词結構只 管到“叫去”,管不著“寫了一份檢查”。可是,計算機分辨不清楚。要讓計算機分辨清楚,我們就得將“PP+VPI+VP2”(PP代表介词結構,VP1和VP2分別代表緊挨著的不同的動詞性詞语)這種結構中的PP對後面動詞性詞語管轄的範圍及其條件與規則進行充分、准確的描寫,並加以形式化,“交給”計算機。而這一類現象與規則我們過去根本就沒有考慮過,更不用說研究了。
  其實以上所舉的例子都存在歧義問題,因此,也可以這麽說,“句處理”要解決的核心問題是排歧問題。
  中文信息“句处理”的研究工作,上个世紀80年代就開始了,最早進行“句處理”研究工作就是基於規則展開的,但上個世紀90年代初,基於規則的“句處理”研究工作遇到了重重困難與難关,主要是語言學家所提供的語言规則遠遠不能滿足信息處理的需要。目前,為了解決好中文信息處理中的“句處理”难題,出現了一個競相研究、競相發展的局面。对於句處理,提出的各種策略和途徑,歸納起來。主要有基於規則和基於統計這两種策略。基於規則的研究者,一般求諸專家的理性知識,由人來對語言知識進行抽象:基於統計者,一般求助於計算機對大規模語料庫真实文本的統計分析,由計算机來抽象出語言知識。各種策略和途徑,目前,我們还很難說哪一種是唯一正确的。各種策略和途徑,表面看不同,其實,最終都需要依賴可靠的漢語知識來驅動计算機正確處理自然語言(漢語)。因此,“無論是比較傳統的基於規則的處理策略,還是90年代以來方興未艾的基于統計的方法,在對語言知識的需求這一點上實際上都是共同的。所不同者,走规則路線的研究者一般求諸專家的理性知識,由人來對語言知識進行抽象(比如以帶有合一條件的規則形式給出)。而走統計路線的研究者一般求助于計算機對大規模的语料庫的統計分析,由計算机來抽象出語言知識(比如以一定的數據結構記錄的統计結果等)。兩種路線孰優孰劣,不能籠統判斷,只能跟具體的應用目標結合起來,由实踐結果來評價。”目前,越来越多的學者提倡把兩种方法結合起來使用。因此,相信在不久的將來,我們会攻克難關,實現計算机對自然語言的處理與理解的目標,使中文信息處理技術處於世界領先地位。
  
  

參考文獻


  
  1.蘭賓漢、邢向東:現代漢語(下冊)[M].北京:中華書局,2007,48。
  2.亢世勇:面向信息處理的現代漢語語法研究[M].上海:上海辭書出版社,2004,177。
  3.陸儉明:現代漢語語法研究教程(第三版),[M].北京:北京大學出版社。2005年,51。
  4.詹卫東:面向中文信息處理的現代漢語短語結構规則研究[M].北京:清華大學出版社,2000,2。 免費論文下載中心 http://www.hi138.com
下载论文

論文《試析中文信息處理與現代漢語語法》其它版本

漢語言文學論文服務

網站聲明 | 聯系我們 | 網站地圖 | 論文下載地址 | 代寫論文 | 作者搜索 | 英文版 | 手機版 CopyRight@2008 - 2017 免費論文下載中心 京ICP备17062730号