基于描述約束的詞表示學習
摘要：詞語作為語言模型中的基本語義單元,在整個語義空間中與其上下文詞語具有很強的關聯性。同樣,在語言模型中,通過上下文詞可判斷出當前詞的含義。詞表示學習是通過一類淺層的神經網絡模型將詞語和上下文詞之間的關聯關系映射到低維度的向量空間中。然而,現有的詞表示學習方法往往僅考慮了詞語與上下文詞之間的結構關聯,詞語本身所蘊含的內在語義信息卻被忽略。因此,該文提出了DEWE詞表示學習算法,該算法可在詞表示學習的過程中不僅考量詞語與上下文之間的結構關聯,同時也將詞語本身的語義信息融入詞表示學習模型,使得訓練得到的詞表示既有結構共性也有語義共性。實驗結果表明,DEWE算法是一種切實可行的詞表示學習方法,相較于該文使用的對比算法,DEWE在6類相似度評測數據集上具有優異的詞表示學習性能。
注: 保護知識產權,如需閱讀全文請聯系中文信息學報雜志社
相關推薦
更多
