词嵌入的相关问题 - 自然语言理解与深度学习3

本节课继续讨论词嵌入问题,除了Word2Vec方法以外,我们还介绍了其它的各类词嵌入方法,如GlovVe,并与Word2Vec方法做了比较。

讲师:   李嫣然

本节课继续讨论词嵌入问题,除了Word2Vec方法以外,我们还介绍了其它的各类词嵌入方法,如GlovVe,并与Word2Vec方法做了比较。


主要内容:

  • GloVe算法:这是一种通过上下文和当前词的共同出现次数并降维后得到词向量的方法。相对来说,GloVe考虑了整篇文章的全局信息(共现矩阵),而Word2Vec则是着重考虑局部信息。但是,人们发现,无论是在实际工作中还是根据理论推导,这二者都有一定的相似性。

  • Word2Vec的局限性以及解决方案:局限性包括线性性、没有考虑语序等。人们进行了一定的改进,例如Structured skip-gram模型和CWindow模型。Gaussian Embedding则将每个词赋予了一个向量和它的影响范围。

  • 词嵌入的问题:包括可解释的关系、语法资源、非单词单元的嵌入,以及非英语的嵌入等问题。围绕着这些问题,人们也提出了形形色色的方法。



讲师介绍
李嫣然

香港理工大学在读博士生,集智科学家,著名公众号:程序媛的日常 的运营者之一,人称小S。研究方向为自然语言处理中的语义表达和语言生成,致力于利用深度学习、认知科学等相关领域的方法和成果探究人类语言习得和语言表达的奥秘。