Memorial Sea

概述#

• 最近踩坑机器学习神经网络中的文本处理,所以有了这篇博客.记录一下基于python word2vec训练中文词向量的方法(英文也同样适用) 虽然事后我发现我需要的并不是词向量word2vec,而是训练获得句子向量的方法,权当做个预告吧(咕咕咕)

• 词向量训练:在自然语言处理中将每个单词映射到一个空间向量过程,从而获得每个词汇之间的关联性.(可能说的不太对,大概就这样吧,不是理论帝)

Start#

• python:3.5+

1. 安装相应依赖

   1
   pip install jieba
   2
   pip install gensim

   • jieba用于中文文本分词,英文可直接使用空格分割分词
   • gensim词向量训练模块

2. 数据预处理

   1
   def load():
   2
        with open("./train.tsv","r",encoding="utf-8") as f:
   3
            lines=f.readlines()
   4
            f.close()
   5
            return lines
   6
        return None

   这里采用的数据格式是以’\t’分割的tsv文件,每一行包含一个句子以及其对应标签.这里将二者共同训练

3. 分词并去除停止词

   • 停止词:指句子中的语气词,特殊符号,数字等对句子意义判别无帮助的词汇,这里推荐几个常用的中文停止词表,你也可以一句自己项目需要自己制作适合的停止词表Github

   1
   # 导入结巴分词
   2
   import jieba
   3
   
   4
   # 读取停止词表函数,停止词表为一行一个的格式
   5
   def load_stopwords():
   6
       with open("./stopwords.txt","r",encoding="utf-8") as f:
   7
           words=f.readlines()
   8
           f.close()
   9
           return words
   10
       return None
   11
   
   12
   # 装载停止词表
   13
   stopowrds=load_stopwords()
   14
   
   15
   # 分词去除停止词函数,lines为上一步中读取的单行数据,将所有的分词保存到文本文件中为下一步训练备用
   16
   def cut(lines):
   17
       with open("cutwords.txt","w+",encoding="utf-8") as f:
   18
           for line in lines:
   19
               words=jieba.cut(line)
   20
   
   21
               #去除停止词
   22
               for i in words:
   23
               if i in stopwords:
   24
                   words.remove(i)
   25
   
   26
               f.write(" ".join(words))
   27
               f.wirte("\n")

4. 模型训练

   1
   # 导入词向量训练模块
   2
   from gensim.models import word2vec
   3
   from gensim.models.word2vec import LineSentence
   4
   
   5
   # 训练函数
   6
   def model_train(
   7
       sentence_in=sentence,   # 需要训练的数据
   8
       size_in=300,                        # 生成的词向量维数,训练数据量越大,推荐数值越大
   9
       window_in=5,                        # 滑动窗口大小,涉及到单个词语关联前后单词的数目
   10
       min_count_in=2,                 # 字典截断,出现次数少于该数值的词汇会被放弃
   11
       iter_in=5                               # 迭代次数
   12
       ):
   13
   
   14
       print("start traing...")
   15
   
   16
       model=word2vec.Word2Vec(
   17
       sentences=sentence_in,
   18
       size=size_in,
   19
       window=window_in,
   20
       min_count=min_count_in,
   21
       workers=multiprocessing.cpu_count(),
   22
       iter=iter_in
   23
       )
   24
   
   25
       print("traing complete...")
   26
       return model
   27
   
   28
   # 从之前完成分词的数据中装载训练数据,模型sentence参数可以是一个list
   29
   # 但是大批量数据时建议使用word2vec自带的类型导入
   30
   sentence=LineSentence("./cutwords.txt")
   31
   model=model_train(sentence,300,5,2,5)

5. 保存模型

   1
   # 参数为保存的文件名
   2
   model.save("modeltest")

6. 模型的二次训练

   1
   # 读取模型
   2
   model = gensim.models.Word2Vec.load('modeltest')
   3
   # 追加训练
   4
   model.train(more_sentences)

7. 模型使用

   1
   # 根据给定的词汇给出10个最相近的词汇
   2
   model.most_similar("男人")
   3
   
   4
   # 找出离群词
   5
   model.doesnt_match("测试")
   6
   
   7
   # 计算两个词汇相似度
   8
   model.similarity('男人', '女人')
   9
   
   10
   # 获得单个词汇的词向量
   11
   model['男人']