日期:2020年2月13日

[动手学深度学习DAY2]:文本预处理、语言模型及RNN基础

Part1.文本预处理 文本预处理主要分为: 读入文本 分词 建立字典 将文本的词序列转为索引序列 读入文本

分词 我们对每个句子进行分词,也就是将一个句子划分成若干个词(token),转换为一个词的序列。

我们也可以通过现有的分词工具进行分词,例如spaCy和NLT…

Read More »