BiGRU结合注意力机制的文本分类研究

 　　[摘 要] 随着信息时代的发展，文本包含的信息量越来越多，而同一段文本可以隶属于不同的类别，为了提升多标签文本分类任务的准确率，提出了一种基于ALBERT预训练、双向GRU并结合注意力机制的改进的多标签文本分类模型——BiGRU-Att模型。在百度发布的中文事件抽取数据集上进行实验，该模型的识别准确率达到了99.68%，相对比较组的BiLSTM-Att、LSTM-Att、BiGRU、BiLSTM、LSTM等模型的测试结果，准确率更高，性能更优。实验结果表明，改进的BiGRU-Att模型能有效提升多标签文本分类任务的准确率。

　　[关键词] 多标签;预训练;双向门控循环单元(BiGRU);注意力机制

　　[中图分类号] TP 391.1 [文献标志码] A [文章编号] 1005-0310(2021)03-0047-06

　　《计算机科学与应用》 是一本关注计算机应用领域最新进展的国际中文期刊，由汉斯出版社主办，主要刊登计算机基础学科、人工智能、计算机仿真及应用领域内最新技术及成果展示的相关学术论文。

　　Abstract： With the development of information age， the amount of information contained in texts is increasing. It is often the case that the same text can belong to different categories. In order to improve the accuracy of multi-label text classification， BiGRU-Att model， an improved multi-label text classification model，is proposed based on ALBERT pre-training， BiGRU combined with attention mechanism. Experiments on Chinese event extraction data set published by Baidu show that the recognition accuracy of the model reaches 99.68%. Compared with the test results of BiLSTM-Att， LSTM-Att， BiGRU， BiLSTM， LSTM and other models of the comparison group， the model has higher accuracy and better performance. Experimental results show that the improved BiGRU-Att model can effectively improve the accuracy of multi-label text classification.

　　Keywords： Multi-label;Pre-training;Bi-direction Gate Recurrent Unit (BiGRU);Attention mechanism

　　0 引言

　　文本分类是自然语言处理中比较经典的任务，以往的文本分类任务通常属于较为简单的单标签文本分类任务，并且各标签之间是独立的。随着互联网的发展，文本的分类精细化要求越来越高，一段文本常常可以对应多个标签，例如，对于同一篇文章，其所属类别可以同时是军事类和科技类。对于多标签分类问题，还没有很成熟的处理方案，这就对多标签文本分类技术提出了更高的要求。

　　文本分類方法一般分为两类：传统的机器学习的方法和基于深度学习的分类方法。由于深度学习技术的发展较为迅猛，所以，目前大多数研究采用基于深度学习的模型去处理多标签文本分类任务。例如，Kim[1]首先提出的TextCNN模型，首次将常用于图像处理领域的CNN结构引入到文本分类任务中，开辟了这一领域新的篇章;Lai等[2]在TextCNN基础上提出了TextRCNN模型，以改进TextCNN不能处理长序列文本的缺点;Liu等[3]提出了TextRNN模型，改进了当时网络只针对单一任务训练的缺点;Zhang等[4]提出了BP-MLL模型，以处理多标签文本分类任务。

　　为了改进现有研究，有效提高模型处理文本分类任务的准确性，本文开展了下述研究：首先，针对多标签文本分类中使用Word2Vec[5]等静态编码的方法，存在因为忽略了特征所在的上下文依赖关系，导致最后识别准确率不高的缺陷，本文采用ALBERT[6-8]预训练模型进行文本内容的动态编码，使得文本特征向量能保留更多的细节信息，同时，预先训练好的词向量包含的先验信息对于小数据集很有帮助;其次，对于使用单向LSTM模型[9]无法较好地获取语义信息的缺陷，本文采用了双向GRU网络[10-13];最后，为了增强分类效果，模型在通过softmax分类前，加入了注意力机制[14-16]，形成本文基于ALBERT预训练的BiGRU-Att多标签文本分类模型。

　　1 相关技术

　　1.1 ALBERT预训练模型

　　ALBERT层对文本处理的基本流程为：首先输入文本，变成序列文本E1，E2，…，EN，然后将序列文本输入到多层双向Transformer中进行训练;最终得到输入文本的特征向量表示T1，T2，…，TN。其中，Transformer编码器是一个包含了Encoder-Decoder结构的编码器，同时使用了多头自注意力层以便处理更长的序列信息，而ALBERT模型只保留了Encoder的部分。Encoder又包含多个相同网络层的叠加，Encoder的每一层网络包含着两个次级网络层：一层是多头自注意力机制层，另一层是前馈网络层，两层之间的特征传输使用了残差连接，而两层内部各自有着相同的处理数据输入输出的求和及归一化(Add&Norm)模块。ALBERT模型结构如图1所示。

　　相对于BERT预训练网络，ALBERT模型的网络参数较少，训练所需要的资源也少了很多，训练的时间大大缩短，主要因为ALBERT做出了两点比较独特的改进：一是ALBERT模型通过进行嵌入层参数因式分解和跨层参数共享等两个方面的改进，参数的数目得以大量减少，从而使得模型进行语义理解的速度得到了显著的提升。二是针对BERT模型中的NSP任务存在的弊端[17-18]，ALBERT模型提出了使用SOP任务取代NSP任务，使得多句子输入的下游任务效果得到提升[6]。

　　序列文本经过ALBERT层处理后，得到对应的特征向量表示后，还要输入到下级的BiGRU神经网络层进行进一步的处理。

　　1.2 双向GRU

　　在需要关注词语上下文关系的时候，通常使用LSTM进行特征向量的处理，使得语料特征能根据所在特定语境产生动态的变化。LSTM模型包含了3个门控模块的计算，分别为输入门、输出门和遗忘门。GRU和LSTM模型同属于对RNN的改进，但是GRU在LSTM的基础上，进行了模型的简化，设计为只包含重置门和更新门两个门控单元的结构。重置门主要决定对于上一个状态信息的丢弃比例，重置门值越小，表示丢弃越多;更新门主要决定要将多少过去的特征传递到目前状态，更新门值越大，表示传递越多。如果将重置门设定为1，更新门设置为0，则GRU模型就退化为传统的RNN模型。重置门与更新门的结构设计使得GRU[19-20]相对于LSTM的参数更少而且收敛速度更快，并同樣有效地解决了模型训练过程中梯度爆炸和梯度消失的问题。GRU细胞结构如图2所示，其中rt代表重置门，zt代表更新门，ht-1和ht分别表示前一时刻隐藏层状态和当前时刻隐藏层状态。

　　在使用单向的GRU时，状态的传输只是简单的从前向后单向传播，使得重要信息容易丢失，可能出现最能包含整句话信息的特征向量得不到充分使用的问题。在这种情况下，可以考虑使用双向的GRU结构，双向的GRU结构让网络不仅能从前向传播中获得信息，更能反向地利用信息，使得更多重要特征得到充分使用，网络提取到的特征也更为丰富[21]。

　　1.3 注意力机制

　　注意力机制(Attention Mechanism，ATT)如图3所示，注意力机制本质上还是一个编码器到解码器的结构，表现为序列到序列的处理方式，模仿了人脑在处理大量信息时，忽略不必要细节、只聚焦于处理关键细节的人脑思维方式。这种方式可以有效避免由于GRU网络输出层直接连接全连接层造成的特征信息浪费，使得模型对于重要局部信息的捕捉能力得到提升，从而提高模型判断的准确率。具体计算过程大概可以分为3个阶段：首先是在词嵌入特征向量经过BiGRU处理后，根据Query和对应的Key值计算两者的相关性，其中E为能量函数，负责计算当前Query与序列特征的相关度;然后使用softmax函数进行数字转换，实现数值归一化，同时softmax函数的内在机制使得更重要的特征得到凸显，即对应的权重值也更高;最后，根据权重系数对value进行加权求和，得到注意力数值Score。

　　2 模型建立

　　基于ALBERT预训练的BiGRU-Att模型的工作流程如图4所示。

　　1)ALBERT预训练层：文本数据经过预处理后，输入到ALBERT层进行文本数据的向量化。ALBERT层可以很好地捕捉到词语所在位置与前后词语之间的联系，会根据同一个词在不同的语境体现出不同含义的情况，生成对应的动态词向量。为了减少计算资源的消耗，这一层使用了tiny版本的ALBERT预训练模型进行文本内容的向量化。

　　2)双向GRU层：将经过ALBERT层向量化所获得的动态词向量，分别输入到前向传递GRU层和后向传递GRU层中，且由GRU层中的更新门控制保留前一时刻特征信息的比例，由GRU层的重置门决定忽略前一时刻特征信息的比例，对输入的文本特征进行训练。其中，每一个前向传递GRU层和对应的后向传递GRU层组成一个BiGRU单元，网络中包含多个BiGRU单元，BiGRU单元的更新公式如式(1)所示：

　　ht=WFthFt+WBthBt+bt。(1)

　　其中，WFt表示前向(Forward)传递时的权重矩阵，WBt表示反向(Backward)传递时的权重矩阵，bt为偏置量，通过前后传递的GRU对特征信息进行叠加，使得最重要的特征得到了最大限度的保留。

　　3)注意力机制和归一化层：将经过双向GRU训练后得出的特征向量作为Attention层的输入，对特征向量进行加权操作后，再将从Attention层获取的语义向量输入到Dense层，最终实现多标签文本分类。

　　4)验证：输入待预测的语句，通过模型判断出事件的类别标签。

　　3 实验结果与分析

　　选取谷歌的Colab平台进行实验，使用Python 3.6进行编程，深度学习框架版本为Tensorflow 1.15.0。实验使用的数据集为百度发布的中文事件抽取数据集，包含65个事件类型的具有事件信息的句子，每个句子对应一个或者多个事件类型。从中抽取13 456条新闻数据，且将句子顺序打乱，重新进行随机混合编排分布，按照8∶2的比例划分，使用10 764个样本作为训练集、2 692个样本作为测试集进行实验。

　　设置BiGRU-Att、BiLSTM-Att、LSTM-Att、BiGRU、BiLSTM、LSTM等共6个模型，模型中均使用tiny版本的ALBERT预训练模型进行编码，除BiGRU-Att外，其他5个模型作为对照组进行实验，迭代训练20次。其中，tiny版本的ALBERT模型的参数为：隐藏层尺寸为768，隐藏层层数为12，注意力头数为12个，使用ReLU激活函数的变种——GELU作为模型激活函数;BiGRU的参数为：隐藏层尺寸为128，网络层数为1，使用ReLU激活函数，将Dropout系数设置为0.2;输出层的激活函数为softmax，将多分类交叉熵作为损失函数。

　　从表1中的數据可以看出，所有模型在迭代20次以后，无论是否加入注意力机制，基于BiGRU的模型性能都优于基于BiLSTM和单向LSTM的模型;当模型都被加入注意力机制时，相较于无注意力机制的网络，性能均会得到相应的提升。另外，当LSTM网络加入注意力机制形成LSTM-Att模型时，会和无注意力机制的BiGRU模型有着相似的性能，两者在训练集和测试集上的准确度都十分接近。

　　由表1中的数据可以对比发现，基于BiGRU-Att的模型取得了最好的效果，在训练集的准确率达到了99.68%，损失值为0.0111，相对于无注意力机制的LSTM和加入注意力机制的BiLSTM-Att模型，准确率分别提升了4.37%和1.56%;其在测试集的准确率达到了99.64%，损失值为0.0117，相对于无注意力机制的LSTM和加入注意力机制的BiLSTM-Att模型，准确率分别提升了4.34%和1.37%。双向GRU网络的使用和注意力机制的加入，使得BiGRU-Att模型在训练集和测试集的表现均优于其他对比模型，证明双向GRU网络能够规避梯度爆炸和梯度消失的问题，同时还能在网络前向和后向传播中使重要的特征信息更好地保留下来，注意力机制也使得分类过程中重要特征信息的权重得到了提升，从而提高了分类的准确性。

　　使用训练好的模型进行文本分类验证，从表2可以看出，模型对于单标签或者多标签的文本内容均能正确识别其类别。

　　4 结束语

　　目前，我们处于互联网技术不断发展的时代，各种平台里的文本信息数据量十分巨大，在存储这些信息之前，给信息分门别类地打上标签是十分必要的。本文提出一种基于ALBERT获取文本对应的动态词向量，且结合双向GRU网络加入注意力机制的BiGRU-Att模型。相对于以往的模型，该模型使用了预训练ALBERT模型进行词向量的获取，在数据集较小的情况下使得词向量表达的语义特征更强;双向GRU网络使信息在模型中进行了前向和后向传播，能够保留聚焦词附近上下文之间的语义特征关联;注意力机制把不重要的语义信息进行了隔离，将注意力放在最重要的特征上，提升了分类效果。实验表明，结合双向GRU网络和注意力机制的模型表现最优，其性能与对比模型相比有着明显的提升，最后通过输入待预测语句验证实验结果，说明模型能较好地完成多标签文本分类任务。

　　[参考文献]

　　[1] KIM Y. Convolutional neural networks for sentence classification [Z/OL]. (2014-09-03) [2021-05-13]. https：//arxiv.org/pdf/1408.5882v2.pdf.

　　[2] LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification[Z/OL]. (2015-02-19) [2021-05-13]. https：//www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9745/9552.

　　[3] LIU P， QIU X， HUANG X. Recurrent neural network for text classification with multi-task learning[C]//Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. New York： IJCAI Inc， 2016： 2873-2879.

　　[4] ZHANG M L， ZHOU Z H. Multilabel neural networks with applications to functional genomics and text categorization[J]. IEEE Transactions on Knowledge and Data Engineering， 2006， 18(10)： 1338-1351.

　　[5] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space [Z/OL]. (2013-09-07) [2021-05-13]. https：//arxiv.org/pdf/1301.3781.

　　[6] LAN Z Z， CHEN M D， GOODMAN S， et al. ALBERT： a lite BERT for self-supervised learning of language representations[Z/OL]. (2020-02-09) [2021-05-13]. https：//arxiv.org/pdf/1909.11942v6.

　　[7] CHOI H， KIM J， JOE S， et al. Evaluation of BERT and ALBERT sentence embedding performance on downstream NLP tasks[C]//2020 25th International Conference on Pattern Recognition (ICPR). Milan： IEEE Computer Society， 2021： 5482-5487.

　　[8] 余同瑞，金冉，韩晓臻，等.自然语言处理预训练模型的研究综述[J].计算机工程与应用，2020，56(23)：12-22.

　　[9] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9(8)： 1735-1780.

　　[10] CHALKIDIS I， FERGADIOTIS M， MALAKASIOTIS P， et al. Extreme multi-label legal text classification： a case study in EU legislation[C]//Proceedings of the 17th Natural Legal Language Processing Workshop 2019. Minnesota： NAACL HLT， 2019： 78-87.

　　[11] CHALKIDIS I， FERGADIOTIS M， MALAKASIOTIS P， et al. Large-scale multi-label text classification on EU legislation[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence： ACL， 2019： 6314-6322.

　　[12] 刘心惠，陈文实，周爱，等.基于联合模型的多标签文本分类研究[J].计算机工程与应用，2020，56(14)：111-117.

　　[13] 温超东，曾诚，任俊伟，等.结合ALBERT和双向门控循环单元的专利文本分类[J].计算机应用，2021，41(2)：407-412.

　　[14] KITADA S， IYATOMI H. Attention meets perturbations： robust and interpretable attention with adversarial training [Z/OL]. (2020-09-25) [2021-05-13].https：//arxiv.org/pdf/2009.12064v1.

　　[15] KITADA S， IYATOMI H. Making attention mechanisms more robust and interpretable with virtual adversarial training for semi-supervised text classification [Z/OL]. (2021-04-18) [2021-05-13]. https：//arxiv.org/pdf/2104.08763v1.

　　[16] LU H， MAO Y， NAYAK A. On the dynamics of training attention models[Z/OL]. (2021-03-19) [2021-05-13]. https：//arxiv.org/pdf/2011.10036v2.

　　[17] LIU Y， OTT M， GOYAL N， et al. RoBERTa： a robustly optimized BERT pretraining approach[Z/OL]. (2019-07-26) [2021-05-13]. https：//arxiv.org/pdf/1907.11692.

　　[18] JOSHI M， CHEN D， LIU Y， et al. Spanbert： improving pre-training by representing and predicting spans[J]. Transactions of the Association for Computational Linguistics， 2020(8)： 64-77.

　　[19] DEY R， SALEM F M. Gate-variants of gated recurrent unit (GRU) neural networks[C]//2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS). Massachusetts： IEEE， 2017： 1597-1600.

　　[20] 方炯焜，陳平华，廖文雄.结合GloVe和GRU的文本分类模型[J].计算机工程与应用，2020，56(20)：98-103.

　　[21] DENG J F， CHENG L L， WANG Z W. Self-attention-based BiGRU and capsule network for named entity recognition[Z/OL]. (2020-01-30) [2021-05-13]. https：//arxiv.org/pdf/2002.00735v1.pdf.

《BiGRU结合注意力机制的文本分类研究》 闂傚倸鍊风粈渚€骞栭锕€纾圭紒瀣紩濞差亜惟闁冲搫鍊告禒褔姊虹紒妯虹伇婵☆偄瀚划鍫ュ礃椤旂晫鍘卞┑鐐村灥瀹曨剙顕ｆィ鍐╃厱闁绘棃鏀遍幖鎰版煃鐟欏嫬鐏撮柛銊╃畺瀹曟ê霉鐎ｎ亙澹曢悷婊呭鐢宕愮捄渚唵閻犲搫褰块崼銉ヨ摕闁挎洖鍊归埛鏃堟煕閵夘喖澧紒鈧崒娑楃箚妞ゆ牗鑹鹃幃鎴︽煕閻樺弶顥㈤柡灞诲妼閳规垿宕卞Ο鐑橆仩闂備礁鎼鍌炲磻閹剧粯鈷掑ù锝囩摂閸ゅ啴鏌涢悩铏磳鐎规洘绻冮幆鏃堝煢閳ь剟寮搁弮鍫熺厵閺夊牓绠栧顕€鏌嶉柨瀣瑲闁靛洤瀚板鏉懳旈埀顒佺閹屾富闁靛牆绻掔€佃偐绱掗鐣屾噰鐎殿噮鍋勯濂稿炊閿旇棄濯伴梻浣藉Г閿氭い锔藉▕椤㈡瑦寰勯幇顓涙嫼缂備礁顑堝▔鏇犵不閹殿喚纾煎璺鸿嫰閸樺鈧娲栫紞濠傜暦閹烘鍊烽柛娆忣槶娴犮垽姊绘笟鈧ḿ褔銈幘顔藉亗闁割偁鍎遍崥褰掓煕閺囥劌鐏￠柣鎾存礋閺屻劑寮幐搴㈠創婵犵鈧櫕鍋ラ柡灞剧洴婵″爼宕ㄩ钘夐棷闂備線鈧偛鑻晶顖炴煕閹邦剦鐓兼慨濠佺矙瀹曠喖顢曢鍐ｅ亾閸ф鐓ｉ煫鍥风到娴滄牕霉濠婂嫮鐭婇摶鏍煥濠靛棙鍣归柡鍡欏仱閺屻劌鈽夊▎鎴濃拰闂佸搫琚崐婵嬬嵁閸℃凹妲诲┑陇灏畷鐢稿箟閹间礁绾ч柟绋块閺嬬娀鎮楀▓鍨灓闁轰礁顭峰畷娲焵椤掍降浜滈柟鍝勭Ф閸斿秴鈹戦娑欏唉闁诡喗顨婂畷鐑筋敇閻戝棙缍戦梻浣告贡閸庛倕顫忕紒妯镐粴闁规儼濮ら悡娑㈡煕鐏炲墽鐭婇柛鏃撶畵閺屾稓鈧綆鍋呭畷宀勬煛娴ｈ宕岄柡浣规崌閺佹捇鏁撻敓锟�
闂傚倸鍊烽懗鍫曞储瑜嶉悾鐑筋敆閸曨剙鍓堕梺鑹邦潐婢瑰宕ｉ崹顔规斀闁挎稑瀚禒褎銇勯姀鐙呭伐闁崇粯妫冨鎾閳ュ厖鎴锋俊鐐€栭悧婊堝磻閻愮儤鍊垮Δ锝呭暞閻撴瑩寮堕崼婵嗏挃闁伙綀椴哥换娑㈠川椤愩垻浠煎銈庡幖濞尖€崇暦閻戠瓔鏁囬柣鎴濇濮ｅ绻濈喊妯峰亾閸愯尙楠囬梺鎼炲妼濞尖€愁嚕椤愩埄鍚嬪璺侯儐濞呫垽姊虹捄銊ユ珢闁瑰嚖鎷�
1闂傚倸鍊风欢姘缚瑜嶈灋闁哄啫鍊归鑺ユ叏濡寧纭剧痪鎯ф健閺岀喓绱掗姀鐘崇亪缂備讲鍋撻柛鈩冪⊕閻撴洟鏌嶉埡浣告灓婵炲牊妫冮弻鈩冩媴閸濄儱鐓熼梺璇″枟椤ㄥ牆鈽夐悽绋挎そ濞达絽婀辩粔閿嬬節閻㈤潧浠滈柕鍫⑶瑰玻鑳樄闁糕晝鍋ゅ畷姗€顢欓懖鈺冩澑婵＄偑鍊栭弻銊︽櫠閼恒儲娅忕紓鍌氬€搁崐鎼佸磹閻戣姤鍊块柨鏃€鍎抽崹婵嬫煥濠靛棙澶勬い顐ｆ礃缁绘繈妫冨☉娆戠厬缂備浇顕уΛ婵嬪蓟濞戞ḿ鏆嗛柍褜鍓熷畷鎴︽倷鐎靛壊娴勫┑顔姐仜閸嬫捇鏌＄仦鍓ф创妤犵偞甯″顒佹償閹惧鈧増绻濋悽闈涗粶闁瑰啿楠搁湁闁绘垼妫勭粻顖炴煟濡偐甯涢柛瀣典簼閵囧嫰寮介妸褎鍣梺娲诲幗鐢偟妲愰幘瀵哥懝闁搞儜鍛寲缂傚倷绶￠崳顕€宕规导瀛樻櫇闁靛繈鍊曠粻銉︺亜閺冣偓閸庡啿鐣烽妷銉㈡斀闁绘劕寮堕ˉ婊呯磼缂佹ê鐏撮柣鎿冨墴椤㈡宕掑⿰鍜冪床闂備浇顕栭崹搴㈡媴妞嬪酣鎸煎┑鐘愁問閸犳岸骞婇幘鍑板洭妫冨☉姘闂侀潧枪閸庡搫岣块妸鈺傜厱妞ゆ劗濮撮悘顕€鏌ㄥ☉铏
2闂傚倸鍊风欢姘缚瑜嶈灋闁哄啫鐗婇崐鍧楁煥閺囨浜鹃梺鎸庢磸閸ㄤ粙鐛澶樻晩闁诡垎鍐曞┑鐘垫暩閸嬫稑螞濞嗘挸绀夐柡宥庡亞娑撳秵绻涢幋娆忕仾闁绘挻娲熼弻锟犲磼濠靛嫧鍋撻埀顒勬煕鐎ｎ偅宕岀€规洘锕㈤獮鎾诲箳瀹ュ洨顦伴梻鍌氬€搁崐鎼佸磹閹间焦鍋嬫繝濠傚枤閻斿棗霉閿濆洤鍔嬫い顐ｆ礃缁绘繈妫冨☉鍗炲壈缂備讲鍋撶€光偓閸曨剛鍘卞┑鐐村灥瀹曨剟寮稿☉娆嶄簻闊浄绲奸柇顖炴煛瀹€瀣瘈鐎规洖銈告慨鈧柣妯虹－閳ь剙顭峰娲箹閻愭彃顬夊┑鈽嗗亜閸熸挳鎮伴鈧獮鎺懳旈埀顒佸劔闂備線娼ф灙闁稿孩濞婅棟闁靛ň鏅滈埛鎴︽⒒閸喓鈯曟い銉︾懄缁绘盯寮堕幋鐐叉灎濡炪們鍨洪悷鈺呯嵁鐎ｎ喗鏅濋柍褜鍓欒灋婵せ鍋撻柡灞剧洴婵＄兘骞嬪┑鍡樻閻庡厜鍋撴繛鎴欏灪閻撶喖鏌ｉ幇顒夊殶闁崇鍊濋弻娑㈠棘鐠恒劎鍔Δ鐘靛仦閸旀瑩宕洪敓鐘茬闁宠桨鑳惰ぐ鎾⒒娓氣偓閳ь剛鍋涢懟顖炲储閹绢喗鐓曢悗锝庡亝鐏忎即鏌熷畡鐗堝櫧缂侇喗鐟╅獮鎰償閿濆棭娼╅梻鍌氬€烽懗鍓佸垝椤栫偑鈧啴宕ㄧ€涙ê浜遍棅顐㈡处缁嬫垶顢婇梻浣虹帛閸旀洟骞栭銈囩焼闁告洦鍨扮痪褔鏌ｉ幇顒傛憼缂佽埖褰冮埞鎴︻敊閻ｅ被鈧帞绱掓潏銊ョ瑨闁宠棄顦～婊堝幢濡倯鍐ｆ斀闁绘﹩鍋勬禍楣冩⒑閹肩偛鍔撮柛鎾寸懅缁牊寰勯幇顓犲帗闂佽姤锚椤︿即宕抽悾宀€纾奸柍褜鍓氬鍕箾閻愵剚鏉搁梻浣哄仺閸庨亶宕崸妤€鐒垫い鎺戝€归崵鈧梺鎸庢磸閸ㄨ櫣绮悢鐓庣劦妞ゆ巻鍋撻摶鐐层€掑锝呬壕闂佺硶鏂侀崑鎾愁渻閵堝棗绗掗柛濠傜秺瀹曨垶宕崝钘夌秺閺佹劙宕堕埡鍌涘晵闂備焦鎮堕崐妤呭磻閵堝钃熼柨婵嗩槸缁犳稒銇勯弮鍥棄婵炲牆鐭傚娲箹閻愭祴鍋撻妶澶婇棷闁挎繂鎳愰弳锕傛煟閹达絾顥夐幆鐔兼偡濠婂啰孝闁崇粯鎹囬幃鈺冪磼濡厧骞堟繝鐢靛閸愵亙铏庢繝娈垮枓閸嬫挻淇婇悙顏勨偓鏍哄鈧妴鍐╃節閸愌呯畾闂佸湱铏庨崰妤呭疾閹间焦鐓ラ柣鏇炲€圭€氾拷
3闂傚倸鍊风欢姘缚瑜嶈灋闁哄啫鐗婇崐鍧楁煥閺囨浜鹃梺鎸庢磸閸ㄤ粙鐛澶樻晩闁诡垎鍐曞┑鐘垫暩閸嬫稑螞濡ゅ啯宕查柟閭﹀厴閺嬫棃鏌涢锝嗙闁绘挻娲栭埞鎴︽偐閹绘帩浠奸梺鍝勵儏鐎涒晠濡甸崟顖涙櫇闁逞屽墮宀ｅ潡鏁撻悩鍐蹭粧濡炪倖妫冮弫顕€宕戦幘缁橆棃婵炴垶鐟ラ弳鍫ユ⒑娴兼瑧绉ù婊冪埣楠炲啰鎲撮崟顒€顎撻梺鍛婄箓鐎氼剚淇婂ú顏呪拺闁告繂瀚烽崕蹇涙煕閻斿憡缍戦柣锝囧厴閺佹劖寰勬繝鍕靛悈闂備焦瀵х换鍌炲疮閻樿纾婚柟鎹愵嚙缁€鍐┿亜閺傚灝鎮戦柕鍥ㄧ箞濮婃椽妫冨☉鎺旀箙闂佺粯鎸搁悧鎾崇暦閻㈢ǹ绀嬫い鎾跺Х閿涙繃绻涙潏鍓у埌闁硅姤绮庣划缁樼節濮橆厾鍘藉┑鐐村灦閻熝囧箠閸ヮ剚鐓涘ù锝呮憸鑲栨繛瀵稿婵″洨鍒掗悽纰樺亾閿濆簼绨奸柛濠傞叄濮婄粯鎷呴崨濠冨創缂備礁顦遍弫濠氱嵁閸愵喖閱囬柡鍥╁仧閸旓箑顪冮妶鍡楃伇婵炲娲熻棟闁挎梻鍋撻崰鎰版煛婢跺﹦浠㈤柍褜鍓欓…鐑界嵁閸愨晛顕遍柡澶嬪殾閳哄懏鐓ラ柡鍥殔娴滈箖姊虹拠鑼婵炲樊鍙冨璇测槈閵忕姷鐫勯梺绋挎湰绾板秹鎮樻笟鈧幃妤呭捶椤撯偓瑜版帒瑙﹂悗锝庡枔閳ь剙鍟村畷鍫曗€栭鍌氭灁闁告牗鐗犲鎾倷閺夋妫滈梻鍌欐祰濞夋洟宕抽敃鍌氱闁跨噦鎷�
4闂傚倸鍊风欢姘缚瑜嶈灋闁哄啫鐗婇崐鍧楁煥閺囨浜鹃梺鎸庢磸閸ㄤ粙鐛澶樻晩闁诡垎鍐曞┑鐘垫暩閸嬫稑螞濞嗘挸绀夐柡鍥ュ焺閺佸倿鏌ｉ弬鍨倯闁绘挻鐩弻娑㈩敃閿濆洨顓煎┑鈩冨絻閹诧繝濡甸崟顖涙櫇闁逞屽墮宀ｅ潡鏁撻悩鍐蹭粧濡炪倖娲嶉崑鎾垛偓娈垮枛閻栧ジ鐛€ｎ喗鍊锋繛鍫熷閸犳﹢姊婚崒姘偓鎼佸磹閸濄儮鍋撳鐓庡⒋妤犵偛锕ラ幆鏃堝Ω閵夈儲鍎俊鐐€栭幐鍫曞垂濞差亜纾婚悗锝庡枟閻撴洘銇勯幇顔夹㈤柣蹇ｅ櫍閺岋綁濡烽妷锕€娅ｉ柧缁樼墵閺岋絽螣閸喚姣㈤梺缁樺笩濞夋洜妲愰幒鎾寸秶闁靛ě鍛澖闁诲氦顫夊ú姗€鎮烽埡鍛鐟滅増甯楅崑锟犳⒑椤撱劑妾慨锝咁樀濮婄粯鎷呴崨濠冨創闂佺粯顨呭Λ娑氬垝閺冨倵鍋撳☉娅虫垿宕ｈ箛娑欑厽闁哄啫鍊哥敮鍫曟倵濮橆剦妲告い顓℃硶閹瑰嫭绗熼娴躲劎绱撴担鍝勑＄紒顔界懇楠炲啳銇愰幒鎴犲€為梺鎸庢礀閸婂綊顢撻弽顓熲拺闂侇偆鍋涢懟顖涙櫠妤ｅ啯鐓欓柛鎴欏€栫€氾拷

本文由职称驿站首发，您身边的高端论文发表学术顾问

文章名称： BiGRU结合注意力机制的文本分类研究

文章地址： https://www.zhichengyz.com/lunwen/keji/zn/45436.html