IT技术分享

844 阅读

0 评论

2017年10月06日

844 阅读

0 评论

如何评价句法树句法分析，理论上可由两个阶段完成生成句子的所有句法树句法排歧，找出正确的句法树（需要评价句法树的优劣）人们做了大量的研究，有的选择其他的句法思想，有的则通过开发树库资源来调整算法。宾州树库就是基于人工标注的短语结构树库树库资源提供的优势可以从现有的大规模语...

句法分析之转换生成语法——基于概率的短语结构树分析算法PCFG

顿搜

2017-10-05

1,446 阅读

0 评论

2017年10月05日

1,446 阅读

0 评论

自然语言句法分析算法大多是基于上下文无关文法进行的，即采用基于上下文无关文法的句法分析算法。自顶向下的句法分析始于开始符号 S 利用重写规则进行推导直到推导出待分析的句子自底向上的句法分析始于待分析的句子逆向利用规则进行归约直到归约出开始符号 S算法的确定性...

句法分析算法

顿搜

2017-10-05

1,398 阅读

0 评论

2017年10月05日

1,398 阅读

0 评论

基于上下文无关文法的句法分析简介

以“词”为单位的分析技术词语切分 (segmentation, tokenization)形态分析 (morphological analysis, lemmatization, stemming)词性标注 (part-of-speech tagging)以“句”为单位的分...

顿搜

2017-10-05

757 阅读

0 评论

2017年10月05日

757 阅读

0 评论

模型概述英文名：Conditional Random Fields条件随机场模型 2001 年由 Lafferty 提出，解决了标记偏执问题，目前广泛应用于自然语言处理中条件随机场模型是判别模型(特征设计灵活)无向图模型(无需局部归一，代之全局归一)如果想了解无向图模型，请...

条件随机场模型 (CRF) 简介——基于统计的词性标注三

顿搜

2017-10-05

637 阅读

0 评论

2017年10月05日

637 阅读

0 评论

条件马尔可夫模型(CMM)简介——基于统计的词性标注二

HMM 模型词性标注缺点如果想了解隐马尔可夫词类标注，请查看隐马尔可夫词类标注 (POS) ——基于统计的词性标注HMM是生成模型$$p(S,O) = p(s_{1})\prod_{t=2}^{N} p(s_{t}|s_{t-1}) \prod_{t=1}^{N} p(o_...

顿搜

2017-10-05

条件最大熵如果对熵不了解，请查看熵(Entropy)与信息量详细介绍——统计机器学习核心概念如果对最大熵模型不了解，请查看最大熵模型 Maximum Entropy——统计建模技术之一场景描述对于词性标注，一个词语，可能有多种标记比如“把”，可以是介词，动词，量词，名...

716 阅读

0 评论

2017年10月05日

716 阅读

0 评论

2017-09-16

条件最大熵模型及其推导过程——统计建模技术之二

顿搜

2017-09-16

724 阅读

0 评论

2017年09月16日

724 阅读

0 评论

2017-09-15

最大熵模型 Maximum Entropy——统计建模技术之一

最大熵原则英文名：Principle of Maximum Entropy最大熵模型是一种统计建模技术如果对熵不了解，请查看熵(Entropy)与信息量详细介绍——统计机器学习核心概念如果对统计建模不了解，请查看统计建模(Statistical Modeling)——统计机...

顿搜

2017-09-15

679 阅读

0 评论

2017年09月15日

679 阅读

0 评论

词性标注的难点未登录词如果对未登录词不了解，请点这里未登录词视作兼类词，可能是任何一个词类，均匀分布更可能是名词，不大可能是限定词等对于英文等语言可以利用形态特性(词缀)、拼写特性判定(首字母大小写)对未登录词可以采用下列方式来处理依照出现一次的词(hapax legome...

词性标注(POS)各大方法汇聚——自然语言处理的核心

顿搜

2017-09-14

654 阅读

0 评论

2017年09月14日

654 阅读

0 评论

标注集列表代码名称帮助记忆的诠释Ag形语素形容词性语素。形容词代码为 a ,语素代码 g 前面置以 A。a形容词取英语形容词 adjective 的第 1 个字母。ad副形词直接作状语的形容词。形容词代码 a 和副词代码 d 并在一起。an名形词具有名词功能的形容词。 ...

北京大学词类标记集(40+tags)——《人民日报》标注语料库

顿搜

2017-09-14

796 阅读

0 评论

2017年09月14日

796 阅读

0 评论

统计规则结合使用规则和统计两个方面的特性，应用规则进行标注，规则称为转换规则不是人工总结，而是应用机器学习的方法学习得到。使用的机器学方法通常称作基于转换的学习(Transformation-Based Learning or TBL)激发环境英文名：triggering ...

基于转换的词类标注(POS)—— 统计规则结合的词性标注

顿搜

2017-09-14

703 阅读

0 评论

2017年09月14日

703 阅读

0 评论

基于 HMM 的词类标注如果对隐马尔科夫模型不了解，请点这里两个假设句中某个词是否出现只和该词的词类标记有关。和句中的其他词以及其它词的词类标记无关句中某个词的词类只和该词前面一个词的词类有关，而和句中其它词类无关，即词类的 bigram 模型如果对bigram 模型不了...

隐马尔可夫词类标注 (POS) ——基于统计的词性标注一

顿搜

2017-09-14

628 阅读

0 评论

2017年09月14日

628 阅读

0 评论

隐马尔科夫模型 (HMM) 简介——自然语言处理词性标注

隐马尔科夫模型英文名：hidden markov model形式化描述隐马尔可夫模型 (HMM) h 可以表示为一个五元组 $h = ( S, V, A, B, \pi )$S 是一组状态的集合。S = {1, 2, 3, …, N } V 是一组输出符号组成的集合。V ...

顿搜

2017-09-14

727 阅读

0 评论

2017年09月14日

727 阅读

0 评论

国家语委语用所词类标记集——GB/T 20532—2006

词类及其他切分单位标记代码表代号：GB/T 20532—2006序号一级类二级类类别名称代码说明1a 形容词adjective2 aq性质形容词adjective-quality3 as状态形容词adjective-state4c 连词conjunction5d 副词adv...

顿搜

2017-09-14

782 阅读

0 评论

2017年09月14日

782 阅读

0 评论

参数估计问题如果对隐马尔科夫模型不了解，请点这里如果对向前变量和向后变量不了解，请点这里问题描述隐马尔科夫模型 h 参数未知或不准确的情况下给定观察序列 $O = ( o_1 o_2 o_3 … o_T )$ 按照 MLE 的原则，求得模型参数或调整模型参数，即...

Baum-Welch算法与参数估计——隐马尔可夫疑难问题三

顿搜

2017-09-14