TypechoJoeTheme

IT技术分享

统计

最新文章

2017-09-16

条件最大熵模型及其推导过程——统计建模技术之二

条件最大熵模型及其推导过程——统计建模技术之二
条件最大熵如果对熵不了解,请查看熵(Entropy)与信息量详细介绍——统计机器学习核心概念如果对最大熵模型不了解,请查看最大熵模型 Maximum Entropy——统计建模技术之一场景描述对于词性标注,一个词语,可能有多种标记 比如“把”,可以是介词,动词,量词, 名...
顿搜
2017-09-16

NLP

727 阅读
0 评论
2017年09月16日
727 阅读
0 评论
2017-09-15

最大熵模型 Maximum Entropy——统计建模技术之一

最大熵模型 Maximum Entropy——统计建模技术之一
最大熵原则英文名:Principle of Maximum Entropy最大熵模型是一种统计建模技术如果对熵不了解,请查看熵(Entropy)与信息量详细介绍——统计机器学习核心概念如果对统计建模不了解,请查看统计建模(Statistical Modeling)——统计机...
顿搜
2017-09-15

NLP

681 阅读
0 评论
2017年09月15日
681 阅读
0 评论
2017-09-15

统计建模(Statistical Modeling)——统计机器学习建模介绍

统计建模(Statistical Modeling)——统计机器学习建模介绍
什么是统计建模某随机现象,概率分布未知。拥有该随机现象的一组样本数据 (训练数据), 或者拥有该数据的部分知识。基于样本数据或部分知识对随机现象所服从的概率分布进行推断,并求解这个概率分布这就是统计建模。所建立的模型(概率分布),可以对随机现象的未来行为进行预测。模型的种类...
顿搜
2017-09-15

ML

604 阅读
0 评论
2017年09月15日
604 阅读
0 评论
2017-09-15

熵(Entropy)与信息量详细介绍——统计机器学习核心概念

熵(Entropy)与信息量详细介绍——统计机器学习核心概念
信息量和信息熵如果说概率是对事件不确定性的度量,那么信息(包括信息量和信息熵)就是对事物不确定性的度量信息量与信息熵的关系信息熵本质上是信息量的期望信息熵英文名:entropy设 X 是取有限个值的随机变量,其概率分布为 $P(x)$, 且 $x \in X$, 则一个离散...
顿搜
2017-09-15

ML

758 阅读
0 评论
2017年09月15日
758 阅读
0 评论
2017-09-14

词性标注(POS)各大方法汇聚——自然语言处理的核心

词性标注(POS)各大方法汇聚——自然语言处理的核心
词性标注的难点未登录词如果对未登录词不了解,请点这里未登录词视作兼类词,可能是任何一个词类,均匀分布更可能是名词,不大可能是限定词等对于英文等语言可以利用形态特性(词缀)、拼写特性判定(首字母大小写)对未登录词可以采用下列方式来处理依照出现一次的词(hapax legome...
顿搜
2017-09-14

NLP

656 阅读
0 评论
2017年09月14日
656 阅读
0 评论
2017-09-14

北京大学词类标记集(40+tags)——《人民日报》标注语料库

北京大学词类标记集(40+tags)——《人民日报》标注语料库
标注集列表代码名称帮助记忆的诠释Ag形语素形容词性语素。 形容词代码为 a ,语素代码 g 前面置以 A。a形容词取英语形容词 adjective 的第 1 个字母。ad副形词直接作状语的形容词。 形容词代码 a 和副词代码 d 并在一起。an名形词具有名词功能的形容词。 ...
顿搜
2017-09-14

NLP

797 阅读
0 评论
2017年09月14日
797 阅读
0 评论
2017-09-14

基于转换的词类标注(POS)—— 统计规则结合的词性标注

基于转换的词类标注(POS)—— 统计规则结合的词性标注
统计规则结合使用规则和统计两个方面的特性,应用规则进行标注,规则称为转换规则不是人工总结,而是应用机器学习的方法学习得到。使用的机器学方法通常称作基于转换的学习(Transformation-Based Learning or TBL)激发环境英文名:triggering ...
顿搜
2017-09-14

NLP

704 阅读
0 评论
2017年09月14日
704 阅读
0 评论
2017-09-14

隐马尔可夫词类标注 (POS) ——基于统计的词性标注一

隐马尔可夫词类标注 (POS) ——基于统计的词性标注一
基于 HMM 的词类标注如果对隐马尔科夫模型不了解,请点这里两个假设句中某个词是否出现只和该词的词类标记有关。和句中的其他词以及其它词的词类标记无关句中某个词的词类只和该词前面一个词的词类有关,而和句中其它词类无关, 即词类的 bigram 模型如果对bigram 模型不了...
顿搜
2017-09-14

NLP

629 阅读
0 评论
2017年09月14日
629 阅读
0 评论
2017-09-14

Baum-Welch算法与参数估计——隐马尔可夫疑难问题三

Baum-Welch算法与参数估计——隐马尔可夫疑难问题三
参数估计问题如果对隐马尔科夫模型不了解,请点这里 如果对向前变量和向后变量不了解,请点这里问题描述隐马尔科夫模型 h 参数未知或不准确的情况下 给定观察序列 $O = ( o_1 o_2 o_3 … o_T )$ 按照 MLE 的原则,求得模型参数或调整模型参数,即...
顿搜
2017-09-14

NLP

650 阅读
0 评论
2017年09月14日
650 阅读
0 评论