顿搜
飞过闲红千叶，夕岸在哪
类目归类
自然语言处理 (NLP) 入门简介——计算语言学在 AI 中的应用
09/09
什么是计算语言学
计算语言学是通过建立形式化的计算模型来分析、理解和处理自然语言的学科。
计算语言学研究的目标
当前目标
研制出具有一定人类语言能力的计算机文本或语音处理系统
终极目标
研制能理解并生成人类语言的计算机系统。
计算语言学研究的类别
- 音韵学
- 形态学
- 句法学
- 语义学
- 语用学
计算语言学研究的内容
- 建立形式化的适于计算机处理的语言模型
- 研制分析、生成以及处理语言的各种算法
计算语言学研究的挑战性
- 大量的词汇、大量的句子
- 自然语言的规则很少没有例外
- 自然语言中有大量的歧义现象
- 自然语言的理解不仅和语言本身的规律有关，还涉及到常识、领域知识
计算语言学研究的方法
规则驱动的方法
英文名：rule-based approach
数据驱动的方法
英文名：data-driven approach，又叫 统计的方法
- 建立可以反映语言使用情况的语料库。
- 研究人员对自然语言进行统计建模。
- 使用统计技术或机器学习技术，利用语料库训练语言模型。
- 利用得到的模型设计算法对语言进行处理。
- 根据处理效果改进模型，提高处理性能。
二者融合的方法
英文名：hybrid approach
计算语言学的应用
- 机器翻译
- 人机对话
- 信息检索
- 信息提取
- 自动文摘
- 文本分类
- 拼写检查
- 音字转换
