通过AI理解语言

自然语言处理和GPT算法

https://www.mouser.com/applications/language-through-ai

图源：Murrstock/Stock.adobe.com

作者：Alex Pluemer，贸泽电子专稿

发布日期：2023年2月14日

引言

以往，能够理解人类语言并对口头命令做出反应的计算机只存在于科幻小说中（如《2001太空漫游》中的HAL）。自20世纪30年代以来，人们一直在尝试通过编程的方式，让机器更容易消化人类语言，这也是计算语言学领域的一部分。不过，人工智能 (AI) 的新进展让这一虚构更接近现实。

这项工作中采用的各种方法和不断发展的技术，就属于自然语言处理 (NLP) 的范畴，这是计算机科学的一个领域，它关注的是如何借助人工智能，让计算机更好地理解人类语言。无论您是向Siri问路，还是让Alexa调高恒温器的温度，NLP都能帮助你完成请求。NLP包括自然语言理解 (NLU) 和自然语言生成 (NLG) 两大领域，可以让数字助理、聊天机器人等设备理解人类语言并做出响应。

20世纪80年代初期，NLP采用的还是手写指令的形式，这些指令被逐字逐句地编入计算机，就好比向一个零基础的人教授一门新的语言一样。机器学习算法超越了手写规则所建立的“如果/那么”严格框架（这种做法现在称为符号NLP），开发出了一种更加灵活、基于概率的结构，来确定要选择哪些单词和/或语法（这种做法称为统计NLP）。这是NLP的一项重大进步。这些算法会分析互联网上的文档和其他书面材料，并通过模仿这些内容来“学习”语法和句法规则。

NLP发展的另一项重大进步是神经网络的应用。神经机器翻译 (NMT) 让NLP流程进一步脱离了初步编程和基于规则的指令，让人工智能和深度学习算法能够自学人类语言的规则。现在，NLP几乎无处不在，不论是语音转语音（如数字助理）、文本转文本（如客服聊天机器人）还是语音转文本（如转录和翻译程序）的应用都已经非常普遍。

本文将深入探讨人工智能用于处理人类语言的工作方式和工具，以及如何在现在和未来实施NLP。

NLP的任务和工作方式

既然我们已经知道了NLP的概念和作用，那么接下来的问题就是：它是如何做到的？人工智能和机器学习算法怎样才能通过自学来理解人类语言？这个过程的第一步，是通过语法分析来确定语言的规则，也就是研究句子在什么时候、什么地方、以什么样的方式开始和停止，以及如何添加标点。例如，句号可以结束一个分句，但也可以作为缩写的标点，了解这一点对于掌握句子的含义至关重要。在称为“词性标记”的过程中，还需要对单词进行类似的操作（例如，确定单词在上下文中是用作名词还是动词）。NLP必须区分同一个词究竟用作名词（“那幢楼的设计很漂亮”）还是动词（“他设计了这台机器”），才能正确处理其含义。NLP还必须区分一词多义（称为词义消歧），比如“烧”这个字，可以是你下厨房“烧了一桌好菜”，也可以是歹徒放火“烧了一间房子”。人工智能在NLP的这一领域已经取得了重大进步，因为让机器学习工具通过分析原始材料来吸收单词的不同含义，要比逐一编程简单得多。区分专有名词和普通词汇（有时称为命名实体识别）是另一项关键任务，一个例子是区分“日照”究竟表示“太阳照射”还是表示地名。

指代同一名词的两个单词（代词往往就是这种情况）需要一个称为“共指消解”的过程。例如，在“新闻秘书想回应，但他想了想还是算了”这句话中，NLP会判断“他”指的是新闻秘书。情感分析是NLP所执行的最具挑战性的任务，也是其仍有待改进的领域。情感分析就是要确定话语试图传达的态度和情感，以及可能的潜台词。这在社交媒体和营销应用中尤为重要，因为在这些场景中，不仅要理解单词和短语本身，还要理解它们背后的倾向和信念。NLP还有很长的路要走，但人工智能和机器学习近年来已经取得了长足的进步。

NLP的应用

NLP的应用方式多种多样，但几乎每个人都熟悉其最常见的应用：虚拟助理技术。就像前面说的那样，数字声控助手通过NLP来理解人类的请求，并生成连贯而有针对性的回应。

聊天机器人和虚拟客服代表是NLP在我们日常生活中几乎无处不在的另一种应用。人工智能驱动的算法可以从以往与客户的互动中学习，从而提高未来的对话能力。虽然聊天机器人还不擅长寻找新问题的解决方案，但它们可以记住以前的解决方案。如果客户的问题过去曾被问过，那么聊天机器人就更有可能知道答案。

在过去十年中，NLP程序在文本摘要应用方面取得了巨大进步。在这种应用中，程序会阅读并处理大量数据（通常是文档形式的数据），然后呈现出清晰简洁的摘要。如果文档的专业性很强或者充斥着行业术语，这时候文本摘要应用就非常实用。NLP程序可以理解复杂的术语，并用更直白的语言重新表述，让普通人更容易理解。通过机器学习和人工智能，机器翻译工具也在不断改进。

虽然NLP翻译应用程序早就能够将简单的内容从一种语言翻译成另一种语言，但它们在解读更复杂的思想观点及其含义方面也已经越来越出色。例如，如果你要求谷歌翻译将马塞尔·普鲁斯特 (Marcel Proust) 巨著《追忆似水年华》的标题原文À la recherche du temps perdu转换成英语（这是一个臭名昭著的棘手翻译），得到的回答是“In Search of Lost Time”。这正是比较公认的英文标题，虽然并不是精确的翻译。

NLP还大大提高了垃圾邮件检测的效率。与老式垃圾邮件检测程序相比，机器学习算法能更有效地检测出大批量投放的广告中经常出现的表达方式和常用短语。情感分析也是垃圾邮件检测和社交媒体采集的一个重要因素，因为确定某些广告或社交媒体帖子所引起的情感反应，是为个人消费者设计更有针对性的广告活动的一个重要部分。人工智能驱动的NLP应用程序可以处理海量数据，并将其合成为可消化的信息，这种能力在在线和数字广告领域比在任何其他领域都更具价值。

NLP工具

自20世纪50年代以来，NLP软件程序一直在不断发展。虽然统计NLP和机器学习/神经网络的引入相对较晚，但却大大提高了NLP工具的质量。就像前面说的那样，Siri和Alexa等数字助理具有先进的NLU和NLG功能，而谷歌翻译等应用软件则大大提高了对上下文和意图的理解。NLP相关软件的使用方式也越来越丰富。Python程序员可以使用自然语言工具包 (NLTK) 中的各种工具和库，该工具包汇集了用于NLP应用程序的开源程序和库。与NLP相关的主要任务、较小的操作（如句子解析、词干分析）和较大的宏观功能（如语义推理或情感分析）都有免费资源供所有人使用。

目前最热门的NLP新工具是位于旧金山的人工智能研发实验室OpenAI开发的ChatGPT。在OpenAI语言预测算法GPT的支持下，ChatGPT的NLG能够给出与人类语音无异的回答，基本上达到了艾伦·图灵人工智能测试的标准。虽然ChatGPT的回答并不总是符合事实（例如，当被问及尼日利亚是否在北美时，它曾经给出过“是”的回答），但它的语法和句法几乎总是无懈可击。ChatGPT在模仿租赁协议或简单合同等标准格式文件方面尤其有效。

作为一个简单的练习，如果问ChatGPT“自然语言处理是什么？”它的回答如下：

自然语言处理 (NLP) 是人工智能和计算语言学的一个领域，主要研究计算机与人类语言之间的交互，特别是语音识别、自然语言理解和自然语言生成。NLP算法和技术用于处理和分析语音和文本等大量自然语言数据，以执行语言翻译、情感分析、文本摘要、命名实体识别等任务。NLP是一个跨学科领域，它利用了计算机科学、语言学和认知心理学等领域的知识，开发出使计算机能够理解、解释和生成人类语言的算法和模型。

对于人类来说，恐怕很难比NLP驱动的算法本身更清晰、更简洁地解释NLP了。

结语

NLP是一项有可能彻底改变多种职业和行业的技术。将法律和技术文件从一种语言翻译成另一种语言是一项常见的高薪职业，但翻译工具可能很快就会取代他们的工作。撰写模板式的法律文件或起草标准合同是另一项NLP可能会让人类不再需要完成的任务。ChatGPT已经被用来创建类似的文件，并取得了巨大成功。客服代表可能是变革最大的领域——配备真人工作人员的呼叫中心可能将不复存在，因为人工智能语音转语音和文本转文本程序可以全年无休地回答客户的问题。

NLP在教育领域也有明显的潜力。对于学习语言的人来说，NLP程序可以通过演示如何更好、更连贯地构建句子和段落，帮助他们提升写作能力和语法知识。能用人类语言读写和交流的计算机可能看起来像是科幻小说中的东西，但它们已经出现了。今天，你甚至可能已经在不知不觉中与电脑进行了互动。

作者简介

Alex是Wavefront Marketing的资深技术作家，专门从事先进电子产品、新兴技术和负责任的技术开发。