生成式AI并非横空出世 — 从AI历史与分类理解其与传统机器学习的区别

生成式AI并非取代传统机器学习而突然出现的新物种。它是70多年来人工智能研究在数据、计算能力和神经网络技术共同作用下产生的一个分支。

随着ChatGPT能够撰写文章,图像生成模型仅凭几行描述就能创作出画作,生成式AI已然成为人工智能的代名词。

然而,企业早在很久以前就开始使用垃圾邮件过滤器、商品推荐、异常交易检测、需求预测等AI。这些系统也都被称为机器学习。那么,生成式AI与传统机器学习是完全不同的技术吗?还是仅仅是现有技术的一个新名称?

要正确回答这个问题,仅仅比较两种技术的功能是不够的。我们需要一起审视人工智能这一概念是如何起源的,机器学习和深度学习在其内部是如何发展的,以及生成式AI处于何种位置。

本文将涵盖以下内容:

  • 人工智能究竟意味着什么
  • AI从基于规则的系统到生成式AI的发展历程
  • AI、机器学习、深度学习、生成式AI的包含关系
  • 生成式AI与传统机器学习的核心区别
  • 何时应单独选择或结合使用这两种技术

人工智能并非单一技术名称

人工智能,即AI,指的是使计算机能够执行与人类智能相关的任务(如感知、推理、学习、规划、决策和语言处理)的整个技术和研究领域。

这里重要的一点是,AI并非特指某个算法或某个产品。

并非只有聊天机器人才是AI,也并非只有使用神经网络才能称为AI。从人工编写逻辑规则解决问题的专家系统,到游戏中探索下一步的程序,从数据中学习模式的机器学习模型,再到生成文本的大规模语言模型,都属于广义上的AI。

NIST将生成式AI定义为一类AI模型,它通过模仿输入数据的结构和特性来创建文本、图像、视频、音频等合成内容。从这个定义中也可以看出,生成式AI并非AI的同义词,而是AI内部包含的一个特定类别。

因此,以下两句话的含义是不同的:

AI를 사용한다.
생성형 AI를 사용한다.

第一句话可以包含基于规则的系统、预测模型、推荐系统和生成模型。第二句话则特指使用生成新内容的模型。


AI历史揭示生成式AI的定位

理解生成式AI的最佳方式,不是将其视为简单的产品发布时间表,而是审视解决问题的方法是如何演变的AI历史。

1940-1950年代:机器能思考吗?

1943年,沃伦·麦卡洛克和沃尔特·皮茨发表了一个数学模型,能够用逻辑运算来表达神经细胞的运作。尽管与今天的深度学习神经网络形式大相径庭,但它试图将生物神经元的行为表达为计算模型,从而成为人工神经网络历史上的一个重要起点。

1950年,艾伦·图灵在论文《计算机器与智能》中探讨了“机器能思考吗?”这个问题。他没有纠缠于抽象的智能定义,而是提出了一个“模仿游戏”,通过对话来判断人类和机器是否能被区分。此后,这个想法被称为图灵测试。

1956年,约翰·麦卡锡、马文·明斯基、纳撒尼尔·罗切斯特、克劳德·香农等人参与了达特茅斯夏季研究项目。该项目的提案中首次使用了“Artificial Intelligence”这一名称,AI由此获得了作为一个独立研究领域的名称。

1958年,弗兰克·罗森布拉特在论文中提出了感知器,它能从输入中学习分类边界。这展示了学习模型从数据中调整判断标准而非由人类输入所有规则的可能性。

从那时起,AI中就存在着两种并行的流派:

  • 人类以符号形式表达知识和规则的方法
  • 机器从数据和经验中学习规则的方法

1960-1980年代:输入规则和知识就能产生智能吗?

早期AI研究中,符号主义方法占据了很大比重。人们认为,如果人类将逻辑、知识和问题解决过程以计算机能理解的形式输入,机器就能进行推理。

专家系统是这种方法的典型成果。它将医生或工程师的判断规则整理成IF-THEN形式,然后将这些规则应用于输入的事实以得出结论。

IF 발열이 있고 특정 검사 결과가 양성이면
THEN 특정 질환의 가능성을 검토한다.

当问题明确且范围狭窄时,这种方法很有用,但要由人类编写所有现实中的例外和隐性知识的规则却很困难。规则越多,相互冲突或维护就越复杂。

研究人员和公众的期望迅速增长,但当时的数据、计算性能和算法未能跟上这些期望。投资和兴趣急剧下降的时期反复出现,这通常被称为“AI寒冬”。

1990-2000年代:数据优于规则

计算机不再需要输入所有判断规则,而是逐渐转向以从实际数据中学习统计模式为核心的机器学习。

在此期间,决策树、支持向量机、集成学习、概率模型和神经网络被应用于分类、预测、搜索和推荐问题。企业所说的“传统机器学习”主要指的就是这一发展趋势中的技术。

1997年,IBM的深蓝在与国际象棋世界冠军加里·卡斯帕罗夫的正式复赛中获胜,这也是AI历史上的一个标志性时刻。然而,深蓝不应被理解为今天的生成式AI或通用学习模型。深蓝更接近于一个针对国际象棋这一明确问题,结合了搜索、评估函数和专业知识的专用系统。

这个案例表明,即使AI不能像人类一样理解一切,但在特定问题上也能达到人类顶尖水平的性能。

2010年代:深度学习的复兴

神经网络研究由来已久,但由于缺乏足够的数据和计算资源,难以应用于大规模问题。随着互联网数据的增长和GPU并行计算的实现,情况发生了变化。

2012年,AlexNet在ImageNet分类任务中展示了深度卷积神经网络和GPU训练的有效性,该任务使用了约120万张图像。这一事件不仅在图像识别领域,还在语音、自然语言处理和推荐领域推动了深度学习应用的快速普及。

2014年,GAN(生成对抗网络)被提出,其中生成器和判别器通过竞争进行学习。在以往主要关注判别模型的神经网络研究中,能够生成与真实数据相似的新数据的生成模型开始展现出强大的存在感。

2017年的论文《Attention Is All You Need》提出了Transformer架构,它不依赖循环神经网络,而是以注意力机制为核心处理上下文关系。Transformer有利于大规模并行训练,并随后成为大规模语言模型的核心基础。

2020年代:生成模型成为通用接口

2020年GPT-3的论文表明,大规模自回归语言模型即使不针对每个任务重新训练,也能仅凭指令和少量示例完成翻译、问答、文本生成等多种任务。

同年发布的DDPM研究展示了扩散模型通过逐步去除噪声生成高质量图像的潜力。此后,通过文本描述生成图像的服务迅速发展。

2022年11月发布的ChatGPT将语言模型从研究人员或开发者专用的模型,转变为任何人都可以用自然语言操作的对话式工具。

从这段历史中得出的重要结论是明确的:

生成式AI并非与现有AI脱节的发明,而是早期神经网络研究、机器学习、深度学习、大规模数据、GPU、Transformer和生成模型研究累积的成果。


AI、机器学习、深度学习、生成式AI如何关联?

这些术语经常混用,但它们并非同一层级的分类。

最简化地表示,它们之间的包含关系如下:

인공지능(AI)
├── 규칙·논리·탐색 중심 AI
└── 학습 중심 AI
    └── 머신러닝(ML)
        ├── 전통적 머신러닝
        └── 딥러닝
            ├── 판별·예측 중심 모델
            └── 현대적 생성 모델
                ├── 대규모 언어 모델
                ├── 확산 모델
                ├── GAN
                └── VAE 등

此图是为了便于理解而进行的简化。生成模型的概念早于深度学习,并非所有生成模型都必须使用庞大的神经网络。然而,由于当今大多数被称为“生成式AI”的服务都基于深度学习,因此在实践中按上述结构理解也无大碍。

让我们区分一下各个术语:

人工智能

使计算机执行智能任务的最广泛范畴。它包括基于规则的系统、搜索算法、机器学习和生成式AI。

机器学习

实现AI的多种方法之一。它不依赖人类直接编写所有规则,而是从数据中学习模式和判断标准。

深度学习

机器学习的一种,使用多层人工神经网络。它擅长从图像、语音、文本等复杂的非结构化数据中自动学习特征。

生成式AI

基于训练数据的结构和分布,创建新文本、图像、音频、视频或代码的AI。现代生成式AI大多使用深度学习,但重要的是,其名称是基于“生成”这一目的而命名的。

大规模语言模型

生成式AI的一种。它从大规模文本中学习语言模式,通过预测下一个词元来生成句子。并非所有生成式AI都是语言模型。图像扩散模型和音乐生成模型也是生成式AI。


另一个分类维度:如何学习和输出什么

AI分类之所以令人困惑,是因为它不只使用一个标准。

根据学习方法,可以分为以下几类:

  • 监督学习:用带有标签的数据进行学习
  • 无监督学习:在没有标签的情况下发现数据结构
  • 自监督学习:利用数据的一部分作为标签进行学习
  • 强化学习:通过行为奖励学习策略

根据输出目的,可以分为以下几类:

  • 判别·预测模型:判断输入属于哪个类别,或将是什么值
  • 生成模型:根据学习到的分布生成新的样本

因此,“传统机器学习与生成式AI”的比较更多是一种实践性表达,而非严格的学术分类。

传统机器学习指的是技术的实现方式和时代性的使用惯例,而生成式AI主要指的是模型的输出目的。这两个范畴并非完全对称,但在比较企业系统时,它们具有以下意义:

기존 머신러닝: 정해진 업무에서 분류·예측·추천하는 모델
생성형 AI: 열린 형태의 텍스트·이미지·코드를 만드는 모델

传统机器学习负责判断,生成式AI负责创造

传统机器学习主要解决的问题是分类、回归、推荐和异常检测。

이 이메일은 스팸인가?
이 거래는 사기일 확률이 얼마인가?
다음 달 판매량은 얼마나 될까?
이 사용자에게 어떤 상품을 추천할까?

结果以类别、概率、数字或排名等受限形式呈现。

스팸일 확률: 97%
예상 판매량: 12,400개
추천 상품: A, C, F

生成式AI利用学习到的模式创建新内容。

이 고객 문의를 세 문장으로 요약해 줘.
환불 정책을 근거로 답변 초안을 작성해 줘.
쿠버네티스 장애 대응 절차를 표로 정리해 줘.
제품 콘셉트에 맞는 이미지를 만들어 줘.

语言模型在内部也会预测下一个词元。因此,生成式AI并非不进行预测。不同之处在于,它通过重复连接小的预测来创建长而开放的结果。


两种技术的差异一览

类别 传统机器学习 生成式AI
主要目的 分类、预测、推荐、检测 生成文本、图像、代码等
输入 结构化数据、传感器值、交易记录 自然语言、文档、图像、多模态输入
输出 类别、概率、数字、排名 句子、图像、音频、代码
业务范围 专注于特定问题 一个模型可执行多种任务
训练数据 多为带标签的业务数据 利用大规模非结构化数据和自监督学习
评估 准确率、精确率、召回率、预测误差 真实性、有用性、指令遵循、安全性
主要风险 误分类、偏见、数据漂移 幻觉、信息泄露、有害或不准确的生成
成本·速度 易于小型化和快速优化 需要相对更多的计算和成本
结果控制 输出范围相对明确 表达和内容每次可能不同

传统机器学习的优势在于能够针对狭窄明确的问题做出快速一致的判断。而生成式AI的强项在于处理非结构化信息,并以人类可以直接使用的形式表达结果。


处理相同的客户咨询,差异会变得清晰

假设在线商城收到了以下咨询:

지난주에 주문한 상품이 아직 도착하지 않았습니다.
배송 조회도 사흘째 같은 위치인데 취소할 수 있나요?

传统机器学习模型可以对咨询进行分类并计算风险等级。

문의 유형: 배송 지연
고객 이탈 위험: 높음
긴급도: 0.82

生成式AI可以根据咨询内容为客服人员生成可用的回复。

배송 지연으로 불편을 드려 죄송합니다.
현재 배송 상태를 확인한 뒤 취소 가능 여부와 예상 도착일을 안내해 드리겠습니다.
주문번호를 알려주시겠어요?

最好的系统不会只坚持使用其中一种。

고객 문의
   ↓
기존 머신러닝으로 유형·위험도 분류
   ↓
주문 시스템과 환불 정책 조회
   ↓
생성형 AI가 근거 기반 답변 초안 작성
   ↓
규칙 검증 또는 상담원 승인
   ↓
고객에게 전송

传统机器学习负责判断,生成式AI负责解释和表达。数据库和规则引擎则确保事实和权限。


生成式AI为何不能取代传统机器学习

生成式AI虽然通用,但并非所有问题的最佳选择。

答案范围明确的问题

如果是预测信用卡交易的欺诈概率或下周需求的问题,专用机器学习模型可能更快、更便宜。

结果必须一致的问题

对于在相同条件下需要相同结果的任务,如税务计算、访问权限判定、支付审批,应以基于规则的系统和专用模型为核心。

大批量实时处理

如果需要每秒处理数千个事件,小型分类模型或异常检测模型比大型生成模型更高效。

明确的性能衡量

当目标需要以数字管理时,例如欺诈交易检测率,传统机器学习更容易通过准确率、精确率、召回率等指标来比较性能。

无条件地应用生成式AI可能会增加成本,并使结果验证变得困难。更大的模型并非仅仅因为更新就更适合。


生成式AI为何需要新的风险管理

传统机器学习的典型失败是误分类。例如,将正常交易判断为欺诈,或将欺诈交易误判为正常。

在生成式AI中,幻觉成为一个重要问题。模型可能会自然而自信地解释不存在的论文、错误的API选项或从未实际发布的政策。

语言模型不是存储真相的数据库,而是生成上下文可能性最高的下一个词元的模型。句子听起来自然,并不代表其内容准确。

因此,在重要业务中需要以下控制措施:

  • 通过RAG(检索增强生成)向模型提供经批准的文档
  • 在回答中显示依据来源
  • 结构化输出和模式验证
  • 阻止输入个人信息和机密信息
  • 限制允许的工具和工作范围
  • 对高风险结果进行人工审批
  • 对提示和输出进行审计记录

生成式AI系统应作为一个整体结构进行评估,包括搜索、数据、权限、验证和操作策略,而不仅仅是单个模型。


如何选择技术

从结果应该是什么开始思考,选择就会变得容易。

如果符合以下条件,建议首先考虑传统机器学习:

  • 答案是类别、分数、数值或排名。
  • 处理速度和成本很重要。
  • 输出格式是固定的。
  • 对相同的输入需要稳定的判断。
  • 性能需要用明确的指标来衡量。

如果符合以下条件,生成式AI可能更适合:

  • 需要创建文档、图像、音频或代码。
  • 需要自然语言问答界面。
  • 需要总结非结构化文档或将其转换为其他形式。
  • 需要快速创建供人类使用的草稿。
  • 每个任务的输入和输出格式略有不同。

如果符合以下条件,结合使用两种技术是现实的:

  • 需要以人类易于理解的方式解释预测结果。
  • 需要根据内部文档生成答案。
  • 需要根据风险等级区分自动处理和人工审批。
  • 需要将自然语言请求转换为结构化的业务命令。

从分类图看生成式AI,误解减少

生成式AI并非AI历史中突然冒出的例外。

1940年代的人工神经元概念、1950年代的AI研究和感知器、基于规则的专家系统的成功与局限、数据驱动机器学习的普及、2010年代深度学习的发展、GAN和Transformer、大规模语言模型和扩散模型,这些依次积累,才有了今天的生成式AI。

用一句话总结它们的关系如下:

AI是最大的目标和研究领域,机器学习是通过数据实现AI的方法,深度学习是机器学习的一种,而现代生成式AI是主要利用深度学习创建新内容的应用领域。

传统机器学习和生成式AI也无需仅仅视为竞争关系。

传统机器学习擅长判断“这是什么,未来会是多少”。生成式AI擅长处理“如何解释该判断,以及以何种形式表达结果”。

一个好的AI系统并非选择最大模型的系统。它是在需要预测的地方部署预测模型,在需要生成的地方部署生成模型,在需要准确事实和权限的地方部署数据库和规则引擎的系统。

在生成式AI时代,有一个不变的原则:

不要从技术名称出发,而要从要解决的问题出发。


参考资料


Comments

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注