跳至主要内容

博文

目前显示的是标签为“CHATGPT”的博文

大型语言模型将颠覆人类的仪式

经济学人: 亚瑟·C·克拉克 (RTHUR C. CLARKE)写过 一个 故事,故事中整个宇宙的诞生是为了让僧侣们能够按照仪式写出上帝的九十亿个名字。僧侣们买了一台电脑,以便更快更好地完成这项工作,但结果却给我们其他人带来了不幸的后果。故事的最后一句话是:“头顶上,没有任何喧嚣,星星正在熄灭。” 仪式不仅关乎上帝,还关乎人与人之间的关系。日常生活依赖于仪式表现,例如礼貌、着装得体、遵循正确程序和遵守法律。仪式的细节因时间、空间和社会的不同而变化,而且往往大相径庭。但它们是所有正式和非正式机构的基础,使人与人之间的协调变得毫不费力。它们似乎是无形的,只是因为我们把它们视为理所当然。 没有仪式,组织就无法运作。当你为前同事写推荐信或在员工感谢日赠送或收到小玩意儿时,你就是在举行一场仪式,强化这样一个世界的基础:每个人都知道规则,并希望他们遵守规则——即使你有时会偷偷翻白眼。仪式还为组织追踪事情留下了纸质和电子记录。 就像克拉克的僧侣一样,我们最近发现了更有效的执行仪式的引擎: 大型语言模型 ( LLM )。它们的主要用途是在组织内部, LLM 被用来提高内部流程的效率。人们已经使用它们来编写样板语言、编写强制性声明和年终报告或撰写常规电子邮件。针对组织的外部用途(例如为大学申请撰写个人陈述)也在快速增长。即使 LLM 没有进一步改进,它们也会改变机构生活的这些方面。 严肃的宗教涉及自我反省和怀疑,但对于许多仪式而言,陈词滥调的乏味重复才是关键。许多组织语言是静态的而不是动态的,目的不是激发原创思想,而是让所有人对内部规则和规范达成共识。当共和党全国委员会的准员工被问及 2020 年美国总统大选是否被窃取时,他们并没有被邀请去思考这个问题,而是被要求以表演的方式宣誓对预定候选人唐纳德·特朗普的忠诚。 因为LLM 没有内在的心理过程,所以他们非常适合回答这种仪式化的提示,将所需的陈词滥调稍作改动。正如作家丹·戴维斯所说,他们倾向于重复“最不令人惊讶的结果”。我们第一次有了非人类、非智能的过程,它们可以高速、工业化地制定仪式,并根据需要对其进行调整以适应特定情况。 有了LLM ,组织仪式(例如可能导致员工晋升或解雇的年度绩效评估)可以更快、更轻松地进行 。经理所要做的就是启动 ChatGPT,输入一些剪切粘贴数据的简短提示,然后就大功告成了!稍加调整,一小时的工作只需几秒钟

研究人员正在研究大型语言模型的工作原理

经济学人: 对大多数人来说 ,汽车发动机或计算机的内部工作原理都是一个谜。它可能就像一个黑匣子:只要它能正常工作,就不必担心里面发生了什么。此外,设计和构建这种复杂系统的人非常了解它们的工作原理,并且可以在出现问题时进行诊断和修复。但对于大型语言模型 (LLM  )  来说情况并非如此,例如  GPT -4、Claude 和 Gemini,它们处于人工智能 (  AI  ) 热潮的前沿 。 LLM  是使用一种称为深度学习的技术构建的,其中数十亿个神经元组成的网络由软件模拟,并模仿人类大脑的结构,并接触数以万亿计的事物示例以发现内在模式。经过文本字符串训练后, LLM  可以进行对话、生成各种风格的文本、编写软件代码、在语言之间进行翻译等等。 人工智能 初创公司 Anthropic 的研究员 Josh Batson 表示,模型本质上是培养出来的,而不是设计出来的。 由于  LLM  并非经过明确编程,所以没有人完全确定它们为何具有如此非凡的能力。他们也不知道为什么  LLM  有时会行为不当,或者给出错误或虚构的答案,即所谓的 “幻觉”。LLM 确实是黑匣子。这令人担忧,因为它们和其他深度学习系统开始用于各种事情,从提供客户支持到准备 文档 摘要再到编写软件代码。 如果能够探究  LLm 内部发生了什么,将会大有裨益 ,就像使用合适的工具可以探究汽车发动机或微处理器一样。能够自下而上、详细地了解模型的内部运作,被称为“机械可解释性”。但对于拥有数十亿个内部神经元的网络来说,这是一项艰巨的任务。但这并没有阻止人们的尝试,包括巴特森博士和他的同事。在 5 月份发表的一篇论文中,他们解释了他们如何对 Anthropic 法学硕士 课程的运作方式有了新的认识。 人们可能会认为 LLM 中的单个神经元会对应特定的单词。不幸的是,事情并没有那么简单。相反,单个单词或概念与复杂的神经元模式的激活有关,单个神经元可能被许多不同的单词或概念激活。Anthropic 的研究人员在 2022 年发表的早期研究中指出了这个问题。他们提出并随后尝试了各种解决方法,并在 2023 年使用所谓的“稀疏自动编码器”在非常小的语言模型上取得了良好的效果。在他们的最新成果中,他们扩大了这种方法的规模,以与全尺寸 LLM  Claude 3 Sonnet 一起使用。 稀疏自动编码器本质上是第二个较小的神

人工智能人才争夺战正在升温

经济学人: 可怜 OpenAI 的   人力资源部 门。自今年年初以来,热门人工智能聊天机器人 Chat GPT 的创造者 已经 失去 了 大约十几名顶尖研究人员。其中最出名的是 Ilya Sutskever,他是这家初创公司许多重大突破的联合创始人,他于 5 月 14 日宣布辞职。他没有给出理由,但很多人怀疑这与去年 12 月他试图罢免公司老板 Sam Altman(如图)有关。不管动机如何,人才流失在 Open  AI 并不罕见。据估计,自 2016 年以来,该公司聘请了 100 多名 人工智能 专家,其中约有一半已经离职。 这反映的不是 Altman 的领导力,而是技术行业更广泛的趋势,而这一趋势正是 Open  AI 本身促成的。自 2022 年 11 月推出 Chat  GPT以来, 人工智能 劳动力市场 发生了变化。市场情报公司 Zeki Research 估计,西方约有 20,000 家公司正在招聘 人工智能 专家。机器学习的快速发展和“平台转变”(技术术语,指创造一个全新的技术层面)的潜力改变了雇主所需的技能类型以及拥有这些技能的人的去向。其结果是,以前囤积在科技巨头手中的 人工智能 人才正变得更加分散。 首先从技能开始。微软和谷歌等科技巨头可能会裁掉非工程师,但他们正在寻找能够理解和构建尖端模型的明星研究人员。这个群体可能由数百人组成,比如 Sutskever 先生或负责谷歌 人工智能工作的 Jeff Dean。公司觊觎这样的超级明星,因为他们可以取得突破,比如大幅提高 人工智能 系统的效率 或使其更不容易产生虚构。这使得他们非常有价值;许多人的薪酬高达七位数。 有些员工无需面试就被录用,或者整个团队都被录用。今年 3 月,微软招募了 Inflection  ai 的大部分员工,这是一家开发尖端模型的初创公司,其中包括其联合创始人穆斯塔法·苏莱曼 (Mustafa Suleyman)。据报道,此举引起了美国联邦贸易委员会反垄断人员的注意。(苏莱曼先生是《 经济学人》 母公司的董事会成员。)Meta(Facebook 母公司)的老板马克·扎克伯格 (Mark Zuckerberg) 亲自给谷歌 人工智能 实验室 DeepMind 的一些研究人员发了电子邮件,试图招募他们。 图表:经济学人 更有趣的是,生成式 人工智能 如何改变了底层人才市场。根据求职