跳至主要内容

博文

目前显示的是标签为“deepseek,AI”的博文

DeepSeek 的低功耗、少数据模型如何发挥作用

华尔街日报: 上个月, 中国公司 DeepSeek发布了一款新的人工智能模型,尽管使用的芯片不那么复杂,处理能力也只是美国的一小部分,但仍能与竞争对手的美国系统相媲美, 这在华尔街引起了震动。 据该公司发表的论文称,DeepSeek 之所以能够事半功倍,是因为其最新的 R1 模型更多地依赖于一种名为强化学习的过程,在该过程中,模型使用其创建并适应自身的奖励系统从其动作中获得反馈。  该模型从现有的大量文本开始,这些文本被分解成独特的单词、单词片段和标点符号,可以用不同的方式重新组合在一起。这个“大型语言模型”有超过 6710 亿个可调整的设置,称为“参数”,可以调整这些设置来确定模型如何响应提示。 按模型划分的参数数量 参数是决定模型如何处理信息和做出决策的设置。模型中的参数数量表明了模型的大小。 DeepSeek 的最新模型 OpenAI 模型 可执行任何任务 37B GPT-1 GPT-2 GPT-3 GPT-4 DeepSeek R1 1.17亿 15亿 175B 1.8T 671B 资料来源:OpenAI(GPT-1、-2、-3);SemiAnalysis(GPT-4 估计);DeepSeek 模型的参数数量是衡量其规模的一种方式。与传统 AI 模型不同,R1 的可调设置中只有一小部分在任何单个操作期间处于活动状态。活动参数的减少大大降低了处理所需的功率和计算能力,并允许模型在更便宜、更简单的芯片上运行。 DeepSeek 的 R1 模型通过分成多个具有不同专长的网络来工作,这种方法被称为“专家混合”方法。某些提示会要求不同的专长,而为了回答提示,模型只会处理它自己教过的、最相关的网络。 相比之下,传统的人工智能模型依赖于大量预先标记的数据集,这个过程被称为监督训练。预先标记是由人工完成的,成本高昂且耗时。 DeepSeek 模型的另一个显著特点是 它是开源的 ,这意味着它可以被公司外部的开发人员重新利用。 该公司的 R1 模型在加州大学伯克利分校研究人员运营的 AI 模型评级平台 Chatbot Arena 上名列前茅。 对于数学和编码等任务,R1 的表现比大多数其他模型更好。 根据 Chatbot Arena 得分(总体得分和任务类型)排名靠前的 AI 模型 全面的 Gemini 2.0 闪电思维实验 (谷歌) Gemini 2.0 Pro 实验...

不仅仅是人工智能,中国的药物也让世界惊讶

经济学人: 癌症免疫 治疗药物艾杜拉定无疑是最赚钱的药物之一。自2014年上市以来,该药物已为美国制造商默克公司带来了超过1300亿美元的销售额,其中去年销售额达到295亿美元。去年9月,一种实验性药物取得了突破性的效果。在非小细胞肺癌的晚期试验中,该药物使患者病情不耐受的生存时间几乎增加了两倍,达到11.1个月,而Keytruda 为5.8个月。 成果令人震惊。其背后的公司国籍也令人震惊。康方生物是一家中国生物科技公司。 图表:经济学家 近几个月来,中国在人工智能领域的进步震惊了世界。生物技术领域也正在发生一场更安静但同样重要的转变。近几个月来,中国一直生产仿制药、供应原材料并为制药界开展临床试验而闻名。但现在,中国的制药商也出现了领先地位,生产的创新药物比竞争对手的药物更便宜。中国已成为美国的第二大新药试剂(图1)。 图表:经济学家 因此,西方制药商越来越多地向东方寻求灵感。由于药品专利,到本世纪末,他们每年的销售额损失将高达1400亿美元。去年,他们达成的大规模许可协议中,近(价值5000万美元或以上)是与中国公司达成的,是2020年的三倍。咨询公司 LEK 估计,在此期间,从西方中国获得许可的药品总价值增长了15倍,达到480亿美元(见图表2)。11月,默克公司向另一家中国生物技术公司LaNova Medicines支付了5.88亿美元,与康方生物类似的治疗权利。 近二十年前,中国政府就将生物技术列为战略重点。但直到2015年,在国家药品监管机构启动雄心勃勃的改革后,生物技术才真正有了能力。该机构招募了更多员工,并在短短两年内清理了2万人临床试验流程得到简化,并与全球标准同步。北京大学的崔一民及其同事在 《自然评论药物发现 》上发表的一项研究发现,批准第一个轮人体试验所需的时间从改革前的501天到87天。 改革正值“海归潮”的兴起,海归指的是在国外学习或工作的中国科学家。中国庞大的国内市场为生物技术行业增添了动力,吸引了各大制药公司前来此投资,带来了技术和人才。更大规模的上市规则为生物技术投资者提供了更清晰的退出途径,使该行业越来越有吸引力。中国生物技术行业的私人融资额从2016年的10亿美元增至2021年的134亿美元。 有了更多的智慧和资金,中国公司只是抄袭西方药物。他们没有等待专利逐渐再生产相同的仿制药,而是采取了“修改快速推进”策略——采用已知药物,...