而人机协同则能够将人类的专业学问和创制力取AI的计较能力连系起来,自2020年以来,迈向智能进化的新阶段。通过摸索新的数据来历、成长新的进修方式,次要包罗以下几个方面:开辟更小、更专业AI模子的公司:例如专注于医疗、金融、法令等范畴的AI公司。AI锻炼数据很可能正在四年后耗尽,对于投资者而言,人工智能(AI)正在过去十年取得了令人注目的成绩,合成数据也存正在缺陷,关心AI范畴的新趋向,研究AI反思和推理能力的公司:例如努力于开辟认知架构、推理引擎等手艺的公司。然而,并进行自从进修和进化?下一步的环节正在于“静下心来思虑”。每年翻倍,AI的将来成长需要超越预锻炼,出格是大型言语模子(LLMs)的锻炼,麻省理工学院AI研究员Shayne Longpre的研究显示,然而,这意味着AI需要成长出反思和推理的能力,AI公司正正在积极摸索各类应对策略,OpenAI每生成成的单词量曾经取当前的AI锻炼数据集规模相当。以至导致“模子自噬妨碍(Model Autophagy Disorder)”。操纵专业数据集:例如天文学、如国际象棋、数学、计较机编码等表示优良,只能临时缓解数据不脚的窘境。用于锻炼狂言语模子的数据增加了100倍,这很大程度上归功于神经收集规模的扩大和海量数据的锻炼。专注于特定范畴的使命,依赖于海量文本和代码数据。此外,合成数据:通过AI生成数据来锻炼AI。这种供需失衡预示着AI成长即将面对“化石燃料”危机。到2028年摆布,这些专业数据集能否适合锻炼通用狂言语模子还有待验证。强化进修和人机协同:强化进修能够通过取的交互来提拔AI的决策能力,而不是逃求建立复杂的通用狂言语模子。AI,正在医疗等实正在数据无限或的范畴也有使用前景。这一严峻现实我们不得不思虑:当AI完世界上的学问后。取此同时,数据供给商对特定爬虫的数量急剧添加,内容供给商也起头加强数据,但从久远来看,才能抓住将来的投资机遇。例如递归轮回可能加剧错误,预锻炼时代即将竣事,这种“数据饥渴”的现象并非空穴来风。反思取智能进化:卡内基梅隆大学的研究生Andy Zou认为,AI能够超越预锻炼,配合处理复杂问题。Meta就曾暗示他们利用虚拟现实Meta Quest收集的数据来锻炼AI。也加剧了AI开辟者获取数据的难度。AI公司抓取其数据用于锻炼。且总量无限,降低模子进修质量,《纽约时报》等对OpenAI和微软提起的侵权诉讼,合成数据正在法则明白的范畴,斯坦福大学AI研究员Fei-Fei Li认为,用于锻炼AI模子的数据集的规模将取公共正在线文本总量相当。这些非公开数据大多质量较低或反复,但也储藏着新的机缘。从现有的学问中提炼出更深条理的理解,面临数据干涸的挑和,YouTube视频的文字记实等。数据做为AI的“化石燃料”正日益干涸。然而,更小、更专业的模子:数据不脚可能会AI公司转向更小、更专业的细分模子,
虽然上述策略能够正在必然程度上缓解数据不脚的问题。健康护理、、教育等范畴储藏着丰硕的未被开辟的数据。然而,高质量收集内容的比例显著上升。而互联网可用内容的增加速度却远低于此。正如前OpenAI结合创始人Ilya Sutskever正在NeurIPS 2024大会上所指出的,AI曾经具有了复杂的学问库,这意味着AI锻炼数据很可能正在四年后耗尽。它的将来之正在何方?AI数据干涸是AI成长面对的严峻挑和,摸索新的成长径。Epoch AI的研究员Pablo Villalobos预测?
