本篇内容转载自「新智元」 100美元、4个小时、仅8000行代码，就能复现出一个专属的 ChatGPT。 特斯拉前AI总监、OpenAI创始成员 Andrej Karpathy 发布了其 全新开源项目「nanochat」， 一个极简但完整的 「从零构建ChatGPT」 训练框架。 Karpathy 说这是他写过的最疯狂的项目之一。 在项目刚放出还不到12个小时内，GitHub星标就破了 4.2kStar。 与早期的nanoGPT不同，nanochat不仅涵盖预训练，还囊括了从数据准备、预训练、中期训练（对话、多项选择题、工具使用）、SFT、RL 微调到推理部署的 全流程。 整个系统仅约8000行干净代码，启动一台GPU机器、运行一条脚本，4小时后你就能在网页界面与自己训练的「小ChatGPT」对话。 Karpathy将其称为LLM101n的「压轴之作」， 同时也可能成为未来研究基线和开源社区的实验平台。 GitHub项目地址：https://github.com/karpathy/nanochat 超 15000 人的「AI 产品市集」社群！不错过每一款有价值的 AI 应用。 邀请从业者、开发人员和创业者，飞 ...

100美元成本、8000行代码纯手搓克隆ChatGPT！ 特斯拉前AI总监、OpenAI创始成员、宣布全职搞教育的AI大神Andrej Karpathy（卡帕西）沉寂了好久，终于终于终于来上新课了！ 新作nanochat，被其本人称作是写得最"精神错乱"放飞自我的作品之一。 它是一个极简的、从零开始构建的全栈训练/推理pipeline，用最少量依赖的单一代码库实现了简易版ChatGPT。 只要你启动一台云GPU服务器，运行一个脚本，最快只要4小时，就能在类似ChatGPT的网页界面与自己训练的大语言模型对话。 整个项目约8000行代码，可实现以下功能： 基于全新Rust语言实现，训练分词器 （tokenizer） 在FineWeb数据集上预训练Transformer架构大语言模型，并通过多项指标评估CORE得分 在SmolTalk用户-助手对话数据集、多项选择题数据集、工具使用数据集上进行中期训练 （Midtrain） 整体成本只需约100美元（在8×H100上训练4小时），就能训练复刻出一个可进行基础对话、创作故事诗歌、回答简单问题的简易版ChatGPT模型。 执行指令微调 （ S FT） ，并在世界知识多 ...

「这是我写过最疯狂的代码之一。」 本周一，AI 领域大神 Andrej Karpathy 发布了自己的最新开源项目，瞬间引来了整个社区的关注。 这个名为 nanochat 的项目据说可以教你从零开始，以 100 美元的成本自建 ChatGPT。它覆盖 LLM 的训练和推理，只要跟着学就可以了解构建大模型的所 有步骤了。 总共是 8000 行代码，在 GitHub 上放出不到 12 个小时，star 量就已经超过 4500： GitHub 链接：https://github.com/karpathy/nanochat 与 Karpathy 之前发布的 nanoGPT 仓库（只覆盖了预训练阶段）不同，nanochat 是一个从零开始实现的、极简但完整的 ChatGPT 克隆版训练 / 推理全流 程项目，所有内容都集中在一个依赖极少、结构干净的代码库中。 你只需要启动一台云 GPU 机器，运行一个脚本，大约 4 小时后就可以在 ChatGPT 风格的 Web 界面里和你自己的 LLM 聊天。 使用全新的 Rust 实现训练分词器。 在 FineWeb 数据集上预训练 Transformer LLM，并在多个指标上评 ...

100美元成本、8000行代码纯手搓克隆ChatGPT！ 西风 发自 凹非寺 量子位 | 公众号 QbitAI 特斯拉前AI总监、OpenAI创始成员、宣布全职搞教育的AI大神 Andrej Karpa thy （卡帕西） 沉寂了好久，终于终于终于来上新课了！ 新作 nanochat ，被其本人称作是写得最"精神错乱"放飞自我的作品之一。 它是一个极简的、从零开始构建的全栈训练/推理pipeline，用最少量依赖的单一代码库实现了简易版ChatGPT。 只要你启动一台云GPU服务器，运行一个脚本， 最快只要4小时 ，就能在类似ChatGPT的网页界面与自己训练的大语言模型对话。 整个项目约8000行代码，可实现以下功能： 整体成本只需约100美元 （在8×H100上训练4小时） ，就能训练复刻出一个可进行基础对话、创作故事诗歌、回答简单问题的简易版 ChatGPT模型。 基于全新Rust语言实现，训练分词器 （tokenizer） 在FineWeb数据集上预训练Transformer架构大语言模型，并通过多项指标评估CORE得分 在SmolTalk用户-助手对话数据集、多项选择题数据集、工具使用数据集上进行中 ...

| | | 「这是我写过最疯狂的代码之一。」 本周一，AI 领域大神 Andrej Karpathy 发布了自己的最新开源项目，瞬间引来了整个社区的关注。 这个名为 nanochat 的项目据说可以教你从零开始，以 100 美元的成本自建 ChatGPT。它覆盖 LLM 的训练和推理，只要跟着学就可以了解构建大模型的所有步骤 了。 总共是 8000 行代码，在 GitHub 上放出不到 12 个小时，star 量就已经超过 4500： GitHub 链接：https://github.com/karpathy/nanochat 与 Karpathy 之前发布的 nanoGPT 仓库（只覆盖了预训练阶段）不同， nanochat 是一个从零开始实现的、极简但完整的 ChatGPT 克隆版训练 / 推理全流程项目， 所有内容都集中在一个依赖极少、结构干净的代码库中 。 你只需要启动一台云 GPU 机器，运行一个脚本，大约 4 小时后就可以在 ChatGPT 风格的 Web 界面里和你自己的 LLM 聊天。 仓库大约 8,000 行代码 ，但已经实现了以下全部功能： 使用全新的 Rust 实现训练分词器。 在 Fi ...