您尚未登录账户
您的企业账号申请正在审核中
用户实现在三星Galaxy Watch 4上运行Baby Llama
Baby Llama是OpenAI的Andrej Karpathy作为周末项目创建的，可以在边缘设备上运行Llama 2。
一个昵称为Joey（e/λ）的 X平台的用户分享了一个他在三星Galaxy Watch 4上运行‘llama.c’的视频。Baby Llama是OpenAI的Andrej Karpathy作为周末项目创建的，这个项目的目标是在边缘设备上运行Llama 2。
Karpathy表示，这种方法深受Georgi Gerganov项目的启发，这个项目几乎和利用第一版的LLaMA在MacBook上运行用C和C++语言完全相同。
Karpathy的方法涉及从头开始使用PyTorch训练Llama 2 LLM架构。训练完毕后，他将模型权重保存在一个原始二进制文件中。接下来的部分很有趣：他写了一个名为‘run.c’的500行C语言文件，该文件加载保存的模型并使用单精度浮点（fp32）计算进行推断。这种简约方法确保较低的内存占用，并且不需要外部库，允许在单个M1笔记本电脑上高效执行，无需GPU。
Karpathy还探索了多种技术，以提高C代码的性能，包括不同的编译标志，如-O3， -Ofast， -march=native等。这些标志通过启用向量化、循环展开和其他硬件特定的调整，优化了代码。通过尝试这些标志，用户可以在他们特定的系统上实现更快的推断。
如果您想在自己的设备上尝试Baby Llama2模型，您可以从Karpathy的存储库下载预先训练好的模型检查点。提供的代码将使您能够在您的系统上编译和运行C代码，提供在简约环境中运行深度学习模型的神奇体验。
重要的是要注意，Karpathy的项目是一个周末实验，并非旨在用于生产级部署，这一点他自己也承认了。这项实验的重点在于展示在使用纯C代码的低功率设备上运行Llama 2模型的可行性，长期以来C语言并不被认为是机器学习有用的语言，因为它没有涉及到GPU。
