Sakana AI推出Transformer²模型，突破LLM限制，引领动态推理新时代
发布时间：2025-01-24 11:35:31来源：网易
Sakana AI近日发布了名为Transformer²的创新自适应语言模型。该模型无需微调，通过两步动态权重调整机制，在推理过程中动态学习并适应新任务，这标志着LLM技术的重要进展。Transformer²的核心在于其独特的动态权重调整，通过奇异值分解（SVD）与数学技巧，实时优化性能。
测试显示，Transformer²在数学、编码、推理和视觉问答等任务中表现优于LoRA模型，且参数更少。该模型还具有知识迁移能力，应用潜力广泛。Sakana AI公开了Transformer²组件的训练代码，推动了LLM推理时定制技术的发展。Transformer²与Google Titans等技术共同改变了LLM的应用方式，为更广泛领域的高效、个性化AI工具奠定了基础。
免责声明：本答案或内容为用户上传，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。 如遇侵权请及时联系本站删除。
