手机

北大清华等联手发布LLaVA-o1开启自发性视觉AI新

【ITBEAR】近日,一项突破性的研究成果在人工智能领域引起了广泛关注。由北京大学、清华大学、鹏城实验室、阿里巴巴达摩院以及美国理海大手打造的LLaVA-o1模型,正式面世。这款模型被誉为首个能够自发进行系统性推理的视觉语言模型,其功能与GPT-o1模型相类似,但在视觉处理方面实现了新的飞跃。

LLaVA-o1是一款新型视觉语言模型(VLM),其核心设计理念是实现自主多阶段推理。该模型拥有惊人的110亿个参数,是基于Llama-3.2-Vision-Instruct模型进一步开发而来。为了提升其推理能力,研究者们精心设计了四个推理阶段:总结(summary)、描述(caption)、推理(reasoning)和结论(conclusion)。

在训练过程中,LLaVA-o1使用了名为LLaVA-o1-100k的数据集进行微调。这一数据集结合了视觉问答(VQA)资源和GPT-4o生成的结构化推理注释,为模型的推理能力提供了强有力的支持。

LLaVA-o1的创新之处在于其采用的阶段级束搜索(stage-level beam search)技术。这一技术使得模型能够在每个推理阶段生成多个候选答案,并从中选择出最优解。这一特性使得LLaVA-o1在处理复杂任务时表现出色,突破了传统视觉语言模型的局限性。

在实际测试中,LLaVA-o1展现了其强大的多模态推理能力。与基础模型相比,该模型在多模态推理基准测试中性能提升了8.9%,超越了众多大型且闭源的竞争对手。特别是在复杂视觉问答任务中,LLaVA-o1的表现尤为突出。

LLaVA-o1的推出还填补了文本和视觉问答模型之间的空白。在多个基准测试中,该模型均表现出色,特别是在数学和科学视觉问题的推理领域。这一成果充分展示了结构化推理在视觉语言模型中的重要性。

LLaVA-o1还涉及到一个新的概念——自发性人工智能(Spontaneous AI)。这一概念旨在模拟动物的自发行为,通过机器学习和复杂的时间模式来设计具有自发行为的智能系统。LLaVA-o1在这一领域迈出了重要的一步,为实现更加智能、自主的人工智能系统奠定了坚实的基础。

你可能也会喜欢...