9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉，甚至是感觉?
3）端到端微调，解冻大语言模型允许端到端训练。在编码器引导下微调BART模型，实现EEG到文本的生成。需要注意的是，对词级特征输入并不需要第一阶段的预训练，可以直接从第二阶段开始。
一方面，随着各平台商业模式的成熟，以及人才基础的完善，越来越多品牌选择布局矩阵号。
2024年，品牌们还有硬仗要打。
BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型，具备更好的性能和商用能力。BakLLaVA在多个基准测试中优于LLaVA213B，并且可以在某些数据上进行微调和推理。虽然BakLLaVA在训练过程中使用了LLaVA的语料库，不允许商用，但BakLLaVA2则采用了更大的数据集和更新的架构，超越了当前的LLaVA方法，具备商用能力。