MiniMax发布并开源新一代01系列模型

1月15日，MiniMax发布并开源新一代01系列模型，包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该公司称，MiniMax-01系列模型首次大规模实现线性注意力机制，传统Transformer架构不再是唯一的选择。模型的参数量高达4560亿，其中单次激活459亿。模型综合性能比肩海外顶尖模型，同时能够高效处理全球最长400万token的上下文，是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。