谷歌Gemini 1.5深夜爆炸上线,史诗级多模态硬刚GPT-5!最强MoE首破100万极限上下文纪录
作者:lily 时间:2024-02-16 15:15:47
刚刚,我们经历了LLM划时代的一夜。谷歌又在深夜发炸弹,Gemini Ultra发布还没几天,Gemini 1.5就来了。卯足劲和OpenAI微软一较高下的谷歌,开始进入了高产模式。
自家最强的Gemini 1.0 Ultra才发布没几天,谷歌又放大招了。
就在刚刚,谷歌DeepMind首席科学家Jeff Dean,以及联创兼CEO的Demis Hassabis激动地宣布了最新一代多模态大模型——Gemini 1.5系列的诞生。
其中,最高可支持10,000K token超长上下文的Gemini 1.5 Pro,也是谷歌最强的MoE大模型。
不难想象,在百万级token上下文的加持下,我们可以更加轻易地与数十万字的超长文档、拥有数百个文件的数十万行代码库、一部完整的电影等等进行交互。
同时,为了介绍这款划时代的模型,谷歌还发布了长达58页的技术报告。
论文地址:https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
毫不夸张地说,大语言模型领域从此将进入一个全新的时代!
1,000,000 token超超超长上下文,全面碾压GPT-4 Turbo
在上下文窗口方面,此前的SOTA模型已经「卷」到了200K token(20万)。
如今,谷歌成功将这个数字大幅提升——能够稳定处理高达100万token(极限为1000万token),创下了最长上下文窗口的纪录。