在近日举行的谷歌年度开发者大会Google I/O 2023上，谷歌发布了其最新大语言模型（LLM）PaLM 2预览版。

谷歌于2022年4月首次推出基于Transformer的PaLM大模型，并于2023年3月推出适用于PaLM的API，用户可通过输入简单的自然语言提示生成文本、图像、代码、视频、音频等；针对PaLM 2，谷歌使用了大量数学和科学以及多语言数据集进行训练，使模型在多语言处理、推理和编程能力上有了显著提升。

在此之前，大型预训练语言模型通常使用以英语文本为主的数据集，而谷歌设计了一个更多语言和多样化的预训练混合模型，扩展到数百种语言和领域（如编程语言、数学和并行多语言文档），更大的模型可以处理更多不同的非英语数据集，同时也不会降低英语语言理解性能，还应用了去重技术减少存储负担。

在多语言处理方面，PaLM 2提高了理解、生成和翻译细微差异化文本的能力，能够应对成语、诗歌和谜语等高难度文本处理问题，并且通过了高级别的语言能力考试。

在推理能力方面，由于PaLM 2在包含科学论文和数学表达式的网页上进行了训练并进行模拟推理，因此具备了在逻辑、常识推理和数学方面的改进能力。

▲PaLM 2支持多种编程语言

在编程能力方面，PaLM 2支持20多种编程语言。它基于大量公开可用的源代码数据集进行预训练，擅长处理Python和JavaScript等流行编程语言，也可实现Prolog、Fortran和Verilog等小众语言的编程。

同时，支持多模态的PaLM 2还可以理解和生成音视频内容，包括曲调、编码器、字幕、媒体类型和剪辑。

根据模型大小不同，PaLM 2分化出Gecko、Otter、Bison和Unicorn四种类型。Gecko是PaLM 2中体积最小的模型，可在移动设备上运行，速度快，即使离线状态也可进行交互应用。Otter是中等大小模型，适合多种任务，包括自然语言处理、机器翻译和代码生成。Bison是稍大的模型，可处理更复杂任务，例如生成逼真的图像和视频。Unicorn尺寸最大，处理任务的复杂度最高，可编写各类创意文本，如诗歌、代码、脚本、音乐作品、电子邮件、信件等。

▲PaLM 2四种规模模型

根据基准测试，对于具有思维链prompt或自洽性的MATH、GSM8K和MGSM基准评估，PaLM 2的部分测试结果（例如数学问题）优于GPT-4。

自定义文本-图像转换模型

英伟达与特拉维夫大学将于SIGGRAPH大会上共同发表论文，介绍高度紧凑的模型Perfusion，提升生成式AI模型输出结果的细节水平。该模型支持用户仅需少量概念图像就可将多个个性化元素组合至AI生成的视觉图像中。

▲将多个元素组合至AI生成图像中

3D角色与动作创作

英伟达与加州大学圣地亚哥分校的研究人员联合提出可根据一张2D肖像画生成并渲染逼真3D头像的模型，能够在用户终端通过普通网络摄像头或智能手机摄像头，实时创建3D虚拟形象，生成写实化或风格化的3D远程形象。

英伟达与斯坦福大学联合创建的AI系统可从现实世界网球比赛2D视频录像中学习各种网球技能，并将这些动作应用于3D角色，而无需使用专业动捕设备采集数据。

运用神经物理学实现逼真模拟

英伟达提出了一种利用神经物理学实现实时高清模拟数万根头发的算法，可训练神经网络预测相应对象在现实世界中的运动轨迹。

该方法对GPU进行优化，性能大幅优于目前基于CPU的求解器，可将模拟时间从数天缩短至数小时，同时还能提高实时头发模拟质量，实现符合物理学精确度的交互式头发形态。

▲实时头发模拟

神经纹理压缩算法为实时图形渲染带来电影级精细度

随着游戏画面逼真度的提升，物体纹理日渐精细，随之而来的是数据量的激增，实时图像渲染对于存储和内存的压力与日俱增。

为此，英伟达开发出全新神经纹理压缩算法（Neural Texture Compression, NTC），该算法将纹理视作具有三个维度的张量进行处理，并对多个通道、纹理混合贴图一起进行压缩，允许按需实时解压缩和随机访问，最终获得的压缩质量优于JPEG XL或AVIF格式。

相比于传统块压缩（Block Compression, BC）算法，纹理贴图分辨率由1024×1024提升至4096×4096，同时内存消耗减少30%，可大幅提高3D渲染场景的真实性。

▲压缩效果对比，传统算法（中）NTC算法（右）