今日推书:
电子书《Generative AI Handbook: A Roadmap for Learning Resources》生成式人工智能手册:学习资源路线图
https://genai-handbook.github.io/
《GenAI Handbook》是一本全面介绍生成式人工智能(GenAI)的在线手册,涵盖了从基础概念到高级应用的各个方面。书中内容包括生成式AI的基本原理、不同类型的生成模型(如GPT、VAE、GAN等)、应用场景(如文本生成、图像生成、音乐生成等),以及实现这些模型的技术细节。
具体内容:
第一部分:序列预测的基础
目标:回顾机器学习基础知识,并调研(非深度学习)在“序列预测”任务中的方法。
第二部分:神经序列预测
目标:调研深度学习方法及其在序列和语言建模中的应用,涵盖基本的Transformer模型。
第三部分:现代语言建模的基础
目标:调研训练大型语言模型(LLMs)的核心话题,强调概念上的基础原理。
第四部分:大型语言模型的微调方法
目标:调研用于改进和“对齐”大型语言模型输出质量的技术。
第五部分:大型语言模型的评估与应用
目标:调研大型语言模型在实际应用中的使用和评估方法,不仅限于“聊天机器人”。
第六部分:高效推理的性能优化
目标:调研架构选择和低层次技术,以提高资源利用效率(时间、计算、内存)。
第七部分:次二次方级的上下文扩展
目标:调研避免Transformer自注意力机制面临的“二次方扩展问题”的方法。
第八部分:超越序列的生成建模
目标:调研从生成对抗网络(GAN)到扩散模型在内的非序列内容生成的相关话题,如图像生成。
第九部分:多模态模型
目标:调研如何使用多种输入和输出模态(文本、音频、图像)进行建模。