ZIP大模型基础: 一文了解大模型基础知识 11.54MB

2301_80488214需要积分:8(1积分=1元)

资源文件列表:

so-large-lm-main.zip 大约有98个文件
  1. so-large-lm-main/
  2. so-large-lm-main/.gitignore 2.24KB
  3. so-large-lm-main/README.md 9.11KB
  4. so-large-lm-main/docs/
  5. so-large-lm-main/docs/.nojekyll
  6. so-large-lm-main/docs/README.md 4.06KB
  7. so-large-lm-main/docs/_sidebar.md 762B
  8. so-large-lm-main/docs/content/
  9. so-large-lm-main/docs/content/ch01.md 32.23KB
  10. so-large-lm-main/docs/content/ch02.md 24.27KB
  11. so-large-lm-main/docs/content/ch03.md 33.17KB
  12. so-large-lm-main/docs/content/ch04.md 23.32KB
  13. so-large-lm-main/docs/content/ch05.md 18.94KB
  14. so-large-lm-main/docs/content/ch06.md 14.64KB
  15. so-large-lm-main/docs/content/ch07.md 26.29KB
  16. so-large-lm-main/docs/content/ch08.md 5.73KB
  17. so-large-lm-main/docs/content/ch09.md 9.38KB
  18. so-large-lm-main/docs/content/ch10.md 22.42KB
  19. so-large-lm-main/docs/content/ch11.md 14.04KB
  20. so-large-lm-main/docs/content/ch12.md 15.37KB
  21. so-large-lm-main/docs/content/ch13.md 14.47KB
  22. so-large-lm-main/docs/content/ch14.md 24.5KB
  23. so-large-lm-main/docs/content/images/
  24. so-large-lm-main/docs/content/images/act.png 453.59KB
  25. so-large-lm-main/docs/content/images/adaptation_1.png.png 153.54KB
  26. so-large-lm-main/docs/content/images/agent.png 343.63KB
  27. so-large-lm-main/docs/content/images/agent_town.png 1016.83KB
  28. so-large-lm-main/docs/content/images/ai-lifecycle.png 111.04KB
  29. so-large-lm-main/docs/content/images/bart-transformations.png 39.01KB
  30. so-large-lm-main/docs/content/images/base-results.png 63.13KB
  31. so-large-lm-main/docs/content/images/bert.png 241.85KB
  32. so-large-lm-main/docs/content/images/climate-change-effects.jpg 203.93KB
  33. so-large-lm-main/docs/content/images/code-llama.png 44.89KB
  34. so-large-lm-main/docs/content/images/data-1.png.png 49.68KB
  35. so-large-lm-main/docs/content/images/disinformation.png 270.63KB
  36. so-large-lm-main/docs/content/images/dmoe.png 72.78KB
  37. so-large-lm-main/docs/content/images/download.png 307.02KB
  38. so-large-lm-main/docs/content/images/electricity-emissions.png 118.79KB
  39. so-large-lm-main/docs/content/images/emissions-country.png 28.58KB
  40. so-large-lm-main/docs/content/images/emissions-graph.png 53.06KB
  41. so-large-lm-main/docs/content/images/facebook-moe-results.png 31.16KB
  42. so-large-lm-main/docs/content/images/facebook-moe-stereoset.png 97.23KB
  43. so-large-lm-main/docs/content/images/few-shot-learner.png 369.74KB
  44. so-large-lm-main/docs/content/images/glam-architecture.png 87.86KB
  45. so-large-lm-main/docs/content/images/glam-results2.png 80.72KB
  46. so-large-lm-main/docs/content/images/glam-trivia-qa.png 38.05KB
  47. so-large-lm-main/docs/content/images/global_emissions_sector_2015.png 37.07KB
  48. so-large-lm-main/docs/content/images/google-emissions-table.png 166.61KB
  49. so-large-lm-main/docs/content/images/gopher-result.png 62.13KB
  50. so-large-lm-main/docs/content/images/gopher.png.canvas 2B
  51. so-large-lm-main/docs/content/images/gpt-3-dataset.png.png 15.42KB
  52. so-large-lm-main/docs/content/images/gpt3_arithmetic.png.png 139.83KB
  53. so-large-lm-main/docs/content/images/gpt3_triviaQA.png.png 88.34KB
  54. so-large-lm-main/docs/content/images/jacobs-moe.png 32.45KB
  55. so-large-lm-main/docs/content/images/lightweight.png.png 98.51KB
  56. so-large-lm-main/docs/content/images/llama-1-arch.png 90.74KB
  57. so-large-lm-main/docs/content/images/llama-1-data.png 89.69KB
  58. so-large-lm-main/docs/content/images/llama-1.jpg 1.02MB
  59. so-large-lm-main/docs/content/images/llama-2-arch.png 164.43KB
  60. so-large-lm-main/docs/content/images/llama-2-train.png 227.97KB
  61. so-large-lm-main/docs/content/images/llama-2.png 62KB
  62. so-large-lm-main/docs/content/images/llama-2vs1.png 171.85KB
  63. so-large-lm-main/docs/content/images/llama-3-400-1.png 747.1KB
  64. so-large-lm-main/docs/content/images/llama-3-400-2.png 78.64KB
  65. so-large-lm-main/docs/content/images/llama-3-arch.png 30.91KB
  66. so-large-lm-main/docs/content/images/llama-3-instruct.png 581.05KB
  67. so-large-lm-main/docs/content/images/llama-3-pretrain.png 515.31KB
  68. so-large-lm-main/docs/content/images/llama-3.png 320.7KB
  69. so-large-lm-main/docs/content/images/llama-3vs2.png 225.52KB
  70. so-large-lm-main/docs/content/images/llm+p.png 269.83KB
  71. so-large-lm-main/docs/content/images/mixed-precision-training.png 326.49KB
  72. so-large-lm-main/docs/content/images/moe-figure.png 99.48KB
  73. so-large-lm-main/docs/content/images/parallelism-1.png 20.6KB
  74. so-large-lm-main/docs/content/images/parallelism-2.png 49.75KB
  75. so-large-lm-main/docs/content/images/parallelism-3.png 59.14KB
  76. so-large-lm-main/docs/content/images/parallelism-4.png 38.46KB
  77. so-large-lm-main/docs/content/images/parallelism-5.png 195.07KB
  78. so-large-lm-main/docs/content/images/pile-dataset.png.png 160.78KB
  79. so-large-lm-main/docs/content/images/prefix_ood.png.png 30.9KB
  80. so-large-lm-main/docs/content/images/probing.png.png 151.35KB
  81. so-large-lm-main/docs/content/images/prompt_result.png.png 67.97KB
  82. so-large-lm-main/docs/content/images/promt_ood.png.png 42.26KB
  83. so-large-lm-main/docs/content/images/rag-architecture.png 82.63KB
  84. so-large-lm-main/docs/content/images/rag-example.png 43.82KB
  85. so-large-lm-main/docs/content/images/rag-results.png 122.61KB
  86. so-large-lm-main/docs/content/images/reflection.png 170.49KB
  87. so-large-lm-main/docs/content/images/retro-lm-results.png 45.5KB
  88. so-large-lm-main/docs/content/images/t5-supervised.png 59.15KB
  89. so-large-lm-main/docs/content/images/t5-unsupervised-table.png 91.14KB
  90. so-large-lm-main/docs/content/images/temperature-graph.jpg 52.12KB
  91. so-large-lm-main/docs/content/images/tool.png 441.49KB
  92. so-large-lm-main/docs/content/images/tool_study.jpg 92.32KB
  93. so-large-lm-main/docs/content/images/tot.png 254.45KB
  94. so-large-lm-main/docs/content/images/volunteer-dall-e.png 38.47KB
  95. so-large-lm-main/docs/content/工具篇.md 4.63KB
  96. so-large-lm-main/docs/content/探索篇.md 6.87KB
  97. so-large-lm-main/docs/index.html 2.47KB
  98. so-large-lm-main/专业词汇表 64B

资源介绍:

人工智能、自然语言处理和机器学习领域的研究者和从业者：该项目旨在为研究者和从业者提供大规模预训练语言模型的知识和技术，帮助他们更深入地了解当前领域的最新动态和研究进展。 学术界和产业界对大型语言模型感兴趣的人士：项目内容涵盖了大型语言模型的各个方面，从数据准备、模型构建到训练和评估，以及安全、隐私和环境影响等方面。这有助于拓宽受众在这一领域的知识面，并加深对大型语言模型的理解。 想要参与大规模语言模型开源项目的人士：本项目提供代码贡献和理论知识，降低受众在大规模预训练学习的门槛。 其余大型语言模型相关行业人员：项目内容还涉及大型语言模型的法律和道德考虑，如版权法、合理使用、公平性等方面的分享，这有助于相关行业从业者更好地了解大型语言模型的相关问题。
# 大模型基础 已更新 >[Datawhale开源大模型入门课-第一节-进击的AI：大模型技术全景](https://www.bilibili.com/video/BV14x4y1x7bP/?spm_id_from=333.999.0.0&vd_source=4d086b5e84a56b9d46078e927713ffb0) > > [文字教程：Llama开源家族：从Llama-1到Llama-3](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch14.md) > > [视频教程：Llama开源家族：从Llama-1到Llama-3](https://www.bilibili.com/video/BV1Xi421C7Ca/?share_source=copy_web&vd_source=df1bd9526052993d540dbd5f7938501f) ## 项目受众 1. 人工智能、自然语言处理和机器学习领域的研究者和从业者：该项目旨在为研究者和从业者提供大规模预训练语言模型的知识和技术，帮助他们更深入地了解当前领域的最新动态和研究进展。 2. 学术界和产业界对大型语言模型感兴趣的人士：项目内容涵盖了大型语言模型的各个方面，从数据准备、模型构建到训练和评估，以及安全、隐私和环境影响等方面。这有助于拓宽受众在这一领域的知识面，并加深对大型语言模型的理解。 3. 想要参与大规模语言模型开源项目的人士：本项目提供代码贡献和理论知识，降低受众在大规模预训练学习的门槛。 4. 其余大型语言模型相关行业人员：项目内容还涉及大型语言模型的法律和道德考虑，如版权法、合理使用、公平性等方面的分享，这有助于相关行业从业者更好地了解大型语言模型的相关问题。 ## 项目简介   本项目旨在作为一个大规模预训练语言模型的教程，从数据准备、模型构建、训练策略到模型评估与改进，以及模型在安全、隐私、环境和法律道德方面的方面来提供开源知识。   项目将以[斯坦福大学大规模语言模型课程](https://stanford-cs324.github.io/winter2022/)和[李宏毅生成式AI课程](https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php)为基础，结合来自开源贡献者的补充和完善，以及对前沿大模型知识的及时更新，为读者提供较为全面而深入的理论知识和实践方法。通过对模型构建、训练、评估与改进等方面的系统性讲解，以及代码的实战，我们希望建立一个具有广泛参考价值的项目。   我们的项目团队成员将分工负责各个章节的内容梳理和撰写，并预计在三个月内完成初始版本内容。随后，我们将持续根据社区贡献和反馈进行内容的更新和优化，以确保项目的持续发展和知识的时效性。我们期待通过这个项目，为大型语言模型研究领域贡献一份宝贵的资源，推动相关技术的快速发展和广泛应用。 ## 项目意义 在当今时代，自然语言处理（NLP）领域以及其他人工智能（AI）的分支已经迎来了一场革命性的变革，这场变革的核心驱动力是大模型 (LLMs)的出现和发展。这些模型不仅构成了许多任务中最先进系统的基础，而且已经在医疗、金融、教育等众多行业展现出了前所未有的强大能力和应用潜力。 随着这些大模型在社会层面的影响力日益扩大，它们已经成为了公众讨论的焦点，激发了社会各界对人工智能发展趋势和潜在影响的深入思考与广泛兴趣。然而，尽管这一领域引人注目，相关的讨论和文章的质量却是参差不齐，缺乏系统性和深度，这不利于公众对于这一技术复杂性的真正理解。 正是基于这一现状，本教程的编写旨在填补这一空白，提供一套不仅易于理解但也理论丰富的大模型教程: 通过本教程，我们期望让广大群体不仅能够深刻理解大模型的原理和工作机制，而且能够掌握其在实际应用中的关键技术和方法，从而能够在这一领域内继续探索和创新。 特别是对于自然语言处理领域的初学者来说，面对以大模型为核心的各种新兴技术和知识，能够快速上手并有效学习是进入这一领域的关键。当前现有的自然语言处理教程在大模型内容的覆盖上仍显不足，这无疑增加了初学者的学习难度。因此，本教程从最基础的概念讲起，逐步深入，力求全面覆盖大模型的核心知识和技术要点，使读者能够从理论到实践都有深刻的理解和掌握。 > 关于实战的部分，欢迎学习同样是Datawhale出品的[self-llm开源课程](https://github.com/datawhalechina/self-llm)，该课程提供了一个全面实战指南，旨在通过AutoDL平台简化开源大模型的部署、使用和应用流程。从而使学生和研究者能够更高效地掌握环境配置、本地部署和模型微调等技能。在学习完大模型基础以及大模型部署后，关于Datawhale的大模型开发课程[llm-universe](https://github.com/datawhalechina/llm-universe)旨在帮助初学者最快、最便捷地入门 LLM 开发，理解 LLM 开发的一般流程，可以搭建出一个简单的 Demo。 **我们坚信，通过这样一套全面而深入的学习材料，能够极大地促进人们对自然语言处理和人工智能领域的兴趣和理解，进一步推动这一领域的健康发展和技术创新。** ## 项目亮点 1. 项目的及时性：当前大模型发展迅速，社会和学习者缺少较为全面和系统的大模型教程 2. 项目可持续性：当前大模型发展还在初期阶段，对行业的渗透还未全面展开，因此随着大模型的发展，该项目可持续的为学习者提供帮助 ## 项目规划 **目录** 1. [引言](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch01.md) - 项目目标：目前对大规模预训练语言模型的相关知识的重点讲解 - 项目背景：GPT-3等大型语言模型的出现，以及相关领域研究的发展 2. [大模型的能力](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch02.md) - 模型适应转换：大模型预训练往下游任务迁移 - 模型性能评估：基于多个任务对GPT-3模型进行评估和分析 3. [模型架构](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch03.md) - 模型结构：研究和实现RNN, Transformer等网络结构 - Transformer各层细节：从位置信息编码到注意力机制 4. [新的模型架构](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch04.md) - 混合专家模型（MoE） - 基于检索的模型 5. [大模型的数据](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch05.md) - 数据收集：从公开数据集中获取训练和评估所需数据，如The Pile数据集 - 数据预处理：数据清洗、分词等 6. [模型训练](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch06.md) - 目标函数：大模型的训练方法 - 优化算法：模型训练所使用的优化算法 7. [大模型之Adaptation](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch07.md) - 讨论为什么需要Adaptation - 当前主流的Adaptation方法（Probing/微调/高效微调） 8. [分布式训练](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch08.md) - 为什么需要分布式训练 - 常见的并行策略：数据并行、模型并行、流水线并行、混合并行 9. [大模型的有害性-上](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch09.md) - 模型性能差异：预训练或数据处理影响大模型性能 - 社会偏见：模型表现出的显性的社会偏见 10. [大模型的有害性-下](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch10.md) - 模型有害信息：模型有毒信息的情况 - 模型虚假信息：大模型的虚假信息情况 11. [大模型法律](https://gi
100+评论
captcha
    相关资源
    类型标题大小时间
    ZIPSagooIOT是一个基于golang开发的开源的企业级物联网基础开发平台 负责设备管理和协议数据管理，支持跨平台的物联网接入20.32MB9月前
    ZIP清华大学第六届人工智能挑战赛电子系赛道（原电子系第 24 届队式程序设计大赛 ）31.06MB9月前
    ZIP20240725100124809307-864538.zip123.98KB9月前
    ZIP20240726100125039578_54771.zip123.68KB9月前
    ZIP嵌入式软件工程师笔试面试指南，主要收录笔试面试八股文 包括C/C++，计算机基础，操作系统，Linux驱动，Arm体系与架构148.91KB9月前
    ZIP无线与深度学习结合的论文代码整理17.75KB9月前
    ZIPS3C2410X英文技术手册2.37MB8月前
    ZIP电商助手软件远程自助补单新平台支持主流电商平台：淘宝、阿里巴巴、闲鱼、淘特、天猫、飞猪、美团、携程、京东、拼多多、抖音等十几个1.24MB8月前