https://www.oss-db.glossvation.com/ja/tags/llm/ Recent content in LLM on OSS開発者のためのOSS情報データベース Hugo -- gohugo.io ja Copyright © 2024 GlossVation Thu, 15 Feb 2024 00:00:00 +0000 https://www.oss-db.glossvation.com/ja/post/large-language-model-oss/ Thu, 15 Feb 2024 00:00:00 +0000 https://www.oss-db.glossvation.com/ja/post/large-language-model-oss/ 以下は人気のあるLarge language modelのOSSのリストです。 GPT-2 GitHub URL: https://github.com/openai/gpt-2 GPT-2はOpenAIが開発したニューラルネットワークベースの大規模言語モデルです。トレーニングには8 million web pagesから取得したデータを使用しており、文章生成・文章の意味を理解する・文章の翻訳など、多くの自然言語処理タスクに使用できます。 BERT GitHub URL: https://github.com/google-research/bert BERTはGoogleが開発したTransformerアーキテクチャに基づく言語モデルです。その特徴は、文章の文脈を考慮した単語の表現を学習することで、様々な自然言語処理タスクに適用できることです。BERTは特にテキスト分類や命名エンティティ認識、文の類似度判定によく使用されます。 GPT-3 GitHub URL: 非公開 GPT-3はGPT-2の後継モデルであり、OpenAIが開発しています。GPT-3はさらなる大規模化を実現しており、自然言語生成や対話システム、文章の翻訳、要約などのタスクに使用することができます。ただし、現時点ではGitHub上でのオープンソースの公開は行われていません。 OpenAI-ChatGPT GitHub URL: https://github.com/openai/chatGPT ChatGPTはOpenAIが開発した対話型の言語モデルです。その目的は、ユーザーとのテキストベースの対話を行うことです。ChatGPTは自動応答の生成やチャットボットの開発に使用できます。 Megatron-LM GitHub URL: https://github.com/NVIDIA/Megatron-LM Megatron-LMはNVIDIAが開発した大規模言語モデルのトレーニングフレームワークです。Megatron-LMは分散型トレーニングと大規模モデルの訓練に特化しており、DeepSpeedと統合されることで高速なトレーニングを実現しています。GPT-2などのモデルのトレーニングに使用されます。 以上がいくつかの人気のあるLarge language modelのOSSです。各OSSは、様々な自然言語処理タスクに利用することができ、その詳細情報とGitHubのURLも提供しています。