東京エレクトロンデバイス、企業の膨大な内部データを学習可能とした独自大規模言語モデル(LLM)の開発に成功
■1730億トークン以上の学習を実施 東京エレクトロン デバイス(TED)<2760>(東証プライム)は10月24日、Cerebras Systemsと共同で、日本語対応の大規模言語モデル「Llama3-tedllm-8B-v1」を開発したと発表。このモデルは、Meta-Llama-3-8Bを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、1730億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企..