Published: 2024-04-24 15:02
日経新聞、経済情報特化の大規模言語モデル「NiLM」開発
日本経済新聞社は、経済情報に特化した大規模言語モデル「NIKKEI Language Model(NiLM・にるむ)」を開発した。
【この記事に関する別の画像を見る】
インターネット上の公開情報は利用せず、約40年分の日本経済新聞や日経産業新聞、日経MJ、日経ヴェリタス、NIKKEI Prime、日経BPの各媒体など、日本経済新聞社グループが著作権や使用権を持つ記事のみを使用し、日本の経済情報に専門特化した言語モデルとなる。
4月時点では、一般公開されているモデルを起点としない独自の事前学習を完了。最大で130億パラメーターのモデルを構築して性能を検証している。
また、最大700億パラメーターのモデルをファインチューニングした大規模言語モデル(LLM)の開発も完了。記事要約や最新ユースに関する知識など、社内の独自タスクにおいて性能改善を確認した。また、MetaのLlama 2の700億パラメーターモデルやLlama 3の80億パラメーターモデルなどをベースにデータを追加学習させている。
現在学習に利用している記事のみでも、WikipediaやCommon Crawlなどのデータセットを用いず、日本語コーパスのトークン量は約1億規模となり、「日本経済新聞社グループにしかできない最高品質の大規模言語モデル」としている。
今回開発したモデルは、日経イノベーション・ラボによるAIプロダクト群の研究開発などでの利用を検討。経済に専門特化したLLMを今後様々な研究開発で利用する。
| # | 言葉 | 意味 |
|---|---|---|
| 5 | 日経 | にっけい (日経) : Nikkei (newspaper, share index) |
| 4 | 言語 | げんご (言語) : language |
| 4 | 記事 | きじ (記事) : article; news story; report; account |
| 3 | 日本経済新聞社 | にほんけいざいしんぶんしゃ (日本経済新聞社) : Nihon Keizai Shimbun (Japanese newspaper company) (company) |
| 3 | 特化 | とっか (特化) : specialization; specialisation |
| 3 | 大規模 | だいきぼ (大規模) : large-scale |
| 3 | 開発 | かいはつ (開発) : development; exploitation |
| 3 | 学習 | がくしゅう (学習) : study; learning; tutorial |
| 2 | 情報 | じょうほう (情報) : 1. information; news; intelligence; advices 2. information; data contained in characters, signals, code, etc. |
| 2 | 関する | かんする (関する) : to concern; to be related |
| 2 | 約 | やく (約) : 1. approximately; about 2. promise; appointment; engagement |
| 2 | 日本 | にほん (日本) : Japan |
| 2 | のみ | のみ : only; nothing but |
| 2 | 専門 | せんもん (専門) : speciality; specialty; subject of study; expert; area of expertise |
| 2 | 独自 | どくじ (独自) : 1. original; unique; distinctive; characteristic; peculiar 2. independent; one's own; personal |
| 2 | 完了 | かんりょう (完了) : 1. completion; conclusion 2. perfect (tense, form, aspect) |
| 2 | 最大 | さいだい (最大) : biggest; greatest; largest; maximum |
| 2 | 性能 | せいのう (性能) : ability; performance; efficiency |
| 2 | 研究開発 | けんきゅうかいはつ (研究開発) : research and development; R&D |
| 1 | 画像 | がぞう (画像) : image; picture; portrait |
| 1 | 産業 | さんぎょう (産業) : 1. industry 2. livelihood; occupation |
| 1 | 新聞 | しんぶん (新聞) : newspaper |
| 1 | BP | えいこくせきゆ (英国石油) : British Petroleum; BP |
| 1 | 各 | かく (各) : each; every; all |
| 1 | 媒体 | ばいたい (媒体) : medium; media |
| 1 | 著作権 | ちょさくけん (著作権) : copyright |
| 1 | 使用権 | しようけん (使用権) : use; right to use |
| 1 | 使用 | しよう (使用) : use; application; employment; utilization; utilisation |
| 1 | 時点 | じてん (時点) : point in time; occasion |
| 1 | 一般公開 | いっぱんこうかい (一般公開) : 1. opening to the public (e.g. garden, etc.) 2. read permission: anybody |
| 1 | 起点 | きてん (起点) : starting point; origin |
| 1 | 事前 | じぜん (事前) : prior; beforehand; in advance; before the fact; ex ante |
| 1 | 構築 | こうちく (構築) : construction; building; putting up; erecting; creation; formulation; architecture (systems, agreement, etc.) |
| 1 | 検証 | けんしょう (検証) : verification; inspection |
| 1 | 要約 | ようやく (要約) : summary; digest |
| 1 | 最新 | さいしん (最新) : latest; newest; late-breaking (news) |
| 1 | 知識 | ちしき (知識) : knowledge; information |
| 1 | 社内 | しゃない (社内) : 1. within a company; in-house 2. within a shrine; shrine precincts |
| 1 | おく | おく (奥) : inner part; inside; interior; depths (e.g. of a forest); back (of a house, drawer, etc.); bottom (e.g. of one's heart); recesses; heart |
| 1 | 改善 | かいぜん (改善) : 1. betterment; improvement 2. kaizen (Japanese business philosophy of continuous improvement) |
| 1 | 確認 | かくにん (確認) : confirmation; verification; validation; review; check; affirmation; identification |
| 1 | 追加 | ついか (追加) : addition; supplement; appending; appendix |
| 1 | 現在 | げんざい (現在) : now; current; present; present time; as of |
| 1 | 用いる | もちいる (用いる) : to use; to make use of; to utilize; to utilise |
| 1 | 日本語 | にほんご (日本語) : Japanese (language) |
| 1 | 量 | りょう (量) : 1. quantity; amount; volume; capacity; portion (of food) 2. generosity; magnanimity; tolerance |
| 1 | 規模 | きぼ (規模) : scale; scope; plan; structure |
| 1 | 最高 | さいこう (最高) : 1. most; highest; maximum; uppermost; supreme 2. best; wonderful; finest |
| 1 | 品質 | ひんしつ (品質) : quality (of a product or a service) |
| 1 | 今回 | こんかい (今回) : this time; now |
| 1 | 群 | ぐん (群) : 1. group; bunch; crowd; throng; swarm; band 2. group |
| 1 | 検討 | けんとう (検討) : consideration; examination; investigation; study; scrutiny; discussion; analysis; review |
| 1 | 今後 | こんご (今後) : from now on; hereafter |
| 1 | 様々 | さまざま (様々) : various; varied; diverse; all sorts of |