Published: 2024-04-24 16:50
マイクロソフト、独自開発の高性能“小規模”言語モデル 38億パラメータ
マイクロソフトは、生成AIにおいて、大規模言語モデルと同等機能でありながら、よりサイズが小さい小規模言語モデル(SLM)を開発し、「Phi-3」ファミリーとして公開した。
【この記事に関する別の画像を見る】
「Phi-3」は、最も高性能でコスト効率が高いと謳う小型言語モデル。「Phi-3」ファミリーはオープンモデルとして公開される。マイクロソフトの研究者によって開発された学習のイノベーションを反映させたことで、言語、コーディング、数学の能力を評価するさまざまなベンチマークにおいて、同等やそれ以上のサイズのモデルを上回るという。
現在公開されている第1弾は、38億パラメータの「Phi-3-mini」で、2倍のパラメータサイズのモデルよりも優れた性能を発揮するとしている。
「Phi-3」ファミリーは今後、70億パラメータの「Phi-3-small」、140億パラメータの「Phi-3-medium」がラインナップされる予定で、Azure AI Model Catalogなどのモデル運用基盤で利用可能になる。
Phi-3-mini は、「Microsoft Azure AI Model Catalog」で提供が開始されている。また「Hugging Face」や、ローカルマシン上でモデルを実行するための軽量フレームワーク「Ollama」で利用できるようになる。このほか「NVIDIA NIM」マイクロサービスとしても利用可能になり、通常のAPIインターフェースで、どこでもデプロイが可能になる。
「Phi-3 ファミリー」の追加モデルは近日中に発表される予定で、マイクロソフトでは、品質とコストの両面でより多くの選択肢を提供するとしている。
同社では、AIの利用動向において、あまり複雑ではないタスクを小型モデルに担わせる企業が出てくると予想。SLM(小規模言語モデル)はLLM(大規模言語モデル)に代わるものではなく、クラウドで処理するほどではないタスクを担うために、独自の立ち位置を形成するとしている。
| # | 言葉 | 意味 |
|---|---|---|
| 6 | 言語 | げんご (言語) : language |
| 3 | おく | おく (奥) : inner part; inside; interior; depths (e.g. of a forest); back (of a house, drawer, etc.); bottom (e.g. of one's heart); recesses; heart |
| 3 | 公開 | こうかい (公開) : opening to the public; making available to the public; putting on display; exhibiting; showing (play, movie, etc.); holding (interview, etc.); open; public |
| 2 | 大規模 | だいきぼ (大規模) : large-scale |
| 2 | 同等 | どうとう (同等) : equality; equal; same rights; same rank; equivalence |
| 2 | 小規模 | しょうきぼ (小規模) : small scale |
| 2 | 開発 | かいはつ (開発) : development; exploitation |
| 2 | 小型 | こがた (小型) : small; small-sized; small-scale; miniature |
| 2 | 利用可能 | りようかのう (利用可能) : available; usable (e.g. bandwidth) |
| 2 | 提供 | ていきょう (提供) : 1. offer; tender; providing; supplying; making available; donating (blood, organs, etc.) 2. sponsoring (a TV program) |
| 2 | 担う | になう (担う) : 1. to carry on one's shoulder; to shoulder; to bear 2. to bear (burden, responsibility, etc.); to take upon oneself |
| 1 | 生成 | せいせい (生成) : creation; generation; formation; derivation |
| 1 | 機能 | きのう (機能) : function; facility; faculty; feature |
| 1 | 記事 | きじ (記事) : article; news story; report; account |
| 1 | 関する | かんする (関する) : to concern; to be related |
| 1 | 画像 | がぞう (画像) : image; picture; portrait |
| 1 | 最も | もっとも (最も) : most; extremely |
| 1 | 高性能 | こうせいのう (高性能) : high efficiency; high performance |
| 1 | 効率 | こうりつ (効率) : efficiency |
| 1 | 謳う | うたう (謳う) : 1. to extol; to sing the praises of; to celebrate 2. to declare; to stipulate; to express; to state; to insist |
| 1 | 研究者 | けんきゅうしゃ (研究者) : researcher |
| 1 | よる | よる (因る) : 1. to be due to; to be caused by 2. to depend on; to turn on |
| 1 | 学習 | がくしゅう (学習) : study; learning; tutorial |
| 1 | 反映 | はんえい (反映) : 1. reflection (light, image, situation, attitude, etc.); reflecting 2. influence; application (e.g. of an update) |
| 1 | 能力 | のうりょく (能力) : ability; faculty |
| 1 | 評価 | ひょうか (評価) : 1. valuation; appraisal; evaluation; assessment; estimation; rating; judging 2. appreciation; recognition; acknowledgement; rating highly; praising |
| 1 | さまざま | さまざま (様々) : various; varied; diverse; all sorts of |
| 1 | 上回る | うわまわる (上回る) : to exceed (esp. figures: profits, unemployment rate, etc.); to surpass; to be more than; to be better than |
| 1 | 現在 | げんざい (現在) : now; current; present; present time; as of |
| 1 | 第 | だい (第) : prefix for forming ordinal numbers |
| 1 | 弾 | たま (玉) : 1. ball; sphere; globe; orb 2. bead (of sweat, dew, etc.); drop; droplet |
| 1 | 優れる | すぐれる (優れる) : to surpass; to outstrip; to excel |
| 1 | 性能 | せいのう (性能) : ability; performance; efficiency |
| 1 | 発揮 | はっき (発揮) : show (of power, ability, etc.); exhibition; demonstration; display; manifestation |
| 1 | 今後 | こんご (今後) : from now on; hereafter |
| 1 | 運用 | うんよう (運用) : 1. making use of; application; practical use; effective management (e.g. of funds) 2. operation; handling; steering (esp. a boat) |
| 1 | 基盤 | きばん (基盤) : 1. foundation; basis; base; footing; infrastructure 2. bedrock |
| 1 | 開始 | かいし (開始) : start; commencement; beginning; initiation |
| 1 | 実行 | じっこう (実行) : execution (e.g. of a plan); carrying out; practice; action; implementation; fulfillment; realization |
| 1 | 軽量 | けいりょう (軽量) : light weight |
| 1 | 通常 | つうじょう (通常) : usual; ordinary; normal; regular; general; common |
| 1 | 可能 | かのう (可能) : possible; potential; practicable; feasible |
| 1 | 追加 | ついか (追加) : addition; supplement; appending; appendix |
| 1 | 近日 | きんじつ (近日) : soon; in a few days |
| 1 | 発表 | はっぴょう (発表) : announcement; publication; presenting; statement; communique; making known; breaking (news story); expressing (one's opinion); releasing; unveiling |
| 1 | 品質 | ひんしつ (品質) : quality (of a product or a service) |
| 1 | 両面 | りょうめん (両面) : both sides; two sides; double-sided |
| 1 | 多く | おおく (多く) : 1. many; much; plenty; a lot 2. majority (of); greater part (of) |
| 1 | 選択肢 | せんたくし (選択肢) : choices; alternatives; options |
| 1 | 同社 | どうしゃ (同社) : the same firm |
| 1 | 動向 | どうこう (動向) : trend; tendency; movement; attitude |
| 1 | 企業 | きぎょう (企業) : enterprise; business; company; corporation |
| 1 | 予想 | よそう (予想) : expectation; anticipation; prediction; forecast; conjecture |
| 1 | 代わる | かわる (替わる) : 1. to succeed; to relieve; to replace 2. to take the place of; to substitute for; to take over for; to represent; to hand over (telephone) |
| 1 | 処理 | しょり (処理) : processing; dealing with; treatment; disposition; disposal |
| 1 | 独自 | どくじ (独自) : 1. original; unique; distinctive; characteristic; peculiar 2. independent; one's own; personal |
| 1 | 立ち位置 | たちいち (立ち位置) : 1. position (where one is standing); place where one stands 2. position; stance; standpoint; status; role |
| 1 | 形成 | けいせい (形成) : 1. formation; molding; making up; taking form; giving form to 2. repair (e.g. plastic surgery); replacement; -plasty |