Aug
31
Hugging Face Transformers モデルのチューニング入門
AIアプリDojo #3
Organizing : コンテナ共創センター(Windows Container Porting Program)
Registration info |
参加枠1 Free
Attendees
|
---|---|
参加者への情報 |
(参加者と発表者のみに公開されます)
|
Description
概要
生成系AIへの注目が集まる中、エンジニアの皆さんは、AIアプリを検討する機会が増えていくと思います。このセッションでは、自然言語理解や自然言語生成をコンピューターを使って処理していく上で、広く使われているHugging Face Transformersを用いて、事前学習済みモデルに追加の学習をさせるなど、チューニング、カスタム化のために必要なことを具体例を取り上げながら学びます。
Hugging Faceが提供しているドキュメントとサンプルコードを参照し、BERTモデルを利用し、テキスト分類(0から4のラベル付け)というタスクに使えるファインチューニングを題材に話を進めます。Datasets、Transformersなどに含まれるクラスライブラリをどう使っていくのか、ファインチューニング用のPythonコードの動作が大まかに理解できるように流れをご紹介します。最後に、出来上がったモデルをHugging Face Hubに公開する流れをDemoを交えてご紹介します。
AI アプリ Dojo #1, #2で学んだ環境を使っていきますので、Python, Pytorch, Hugging Face Transformersをご準備ください。もし可能であればPytorchがサポートするGPUを有するPC/Macをご準備ください。
講演で利用したバージョン: Windows 11 Pro 22H2 (22621.2215) Python 3.10.6, CUDA V11.7.64, Pytorch 2.0.1+cu117 CPU: AMD Ryzen 9 5950X (3.4GHz, 16コア), Memory: 128GB, GPU: NVIDIA GeForce RTX 4090
macOS 13.5.1(22G90)Python 3.11.4 Pytorch 2.0.1 (mpsサポートなし) CPU: Intel Core i5 3.7GHz 6コア CPU, Memory: 64GB
AIアプリ Dojo
下記シリーズで開催します。
回 | タイトル | 実施日 |
---|---|---|
1 | [入門者歓迎] GPUを活用して生成系AIに触れてみよう | 2023/6/15(木) |
2 | Hugging Face Transformers 入門 | 2023/6/29(木) |
3 | Hugging Face Transformers モデルのチューニング入門 | 2023/8/31(木) |
参加方法
開催日の2日前までに、オンライン・イベント参加のURL: [参加者への情報] 欄に公開いたします。
講師
大西 彰
日本アイ・ビー・エム株式会社
テクノロジー事業本部 カスタマーサクセス プリンシパル マネージャー 兼 Windows/.NET Container Porting Program リーダー
Feed
2023/08/31 15:12
利用バージョンについて: Windows 11 Pro 22H2 (22621.2215) Python 3.10.6, CUDA V11.7.64, Pytorch 2.0.1+cu117