|
| 1 | +<!--Copyright 2020 The HuggingFace Team. All rights reserved. |
| 2 | + |
| 3 | +Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with |
| 4 | +the License. You may obtain a copy of the License at |
| 5 | + |
| 6 | +http://www.apache.org/licenses/LICENSE-2.0 |
| 7 | + |
| 8 | +Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on |
| 9 | +an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the |
| 10 | +specific language governing permissions and limitations under the License. |
| 11 | +--> |
| 12 | + |
| 13 | +# BERTology |
| 14 | + |
| 15 | +BERT์ ๊ฐ์ ๋๊ท๋ชจ ํธ๋์คํฌ๋จธ์ ๋ด๋ถ ๋์์ ์กฐ์ฌํ๋ ์ฐ๊ตฌ ๋ถ์ผ๊ฐ ์ ์ ๋ ์ค์ํด์ง๊ณ ์์ต๋๋ค. |
| 16 | +ํน์๋ "BERTology"๋ผ ์นญํ๊ธฐ๋ ํฉ๋๋ค. ์ด ๋ถ์ผ์ ์ข์ ์์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค: |
| 17 | + |
| 18 | + |
| 19 | +- BERT๋ ๊ณ ์ ์ ์ธ NLP ํ์ดํ๋ผ์ธ์ ์ฌ๋ฐ๊ฒฌ - Ian Tenney, Dipanjan Das, Ellie Pavlick: |
| 20 | + https://arxiv.org/abs/1905.05950 |
| 21 | +- 16๊ฐ์ ํค๋๊ฐ ์ ๋ง๋ก 1๊ฐ๋ณด๋ค ๋์๊ฐ? - Paul Michel, Omer Levy, Graham Neubig: |
| 22 | + https://arxiv.org/abs/1905.10650 |
| 23 | +- BERT๋ ๋ฌด์์ ๋ณด๋๊ฐ? BERT์ ์ดํ
์
๋ถ์ - Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D. Manning: |
| 24 | + https://arxiv.org/abs/1906.04341 |
| 25 | +- CAT-probing: ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์ ๋ํด ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์ด ์ด๋ป๊ฒ ์ฝ๋ ๊ตฌ์กฐ๋ฅผ ๋ณด๋์ง ์์๋ณด๊ธฐ ์ํ ๋ฉํธ๋ฆญ ๊ธฐ๋ฐ ์ ๊ทผ ๋ฐฉ๋ฒ: |
| 26 | + https://arxiv.org/abs/2210.04633 |
| 27 | + |
| 28 | +์ฐ๋ฆฌ๋ ์ด ์๋ก์ด ์ฐ๊ตฌ ๋ถ์ผ์ ๋ฐ์ ์ ๋๊ธฐ ์ํด, BERT/GPT/GPT-2 ๋ชจ๋ธ์ ๋ด๋ถ ํํ์ ์ดํด๋ณผ ์ ์๋ ๋ช ๊ฐ์ง ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค. |
| 29 | +์ด ๊ธฐ๋ฅ๋ค์ ์ฃผ๋ก Paul Michel์ ํ๋ฅญํ ์์
์ ์ฐธ๊ณ ํ์ฌ ๊ฐ๋ฐ๋์์ต๋๋ค |
| 30 | +(https://arxiv.org/abs/1905.10650): |
| 31 | + |
| 32 | + |
| 33 | +- BERT/GPT/GPT-2์ ๋ชจ๋ ์๋ ์ํ์ ์ ๊ทผํ๊ธฐ, |
| 34 | +- BERT/GPT/GPT-2์ ๊ฐ ํค๋์ ๋ชจ๋ ์ดํ
์
๊ฐ์ค์น์ ์ ๊ทผํ๊ธฐ, |
| 35 | +- ํค๋์ ์ถ๋ ฅ ๊ฐ๊ณผ ๊ทธ๋๋์ธํธ๋ฅผ ๊ฒ์ํ์ฌ ํค๋ ์ค์๋ ์ ์๋ฅผ ๊ณ์ฐํ๊ณ https://arxiv.org/abs/1905.10650์์ ์ค๋ช
๋ ๋๋ก ํค๋๋ฅผ ์ ๊ฑฐํ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. |
| 36 | + |
| 37 | +์ด๋ฌํ ๊ธฐ๋ฅ๋ค์ ์ดํดํ๊ณ ์ง์ ์ฌ์ฉํด๋ณผ ์ ์๋๋ก [bertology.py](https://github.com/huggingface/transformers/tree/main/examples/research_projects/bertology/run_bertology.py) ์์ ์คํฌ๋ฆฝํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ด ์์ ์คํฌ๋ฆฝํธ์์๋ GLUE์ ๋ํด ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์์ ์ ๋ณด๋ฅผ ์ถ์ถํ๊ณ ๋ชจ๋ธ์ ๊ฐ์ง์น๊ธฐ(prune)ํด๋ด
๋๋ค. |
0 commit comments