REVIEW) Stable Style Transformer/Delete and Generate Approach with Encoder-Decoder for Text Style Transfer

Posted on March 8, 2022

본 논문은 Text Style Transfer task에서 SOTA를 달성하진 않았지만, Yelp, Amazon 데이터 셋으로 동일 task를 수행한 여러 모델들과 비교하였을 때, 다양한 metric에서 안정적인 성능을 보여준다고 주장한 논문이다. 실제로 본 논문의 Experiments를 확인해보면, 여러 metric에서 우수한 성능을 내지만 하나씩은 치명적인 단점을 보유한 다른 모델들과는 달리 대부분의 성능평가 지표에서 준수한 모습을 보여준다.... [Read More]
Tags: style transfer nlp

REVIEW) ELECTRA / Pre-training Text Encoders as Discriminators Rather Than Generators

Efficiently Learning an Encoder that Classifies Token Replacements Accurately

Posted on July 11, 2021

ICLR 2020에서 구글 리서치 팀이 새로운 pre-training 기법을 적용한 language model인 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)를 발표하였다. BERT 이후의 많은 language model은 MLM task를 통해 pre-training을 하게되는데, 이런 모델들은 학습에 많은 시간과 계산량을 필요하므로 컴퓨팅 리소스가 “많이” 필요하다. [Read More]
Tags: nlp electra machine translation

CV / Instance, Panoptic segmentation

Adios object detection...

Posted on March 11, 2021

Post thumbnail
Post thumbnail
단순히 픽셀 마다의 클래스를 분류하는 semantic segmentation은 동일한 클래스에 속하는 개별 물체를 구분하지 못합니다. 이와 달리 instance segmentation은 영상 내에 동일한 물체가 여러 개 존재하는 경우에 각각의 물체를 구분하며 동시에 픽셀 단위의 mask도 예측하는 방법입니다. 그리고 semantic segmentation과 instance segmentation을 결합하여 더욱 복잡한 task인 panoptic segmentation을 소개합니다. [Read More]
Tags: boostcamp