AI 기술
트랜스포머(트랜스포머 모델)이란?
Transformer
문장 속 단어들이 서로 얼마나 관련 있는지(어텐션)를 한꺼번에 계산해 문맥을 이해하는 신경망 구조예요. 지금의 거대언어모델 대부분이 이 구조를 써요.
예전 모델은 단어를 하나씩 순서대로 읽었지만, 트랜스포머는 문장 전체를 한 번에 보고 단어 사이 관계를 계산해서 병렬 처리가 쉬워요.
그래서 GPU를 많이 붙일수록 큰 모델을 학습시킬 수 있게 됐고, 이것이 LLM 시대를 열었어요. 전기 변압기(transformer)와 섞이지 않도록 어텐션·모델 표현이 나온 특허만 셌어요.
트랜스포머 특허, 얼마나 나오나
2021–2025년 미국 등록특허 388건. 2016–2020년 33건과 비교하면 +1076%예요.
세는 법: 미국 등록특허 제목·초록(영문)에 self-attention, transformer model·network·architecture·encoder·decoder이(가) 나온 특허. 등록 연도 기준이라 최근 몇 년 치 연구는 아직 덜 잡혀요.
트랜스포머 특허가 많은 회사
2021–2025년 미국 등록특허를 특허 문서에 적힌 회사 이름으로 센 상위 10곳이에요. 상장 여부와 관계없이 모든 회사가 대상이에요.
한국·미국 상장사 47곳 가운데
특허 레이더 분석 대상 47곳만 놓고 본 2021–2025년 건수예요. 특허 수는 기술 활동을 보여 주지만 기술력이나 주가를 뜻하지는 않아요.