Handwriting Transformers : A Novel Approach to Generating Styled Handwritten Text Images

 

1. 서론

 

자동화된 필기체 이미지 생성은 글씨체가 제각각인 텍스트를 효과적으로 생성하는 기술로, 개인의 글씨체를 모방하거나, 특정 스타일로 메모를 작성하는 데 유용하며 필기체 인식 기술을 개선하거나, 텍스트 데이터를 추가적으로 수집할 수 있는 도구로 활용될 수 있습니다. 수년 전부터 스타일과 내용을 모두 고려하는 생성적 적대 신경망(GAN)이 많이 사용되고 있지만, 기존 접근법은 스타일과 내용의 긴밀한 연결을 확보하지 못하거나, 로컬 글씨체 패턴을 제대로 표현하지 못하는 문제가 있었습니다.

 

이에 대응하기 위해 트랜스포머 기반의 새로운 필기체 생성 기술인 HWT(Handwriting Transformers)이 제안되었습니다. HWT는 스타일-내용 얽힘(style-content entanglement)을 글자 단위까지 확장하여, 전례 없는 수준의 정교하고 현실적인 필기체 이미지를 생성합니다.

 

그림 : 타 방식과의 결과물 비교 예시

---

2. 본론

2.1. 기존 방식의 문제점

기존 GAN 기반 필기체 생성법은 스타일과 내용을 별도로 처리 후 결합하는 방식을 사용합니다. 이는 단어 수준에서는 스타일-내용 얽힘을 가능하게 하지만, 글자 수준에서는 이를 실현하지 못해 글자 모양이나 연결 상태 같은 로컬 스타일 패턴을 제대로 모방하지 못하는 문제가 있습니다. 또한, 이러한 방식은 새로운 단어와 스타일을 생성하는 데 한계를 드러냅니다.

2.2. 접근 방식

본 연구는 트랜스포머 아키텍처를 활용한 HWT를 제안합니다.

• 스타일 인코더(Encoder) : 트랜스포머 기반 인코더는 작가의 필기체 샘플을 입력받아 스타일 특성을 전역(글씨 기울기, 잉크 두께 등) 및 국소(글자 모양, 연결 패턴 등) 수준에서 캡처합니다.
• 스타일 디코더(Decoder) : 디코더는 텍스트 입력에 따라 인코더에서 학습된 스타일 특징을 활용하여 글자 단위로 스타일 속성을 적용합니다. 이를 통해 새로운 텍스트를 작가의 스타일로 변환합니다.

그림 : 모델 아키텍처 개요

 

2.3. 세부 적용 기술

• 트랜스포머 인코더 : 다중 헤드 셀프 어텐션(Multi-head Self-Attention) 메커니즘을 통해 스타일 샘플 내의 긴밀한 관계를 학습합니다. 이는 글로벌 및 로컬 스타일 패턴을 모두 포함하는 특성 벡터를 생성합니다.
• 트랜스포머 디코더 : 인코더의 출력 벡터를 활용하여 글자별 스타일 속성을 모델링합니다. 예를 들어, ‘statistical’이라는 단어의 ‘t’, ‘i’, ‘c’, ‘l’ 각각에 대해 스타일 샘플 내 관련 영역을 찾아 스타일을 적용합니다.
• 혼합 네트워크 구조 : CNN과 트랜스포머의 장점을 결합한 하이브리드 구조로, 제한된 스타일 샘플에서도 강력한 표현 능력을 발휘합니다.
• 손실 함수 설계
  • CTC 손실: 생성된 이미지의 텍스트 내용을 보존하기 위해 사용.
  • 스타일 사이클 손실: 생성된 이미지에서 다시 스타일 벡터를 복구하여 스타일 일관성을 강화합니다.

2.4. 제약사항

트랜스포머는 대규모 데이터 요구와 높은 계산 복잡도를 가지므로, 데이터가 제한된 상황에서는 성능이 저하될 수 있습니다. 이를 해결하기 위해 CNN과 결합된 하이브리드 설계를 채택했지만, 완전한 대규모 데이터 환경과는 비교적 차이가 존재할 수 있습니다.

---

3. 결론

HWT는 스타일-내용 얽힘을 글자 단위까지 확장하여, 전례 없는 수준의 정교한 필기체 이미지를 생성합니다. 특히, 새로운 단어와 미지의 스타일에서도 우수한 일반화 능력을 발휘하며, 이를 통해 다양한 실생활 응용 가능성을 보여줍니다. 향후 트랜스포머의 계산 효율성을 개선한다면 더 폭넓은 활용이 기대됩니다.

---

4. 참고자료

• 논문: "Handwriting Transformers", Ankan Kumar Bhunia et al. (arXiv)
  • 주요 기술: 트랜스포머, GAN, 스타일-내용 얽힘
• 프로젝트 사이트

Handwriting Transformers

 

• DogSignal.co 에서 제공하는 무료 서명 생성 서비스
  • AI를 이용하는 방식은 아님

 

Signature Generator - Free Online Handwritten Signature Creator | DocSignal

그림 : 해당 사이트에서 소개하고 있는 서명 예시

 

5. Q&A

Q. HWT의 주요 혁신은 무엇인가요?

HWT는 트랜스포머를 활용하여 스타일과 내용을 글자 단위에서 얽히게 하고, 글로벌 및 로컬 스타일을 모두 학습하는 첫 번째 접근법입니다.

Q. 이 기술은 어디에 활용될 수 있나요?

장애인을 위한 필기 도구, 필기체 인식 데이터 증강, 특정 스타일로 메모 변환 등 다양한 분야에서 응용 가능합니다.

Q. HWT의 주요 한계는 무엇인가요?

트랜스포머의 계산 복잡도와 데이터 요구량으로 인해, 제한된 리소스 환경에서 성능 저하가 발생할 수 있습니다.