“결과가 별로면 설명을 더 붙인다”가 대부분의 본능입니다. 그런데 이걸 정면으로 반박하는 연구가 있어서 소개합니다.
평균 285토큰짜리 긴 프롬프트 4,116개를 19개 모델에 돌린 연구입니다. 결론이 꽤 단호해요.
참고로 CLIP 계열의 실효 길이는 20토큰 남짓이라는 별도 연구도 있습니다. 77토큰까지 받는다고 77토큰을 다 이해하는 게 아니에요.
어텐션 총량이 정해져 있기 때문입니다. 단어를 더하면 영향력이 추가되는 게 아니라 나뉩니다. 그래서 8k, masterpiece 같은 저밀도 단어가 정작 중요한 85mm f1.4의 몫을 갉아먹어요.
비유하자면 프롬프트는 정해진 양의 물감입니다. 40단어면 40번의 확실한 붓질, 300단어면 300번의 희미한 얼룩. 얼룩을 겹치면 회색이 되죠. 그 회색이 바로 우리가 말하는 ‘AI 티’입니다.
짧은 쪽 — an old bookshop (3단어)

모델의 기본 미감이 그대로 나옵니다. 통제는 없지만 깔끔해요.
긴 쪽 — 품질 형용사 20개 + 소재 15개를 쏟아부은 90단어짜리

고양이, 사다리, 스테인드글라스, 지구본, 타자기… 다 넣으라고 했더니 어느 하나도 주인공이 아닌 화면이 됐습니다. 정보는 많은데 시선이 갈 곳이 없어요.
더하지 말고 빼세요. 가장 기여도 낮은 절을 하나 지워보면 대개 아무것도 나빠지지 않습니다. 그리고 한 번에 변수 하나만 바꾸세요 — 세 개를 동시에 바꾸면 뭐가 효과였는지 영영 알 수 없습니다 🍠