3 개월 뒤 발견된 로직 누수, 서울 홈페이지 제작 업체 선택의 숨겨진 차원

2023 년 겨울, 프로덕션 서버실은 예상치 못한 고온 상태가 아니었다. 문제는 응답 지연이 3 초까지 치솟는 것보다 더 미묘한 것이었다. Q4_K_M 양자화 시 특정 히든 딤 (Hidden Dim) 이 잘려나가고, 그 결과 instruction following 가 15% 가까이 저하된 건데, 이를 단순히 "속도 최적화"로 간주하며 버전을 덮어썼다. 3 개월 뒤 클라이언트에서 심층 프롬프트를 입력했을 때 응답이 일관성이 없음을 발견한 순간, 우리는 프로덕션 배포 후 숨겨진 회귀 (silent regression) 를 마주했다.

## 경로 A: 표면 수정과 경로의 B
첫 번째 시도는 단순히 양자화 비트 폭을 Q5_K_M 으로 올리는 것이었다. 이는 실패 확률이 90% 에 달하는 급한 처방이었다. 두 번째 시도는 Attention 가중치 분포를 재조정하며 잘린 차원을 복구하는 방식이었다. 이 과정은 웹 에이전트 선정에서도 동일하다. 첫 경로 (표면 수정) 는 디자인이 화려하고 도입금이 낮은 업체를 선택하는 경우로, 초기에는 만족하지만 확장성 문제가 뒤따른다. 두 번째 경로 (깊은 디버깅) 는 로직 레이어와 데이터 흐름을 검증할 만큼의 기술 깊이를 가진 팀이다. 표면적인 UI 완성도보다 "숨겨진 논리"가 견고한지가 핵심이다.

## 실패 사례를 복기해 도출한 체크리스트
실제 배포 환경에서 발생하는 미세 오류 코드를 분석해보면, 단순히 기능 구현이 아니라 데이터 파이프라인의 무결성을 확인해야 한다. 서울 내 업체 중에서도 유사한 패턴을 보이는 경우를 보면, 초기 요구사항 정의 단계에서 "확장성"보다는 "현재 성능"에 집중하는 경향이 있다. 이는 LLM 의 case-by-case 최적화와 비슷하다. 모든 시나리오가 기본 케이스로 작동하지 않는 것처럼, 특정 상황 (예: 대용량 트래픽 혹은 복잡한 쿼리) 에서만 부하가 발생하는 건 피할 수 없는 변수다.

결론적으로 다음 행동을 제안한다. 업체 선정 시 포트폴리오뿐만 아니라 "고도화된 디버깅 로그"를 공유할 의사가 있는지 확인하라. 단순히 작동하는지보다는, 어떤 조건에서 왜 느려지는지를 설명할 수 있는 기술적 투명성이 있을 때 비로소 신뢰할 수 있다. 지금 당장 한 가지만 체크해라. 그들이 로직 누수를 어떻게 처리했는지 물어보는 것부터 시작하여.