기술 트렌드

지금 바꿔야 늦지 않는다… 양자내성암호 전환의 시작

휴먼에이아이2026.11.16

NIST가 양자내성암호 표준을 확정한 뒤 브라우저, OpenSSH, OpenSSL, 주요 언어 런타임이 잇따라 이를 지원하기 시작했습니다. 양자컴퓨터가 아직 실용화되지 않았는데도 전환을 서두르는 이유와 개발자가 알아야 할 핵심 개념, 실무 체크포인트를 정리합니다.

인터넷의 보안은 오랫동안 RSA와 타원곡선암호(ECC)에 기대 왔습니다. HTTPS 연결, SSH 접속, 코드 서명, 전자서명 인증서가 모두 이 두 방식 위에서 동작합니다. 그런데 이 알고리즘들은 충분히 큰 양자컴퓨터가 등장하면 쇼어(Shor) 알고리즘으로 깨질 수 있다는 사실이 이미 수학적으로 알려져 있습니다. 그런 양자컴퓨터가 언제 나올지는 아무도 확언하지 못합니다. 그래도 표준화 기관과 빅테크, 오픈소스 커뮤니티는 지금 전환을 진행하고 있습니다. 이 글에서는 양자내성암호(PQC, Post-Quantum Cryptography)가 무엇인지, 왜 지금 움직이는지, 개발자에게 어떤 변화가 오는지 살펴봅니다.

【왜 지금인가: 지금 수집하고 나중에 해독한다】 전환을 서두르는 가장 큰 이유는 '지금 수집, 나중에 해독(Harvest Now, Decrypt Later)' 위협입니다. 공격자가 현재 암호화된 통신을 그대로 저장해 두었다가, 훗날 양자컴퓨터가 실용화되면 그때 복호화하는 방식입니다. 의료 기록, 금융 정보, 국가 기밀, 기업의 장기 연구 자료처럼 10년 뒤에도 가치가 남는 데이터라면 이미 위험에 노출되어 있는 셈입니다. 대규모 시스템의 암호 체계를 교체하는 데 보통 수년이 걸린다는 점도 이유입니다. '데이터의 보호 기간'과 '전환에 걸리는 기간'을 더한 값이 양자컴퓨터 등장 시점보다 길다면 지금 시작해야 한다는 것이 보안 업계의 공통된 판단입니다.

【표준의 확정: NIST FIPS 203, 204, 205】 미국 국립표준기술연구소(NIST)는 2016년부터 공개 공모로 양자내성 알고리즘을 평가해 왔고, 2024년 8월 첫 정식 표준 세 가지를 발표했습니다. FIPS 203은 키 교환에 쓰는 ML-KEM(옛 이름 CRYSTALS-Kyber)입니다. FIPS 204는 전자서명용 ML-DSA(옛 이름 CRYSTALS-Dilithium), FIPS 205는 해시 기반 전자서명 SLH-DSA(옛 이름 SPHINCS+)입니다. 2025년 3월에는 ML-KEM과 다른 수학적 기반을 가진 예비 키 교환 알고리즘으로 HQC를 추가로 선정했고, Falcon 기반 서명(FN-DSA)도 별도 표준으로 준비하고 있습니다. NIST는 전환 일정 초안(NIST IR 8547)에서 현재 널리 쓰이는 RSA와 ECC를 2030년 이후 단계적으로 권고 대상에서 제외하고 2035년까지 퇴출하는 방향을 제시했습니다.

【격자 기반 암호, 무엇이 다른가】 ML-KEM과 ML-DSA는 '격자(lattice)' 문제, 그중에서도 모듈 격자 위의 오류 포함 학습(Module-LWE) 문제의 어려움에 안전성을 둡니다. 고차원 격자에서 잡음이 섞인 선형 방정식의 해를 찾는 문제는 고전 컴퓨터로도, 현재 알려진 양자 알고리즘으로도 효율적으로 풀기 어렵다고 평가됩니다. 실무에서 눈에 띄는 차이는 크기입니다. 예를 들어 ML-KEM-768의 공개키는 약 1,184바이트, 암호문은 약 1,088바이트로 32바이트 남짓인 X25519 공개키보다 훨씬 큽니다. ML-DSA 서명도 수 킬로바이트 단위여서 수십 바이트 수준인 ECDSA 서명과 비교됩니다. 연산 속도는 대체로 빠른 편이지만, 늘어난 데이터 크기가 네트워크 패킷, 인증서 체인, 임베디드 기기 메모리에 부담을 줄 수 있습니다.

【하이브리드 방식이 먼저 퍼지고 있다】 새 알고리즘은 RSA나 ECC만큼 오랜 기간 검증을 거치지 않았습니다. 그래서 현재 업계는 기존 알고리즘과 양자내성 알고리즘을 함께 쓰는 하이브리드 방식을 표준처럼 채택하고 있습니다. 대표적인 예가 TLS 1.3의 X25519MLKEM768 키 교환입니다. 기존 X25519와 ML-KEM-768의 결과를 결합하므로 둘 중 하나만 안전해도 세션 키가 보호됩니다. 새 알고리즘에 예상치 못한 결함이 발견되더라도 최소한 지금 수준의 보안은 유지되는 구조입니다.

【이미 진행 중인 전환 사례】 전환은 생각보다 많이 진행되어 있습니다. 구글 크롬은 2024년 하이브리드 양자내성 키 교환을 기본 활성화했고, 표준 확정 이후 X25519MLKEM768로 전환했습니다. 파이어폭스 등 다른 주요 브라우저와 클라우드플레어 같은 CDN 사업자도 이를 지원하고 있어, 이미 상당한 비율의 HTTPS 트래픽이 양자내성 키 교환으로 보호되고 있습니다. OpenSSH는 10.0 버전부터 mlkem768x25519-sha256을 기본 키 교환으로 사용합니다. OpenSSL 3.5는 ML-KEM, ML-DSA, SLH-DSA를 정식 지원합니다. 언어 런타임에서도 Go 1.24가 crypto/mlkem 패키지를 추가하고 TLS에서 하이브리드 키 교환을 기본값으로 채택했으며, Java는 JDK 24에서 ML-KEM과 ML-DSA를 표준 API에 포함했습니다. 메신저 분야에서는 시그널의 PQXDH와 애플 iMessage의 PQ3 프로토콜이 양자내성 키 합의를 도입했습니다.

【국내 동향】 국내에서도 양자내성암호 전환이 정책 과제로 다뤄지고 있습니다. 한국형 양자내성암호 공모전(KpqC)을 통해 2025년 초 키 교환 알고리즘 SMAUG-T와 NTRU+, 전자서명 알고리즘 HAETAE와 AIMer가 최종 선정되었습니다. 정부는 2030년대 중반을 목표로 공공 부문의 단계적 전환 로드맵을 추진하고 있습니다. 금융·공공·통신처럼 규제와 장기 보안 요구가 큰 분야일수록 관련 검토와 시범 적용이 먼저 이뤄질 가능성이 높습니다.

【가장 어려운 부분은 서명과 인증서】 키 교환은 TLS 라이브러리 업데이트만으로 비교적 빠르게 바뀌고 있지만, 전자서명과 공개키 기반구조(PKI)의 전환은 훨씬 복잡합니다. 인증서에는 서명이 여러 개 들어가고 체인 구조로 연결되기 때문에 ML-DSA를 그대로 적용하면 TLS 핸드셰이크 크기가 크게 늘어납니다. 루트 인증서 교체, 하드웨어 보안 모듈(HSM) 지원, 브라우저와 운영체제의 신뢰 저장소 갱신도 함께 맞물려야 합니다. 펌웨어 서명처럼 기기에 오래 남는 서명은 지금 결정하면 수십 년 영향을 미칩니다. 그래서 상태 기반 해시 서명(LMS, XMSS)이나 SLH-DSA처럼 안전성 근거가 단순한 방식이 이 영역에서 먼저 검토되기도 합니다.

【개발자가 지금 할 수 있는 일】 첫 단계는 암호 자산 목록화입니다. 조직의 코드와 인프라 어디에서 어떤 알고리즘, 키 길이, 라이브러리를 쓰는지 파악하는 작업으로, 최근에는 이를 CBOM(Cryptography Bill of Materials)이라는 형태로 관리하려는 움직임도 있습니다. 두 번째는 암호 민첩성(crypto agility) 확보입니다. 알고리즘 이름을 코드에 하드코딩하지 않고 설정이나 추상화 계층을 통해 교체할 수 있도록 설계해 두면, 이후 표준이 바뀌어도 대응 비용이 크게 줄어듭니다. 세 번째는 의존 라이브러리 최신화입니다. OpenSSL, BoringSSL, Go, Java 같은 기반 소프트웨어를 최신 버전으로 유지하는 것만으로 상당 부분의 하이브리드 키 교환을 얻을 수 있습니다. 반대로 암호 알고리즘을 직접 구현하는 것은 피해야 합니다. 양자내성 알고리즘은 부채널 공격에 취약한 구현 실수가 생기기 쉬워 검증된 라이브러리를 쓰는 것이 원칙입니다.

【커리어 관점에서 본 의미】 양자내성암호 전환은 일부 암호학자만의 과제가 아니라, 백엔드·인프라·보안·임베디드 개발 전반에 걸친 대규모 마이그레이션 작업입니다. 실무에서 요구되는 역량도 새 알고리즘의 수학을 깊이 이해하는 것보다는 TLS와 PKI의 동작 원리, 대칭키와 공개키 암호의 역할 구분, 라이브러리와 프로토콜 설정을 다루는 능력에 가깝습니다. 참고로 AES나 SHA-2 같은 대칭키·해시 알고리즘은 양자컴퓨터의 영향을 상대적으로 덜 받아 키 길이를 충분히 확보하는 수준에서 대응할 수 있다는 점도 알아 두면 좋습니다. 이런 기본기를 갖춘 상태에서 PQC 관련 표준과 사례를 이해하고 있다면 보안이 중요한 조직에서 의미 있는 강점이 될 수 있습니다.

【마무리】 양자컴퓨터가 RSA를 깨는 날이 언제 올지는 여전히 불확실합니다. 하지만 표준은 이미 확정되었고, 브라우저와 SSH, 주요 언어 런타임은 조용히 전환을 시작했습니다. 암호 체계의 교체는 하루아침에 끝나지 않는 장기 프로젝트이기 때문에, 위협이 현실화된 뒤에 시작하면 늦습니다. 지금 사용하는 시스템이 어떤 암호에 기대고 있는지 한 번 점검해 보는 것이 양자내성 시대를 준비하는 가장 현실적인 출발점입니다.