기술 트렌드

양자컴퓨터 오기 전에 암호부터… 양자내성암호 전환 시작

휴먼에이아이2026.10.31

양자컴퓨터가 현재의 공개키 암호를 무력화할 수 있다는 우려 속에 미국 NIST가 양자내성암호(PQC) 표준을 확정했고, 브라우저와 SSH, 주요 암호 라이브러리가 새 알고리즘을 기본 탑재하기 시작했습니다. PQC가 무엇인지, 왜 지금 준비해야 하는지, 개발자와 보안 직군 취업 준비생이 알아야 할 핵심을 정리했습니다.

【왜 지금 양자내성암호인가】 우리가 매일 쓰는 HTTPS, 메신저, 전자서명, VPN은 대부분 RSA나 타원곡선암호(ECC) 같은 공개키 암호에 기대고 있습니다. 이 암호들은 큰 수의 소인수분해나 이산로그 문제를 기존 컴퓨터로 풀기 어렵다는 점에 안전성을 두고 있습니다. 그런데 1994년 피터 쇼어가 제안한 쇼어 알고리즘은 충분히 큰 규모의 오류 정정 양자컴퓨터가 있다면 이 문제를 효율적으로 풀 수 있음을 보여 주었습니다. 이런 양자컴퓨터가 언제 실현될지는 전문가마다 전망이 다르지만, 암호 업계는 실현 시점보다 전환에 걸리는 시간을 더 무겁게 봅니다.

【지금 수집하고 나중에 해독한다】 PQC 전환이 서둘러지는 가장 큰 이유는 흔히 '지금 수집하고 나중에 해독하는(Harvest Now, Decrypt Later)' 공격이라 불리는 위협입니다. 공격자가 오늘 암호화된 통신을 가로채 저장해 두었다가 미래에 양자컴퓨터로 해독하는 방식입니다. 의료 기록, 국가 기밀, 금융 정보, 기업의 핵심 기술처럼 10년 이상 비밀이 유지되어야 하는 데이터라면 양자컴퓨터가 아직 없는 지금도 이미 위험에 노출되어 있다고 볼 수 있습니다. 대규모 시스템의 암호 체계를 바꾸는 데 보통 수년이 걸린다는 점을 감안하면 준비는 빠를수록 좋습니다.

【NIST 표준 확정과 주요 알고리즘】 미국 국립표준기술연구소(NIST)는 2016년부터 공개 공모를 진행해 2024년 8월 첫 PQC 표준 세 가지를 발표했습니다. 키 교환(키 캡슐화)용 FIPS 203 ML-KEM(옛 CRYSTALS-Kyber), 전자서명용 FIPS 204 ML-DSA(옛 CRYSTALS-Dilithium), 해시 기반 서명인 FIPS 205 SLH-DSA(옛 SPHINCS+)입니다. 이어 2025년 3월에는 ML-KEM의 보완용 키 캡슐화 알고리즘으로 HQC를 추가로 선정했고, Falcon 기반 서명 FN-DSA 등도 표준화 절차를 밟고 있습니다. ML-KEM과 ML-DSA는 격자(lattice) 문제에, SLH-DSA는 해시 함수의 안전성에 기반한다는 점에서 수학적 토대가 서로 다릅니다. 하나의 수학적 가정에만 의존하지 않도록 설계한 것입니다.

【전환 일정은 이미 정해지고 있다】 각국 정부는 구체적인 전환 시한을 제시하고 있습니다. NIST는 2024년 공개한 초안 문서(NIST IR 8547)에서 기존 RSA·ECC 계열 알고리즘을 2030년 이후 단계적으로 권고 대상에서 제외하고 2035년까지 사용을 금지하는 방향을 제안했습니다. 미국 국가안보국(NSA)의 CNSA 2.0 지침도 국가안보 시스템의 양자내성 전환을 2035년까지 마치는 것을 목표로 합니다. 우리나라 역시 정부가 2035년을 목표로 하는 양자내성암호 전환 로드맵을 발표했고, 국내 독자 알고리즘을 선정하는 KpqC 공모전을 통해 2025년 초 키 캡슐화 알고리즘 SMAUG-T와 NTRU+, 서명 알고리즘 HAETAE와 AIMer를 최종 선정했습니다.

【이미 우리 곁에 와 있는 PQC】 PQC는 먼 미래 기술이 아니라 이미 실제 서비스에 들어와 있습니다. 구글 크롬은 2024년 TLS 키 교환에 기존 X25519와 Kyber를 결합한 하이브리드 방식을 기본 적용했고, 표준 확정 이후 ML-KEM 기반의 X25519MLKEM768로 전환했습니다. 파이어폭스와 주요 CDN 사업자도 같은 방식을 지원하면서 웹 트래픽 상당 부분이 이미 양자내성 키 교환으로 보호되고 있습니다. OpenSSH는 2025년 4월 출시된 10.0 버전부터 ML-KEM 기반 하이브리드 키 교환을 기본값으로 채택했고, OpenSSL도 같은 달 출시된 3.5 버전에서 ML-KEM, ML-DSA, SLH-DSA를 정식 지원하기 시작했습니다. 애플은 2024년 아이메시지에 PQ3라는 양자내성 프로토콜을 도입했습니다.

【하이브리드 방식과 성능 트레이드오프】 현재 전환의 주류는 기존 알고리즘과 PQC 알고리즘을 함께 쓰는 하이브리드 방식입니다. 새 알고리즘에서 예상치 못한 취약점이 발견되더라도 기존 암호의 안전성이 유지되도록 하는 안전장치입니다. 다만 PQC는 키와 서명의 크기가 크다는 부담이 있습니다. 예를 들어 X25519 공개키는 32바이트이지만 ML-KEM-768의 공개키는 1,184바이트, 암호문은 1,088바이트입니다. ML-DSA-65의 서명은 약 3.3KB로, 수십 바이트 수준인 기존 ECDSA 서명보다 훨씬 큽니다. 연산 속도 자체는 빠른 편이지만 패킷 크기가 늘어나면서 일부 네트워크 장비나 미들박스에서 호환성 문제가 보고되기도 했고, 메모리가 제한된 IoT 기기나 인증서 체인처럼 서명이 여러 번 들어가는 구조에서는 설계를 다시 검토해야 합니다.

【개발 현장의 핵심 과제, 암호 자산 파악과 암호 민첩성】 실무에서 가장 먼저 부딪히는 과제는 의외로 알고리즘 선택이 아니라 '우리 시스템 어디에 어떤 암호가 쓰이고 있는지' 파악하는 일입니다. 애플리케이션 코드, 서드파티 라이브러리, 인증서, 하드웨어 보안 모듈(HSM), 데이터베이스 암호화, 레거시 장비에 이르기까지 암호 사용처가 흩어져 있기 때문입니다. 이를 목록화하는 암호 자산 목록(CBOM, Cryptographic Bill of Materials) 개념이 주목받는 이유입니다. 또 하나의 핵심은 암호 민첩성(crypto agility)입니다. 알고리즘을 코드에 직접 고정하지 않고 설정이나 추상화된 계층을 통해 교체할 수 있도록 설계해야 향후 표준이 바뀌거나 취약점이 발견되었을 때 빠르게 대응할 수 있습니다.

【직무와 커리어 측면에서의 의미】 PQC 전환은 보안 직군뿐 아니라 백엔드, 인프라, 임베디드 개발자 모두에게 영향을 미칩니다. 금융, 공공, 통신, 국방처럼 장기 보안이 중요한 분야에서는 기존 시스템의 암호 현황을 진단하고 전환 계획을 세우는 업무가 늘어날 것으로 예상됩니다. 인프라 담당자에게는 TLS 설정, 인증서 관리, VPN 장비 교체가 현실적인 과제가 되고, 임베디드 개발자에게는 제한된 자원에서 큰 키와 서명을 다루는 최적화가 중요해집니다. 양자 물리학을 깊이 알아야 하는 것은 아니며, 공개키 암호의 기본 원리와 TLS 동작 방식, 주요 암호 라이브러리 사용법을 이해하는 것이 출발점입니다.

【취업 준비생이 지금 해볼 수 있는 것】 PQC를 학습하고 싶다면 먼저 대칭키와 공개키 암호, 해시, 전자서명, 키 교환의 개념을 확실히 정리하는 것이 좋습니다. 그다음 NIST가 공개한 FIPS 203, 204, 205 문서의 개요를 읽어 보고, OpenSSL 3.5 이상이나 Open Quantum Safe 프로젝트의 liboqs 같은 공개 라이브러리로 직접 키를 생성하고 서명을 검증해 보면 키와 서명 크기 차이를 체감할 수 있습니다. 개인 프로젝트에서 사용하는 라이브러리의 암호 알고리즘을 목록화해 보는 것도 좋은 연습입니다. 이런 경험은 보안 관련 면접에서 최신 동향에 대한 이해를 보여 주는 근거가 됩니다.

【정리하며】 양자컴퓨터가 RSA를 실제로 깨는 날이 언제 올지는 아직 누구도 확신할 수 없습니다. 그러나 표준은 이미 확정되었고, 주요 정부는 전환 시한을 제시했으며, 브라우저와 서버 소프트웨어는 새 알고리즘을 기본값으로 바꾸고 있습니다. Y2K처럼 정해진 날짜에 한 번에 터지는 문제가 아니라 수년에 걸쳐 조용히 진행되는 인프라 교체라는 점에서 PQC 전환은 앞으로 10년 가까이 IT 업계의 꾸준한 과제가 될 가능성이 큽니다. 지금 기본 개념과 흐름을 익혀 두는 것은 보안을 이해하는 개발자로 성장하는 데 의미 있는 준비가 될 것입니다.