Polpid's Pensieve

최근에 Kubernetes에 어플리케이션을 올리다가 몇일간 맨붕 상태가 온 내용을 남겨두고자 한다. 

Kubernetes 클러스터에 my-test1 이라는 네임스페이스로 ingress, servcie, deployment 를 생성하였다. 

여기 까지는 문제가 없었는데 도메인을 설정하고 tls 를 설정하면서 문제가 발생했다.

1. test.com 이라는 도메인으로 사설 인증서 생성.

2. crt 파일과 key 파일을 이용해서 secret 생성

3. ingress 에 tls 설정에 host와 tls 를 설정.

위와같이 진행을 하고 접속을 해봤다. 

그런데 이상하게 브라우저에서 "주의요함" 부분을 클릭해보면 내가 만든 사설인증서의 도메인이 나오는게 아니라 Kubernetes의 Fake 인증서가 나왔다. 분명히 나는 인증서를 설정했는데..

이것때문에 원인을 찾느라 한참 고생했다.

결국 원인을 찾았는데 문제는 동일한 도메인을 사용하는 다른 ingress 들 때문이었다. 

내가 사용중인 네임스페이스의 ingress 를 생성하면 kube-system 에 있는 ingress-constroller 에 등록이 된다. 이때에 내가 설정한 어플리케이션 뿐만 아니라 다른 네임스페이스의 어플리케이션의 ingress 도 생성하면 동일하게 등록이 된다. 

이때에 중요한 점은 같은 도메인일 경우이다.

만약 내가 ingress 의 tls 설정을 아래와 같이 했다고 가정해보자

tls:
- hosts:
- test.com
secretName: my-test-secret

그런데 다른 어플리케이션에서 ingress 를 아래와 같이 설정을 했다.

tls:
- hosts:
- test.com

이럴 경우 아래쪽에 ingress 의 설정에 secret 이 없기때문에 Fake 인증서를 사용하게 된다. 아마도 순서에 영향을 받지 않나 싶다. 결과적으로 ingress 를 반영을 하게되면 kube-system의 ingress-controller 에 반영이 되고 결국 내부의 nginx.conf 파일에 반영이 되기 때문에 아마도 순서에 영향을 받을 것 같긴 하다. 

따라서 같은 도메인일 경우에는 namespace 별로 secret을 다 만들어서 같이 설정을 해두던지 아니면 하나의 ingress 에서만 secret 설정을 하고 나머지는 tls 설정을 삭제 해줘야 한다.

이것때문에 너무 시간도 많이 낭비했는데.. 역시 모르면 몸이 고생이다. ㅠㅠ

번역시에 부족한 부분이 있을 수 있습니다. 잘못 표현 되었거나 수정이 필요한 부분이 있다면 언제든지 알려주세요.

한빛 미디어 링크 : http://www.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS4213538104

원문 :  A quick reminder on HTTPS everywhere

HTTPS "모든 곳(Everywhere)"은 로그인 페이지나 기부를 받는 페이지만을 의미하는 것이 아닙니다. 전부 다를 의미합니다. 

HTTPS Everywhere! 플러그인은 브라우저에서 https:// 를 사용하지 않는 사이트는 보안에 취약하다고 사용자에게 경고합니다. 모든 곳에서 HTTPS를 사용하는 것은 좋은 선택입니다. 그리고 여기에서 "모든 곳"은 홈페이지에 있는 전부를 의미합니다. 단지 로그인 페이지나 기부하는 페이지를 의미하는 게 아닙니다. 전부 다를 의미합니다.

Eric Meyer가 지적했듯이 모든 곳에 HTTPS를 사용하는 데는 몇 가지 단점이 있습니다. 캐싱을 중단하기 때문에 위성과의 연결이 제한되어 있는 사람들에게 웹 속도를 훨씬 더 느리게 만듭니다(제 3 세계의 대부분이 해당됩니다). 그리고 여러 가지 이유 때문에 오래 된 브라우저를 사용해야만 하는 사람들에게 문제가 됩니다(세상에는 당신이 생각하는 것보다 더 많은 구형의 브라우저나 운영체제들이 있습니다). HTTPS를 사용할 수 없는  하위 레벨 프로토콜로 처리되는 도메인 네임과 IP 주소는 생각했던 만큼 사적인 공간이 아닙니다. 그래서 좋은 해결책은 아니지만 꼭 필요한 것입니다.

진짜 문제는 HTTPS의 단점이 아닙니다. 저는 이것이 왜 사람들에게 영향을 미치는지 묻는 단순한 비상업적 사이트를 운영하는 사람들에게 점점 더 많은 불평을 보고 듣습니다. 만약 당신의 사이트가 단순히 읽기 전용이고 텍스트 전용이어서 논쟁의 여지가 없다면 암호화 보안이 필요할까요? 불행히도 당신은 필요하다고 말 할 것입니다. 거기에는 이유가 있습니다. ISP는 웹을 탈취하고 (네트워크 중립성( Network Neutrality)손실에 대한 제한이 없기 때문에 단지 미국만의 문제가 아닙니다) 자체적으로 다음과 같은 중간자 공격(man in the middle acctack)을 합법적으로 실행할 수 있습니다..

• 당신의 허가, 동의, 또는 보상 없이 그들의 광고를 삽입합니다.
• 허가나 동의 없이 사이트 사용자의 사용 기록을 수집하고 판매합니다.
• 사이트의 일부를 감지하거나 재작성 합니다.

첫번째와 두번째는 이미 일어나고 있으며 세번째도 아마 일어나고 있을 것입니다(위치에 관계없이 유럽 시민을 보호하는 GDPR은 ISP가 인터넷 사용 기록을 수집하고 판매하는 것을 방해할 수 있습니다. 하지만 저는 기대하지는 않을 것입니다).

어제 조금 뒤져본 결과 HTTPS 를 사용하지 않는 많은 사이트들을 발견했습니다. 이들 사이트 중에는 아이비 리그 대학들(Cornel, 정신차려요!), 많은 비영리기관(내가 속한 몇몇 기관들을 포함해서), 몇몇 유명한 신문과 잡지사들, 지역 도서관, 그리고 많은 중소기업들이 포함되어 있습니다. 아이러니하게 이들 대부분의 사이트들은 기부금을 받고 접근이 제한된 자료를 읽고, 심지어 온라인으로 물건을 파는 페이지들은 이미 HTTPS를 사용하고 있습니다(항상 그렇지는 않지만). 전체 사이트를 보호하는 데에는 큰 변화가 필요하지 않습니다. 대부분의 경우 전체 사이트에 HTTPS를 사용하는 것은 제한된 페이지만 보호하는 것보다 쉽습니다.

단순한 정적 사이트 또는 HTTPS를 구현할 기술력이 없는 그룹이 운영하는 사이트에서 HTTPS는 관리적 측면에서 부담이 크다는 것에 동의합니다. Let's Encrypt와 같은 서비스들은 부담을 일부 덜어줍니다(Let's Encrypt는 무료 인증서를 제공하고 몇 번을 클릭으로 HTTPS를 설정하는 과정을 줄여줍니다). 하지만 여전히 해야만 하는 일들은 있습니다.

특히 공격을 받을 때에는 단순하고 우아한 것은 없습니다. 그리고 웹은 해적 ISP, 적대적인 정부(약간은 다른 문제이지만 관련이 있는), 그리고 또다른 요인들로부터 공격을 받고 있습니다. 문제가 있긴 하지만 HTTPS가 해결책입니다. 제가 장담하건데 기술적인 오버헤드를 다룰 능력이 거의 없는 사이트에 부담을 주지만 더 나은 해결책이 없습니다. 네, 우리는 더 나은 해결책을 가지고 있습니다. IPSec와 IPv6는 이 문제를 원활하게 해결해줍니다. 하지만 우리는 20년 넘게 이것들이 보급되기를 기다리고 있고 여전히 기다리고 있습니다. 이것들이 우리가 지금 해결 해야 할 문제들입니다.

"내 사이트에는 암호화가 필요하지 않습니다." 라고 말하는 것은 아무 도움이 되지 않습니다. "나는 숨길게 없어서 프라이버시가 필요없습니다" 라고 말하는 사람보다 더 도움이 되지 않습니다. 당신이 할 때까지 프라이버시나 HTTPS는 필요없으며 너무 늦습니다. 사용자들을 위해서 해야 합니다.

HTTPS를 위해서 인증서 발급을 위해 openssl 을 이용해봤다..

https://sourceforge.net/projects/openssl/

여기 가서 다운 받아서 압축을 풀면 일단 설치는 완료된다. (윈도우 기준)

1. Private KEY 생성

명령어 : oepnssl genrsa -out [파일명] 2048

# openssl genrsa -out private.key 2048

Generating RSA private key, 2048 bit long modulus

.................................................+++

.................+++

e is 65537 (0x10001)

private.key

-----BEGIN RSA PRIVATE KEY-----

MIIEpAIBAAKCAQEAzLTDf8Q50h4H+S7H8fGLOSxQa68YSN43SDdF4GEL7rEBTt26

n+sJ/MILYk/OoSoTW46jq5YebGzWO2mqw/lciy7hx3xmhMTLjUsSmihrUfQKKrFZ

PeTKVdk9VocnnM+PutWdojhByRhlbDuYGtMku7o3mGhOK7TecZAkg0XDCLJnxyK5

Sfcx7LL/ZxJZoDlQYUqODD48jA5Ao3NsiYgRnBSvPuo2EaNHAEl9Uk9b8KGh8KK7

X75ixAa/vwDFik4BXG6MDV3nerR6yFrhyV0jDWwhArFwfNVC4T376y8nKcl6dToW

njNLe37jqIw6np7CLCn0b7l3yAL9eSvJsnmWywIDAQABAoIBAQC4amzpUL0KZxWl

zhhBBer4Ac0dhetp0g+Zlnn0D1mxmnLkOurjINqpg6K/2cf79yzjQdh/P0l/Qnmp

oqM91AskNIMgtRiiqav7SVOj35/3f9Qc7BLKqLADsScKKc5s/aytk75kIyxY3wqX

/AQmvmsMWFG3kthBlbsEMehC/vkafgh9HKpjsZfQFr7O/yBQ2p9t4PyHWf0sPaqZ

/tKxb7jGij+Z9MhaGQc4Xn2nAHooHOOrrj1uPc6m26avalkMk0VzTg60kitTNa0H

lrKWlMSzEK8avE+Bus+PPcQmDBmyAdbAomOaOmmE7+9Bk7/ewfJ0HRlM5pj/8z01

TyhLrxbhAoGBAPyKcJVVIBGwBaB96UaLlzlgyh8zyrIucEsnaxJkJfrxZrn8ACww

XeTaVpSviCF1Sst8Km3f6Ncvla1Hfl2unVgTIunkbKrrzKWPrMxwiAvY6lB3/tGa

OsS8ohzhrpXKEKjDAc0tnnsNI1auWh210KpUGt4Whzk3rvEnmcEQKY+7AoGBAM+C

ljFld5xpcrJkb8r4G2nUbvUPRekqlVb2gSzff5/O12aQUF7YBDQmijDNNaA6I5eB

2McPfhOAPlE3ecQ0u2+g4CCaTorxNwzOsVfgfYZGqhqM9rG/GEhFztfcpUFwmX0L

AKjhZhqXjTxZBfz368jyR83oSb3PIkDOuOhMC/wxAoGAD4OJqwLRt4RytAtIG1dT

8OhrQkNyPkPwDg3b3ANe+e1+fAppEE3gVsC69ONbn4KPF7UG/jz1FtMLhNuRfbvO

WqzCRlAMBOv7ZGhRGzYGhYPL0Smt875fwdo8sz2B9h21rEhegfY9eB20gAyx6IVU

zkHgbKhBolgzXQkrvtp5UyUCgYEAlyCyJhOSA1ZA9G91g8sim/bdQJj4/5HF5ent

tjKoDklkUwwznH+SwDB5YIVz0tfE6CjnKkK8PZOezyOqCR2mjOwLj3MSVNrMjwVR

34Bdqxd395JGcLmOA8Tjmg7WREyvXIRQ3K4b4K4TbKohVFVzYYwig3HzkstyVOS5

gmUwLWECgYBE8CjpaFHvDiU3zpLXu6j3nn4OFrIj8CYwm6pyBTbWLy1hFz0aShZn

oXL9pLGsmNqWDwzk7PCoiqJLraGUnhycx6ylZIzlPssiezKL2S+QgN204fCwa34r

YRnr5og9+HyGukl3+d8zVxEd9NCL8Qh5hco0PjMn7aTVp+fhz6GT7g==

-----END RSA PRIVATE KEY-----

2. Public Key 생성

명령어 : openssl rsa -in [private key 파일명] -pubout -out [파일명]

# openssl rsa -in private.key -pubout -out public.key 

writing RSA key

public.key 

-----BEGIN PUBLIC KEY-----

MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAzLTDf8Q50h4H+S7H8fGL

OSxQa68YSN43SDdF4GEL7rEBTt26n+sJ/MILYk/OoSoTW46jq5YebGzWO2mqw/lc

iy7hx3xmhMTLjUsSmihrUfQKKrFZPeTKVdk9VocnnM+PutWdojhByRhlbDuYGtMk

u7o3mGhOK7TecZAkg0XDCLJnxyK5Sfcx7LL/ZxJZoDlQYUqODD48jA5Ao3NsiYgR

nBSvPuo2EaNHAEl9Uk9b8KGh8KK7X75ixAa/vwDFik4BXG6MDV3nerR6yFrhyV0j

DWwhArFwfNVC4T376y8nKcl6dToWnjNLe37jqIw6np7CLCn0b7l3yAL9eSvJsnmW

ywIDAQAB

-----END PUBLIC KEY-----

3. CSR 생성 (Certificate Signing Request - 인증서 서명 요청)

- 인증서 발급을 위한 필요한 정보를 담고 있는 인증서 신청 형식 데이터 이다. 

주의 사항

- Common Name 에는 인증서를 설치할 사이트의 도메인의 이름을 넣어야 한다. (ip, port, http, https 포함불가능)

명령어 : openssl req -new -key [private key 파일명] -out [파일명]

# openssl req -new -key private.key -out private.csr

You are about to be asked to enter information that will be incorporated

into your certificate request.

What you are about to enter is what is called a Distinguished Name or a DN.

There are quite a few fields but you can leave some blank

For some fields there will be a default value,

If you enter '.', the field will be left blank.

-----

Country Name (2 letter code) [AU]:KR

State or Province Name (full name) [Some-State]:Seoul

Locality Name (eg, city) []:Seoul

Organization Name (eg, company) [Internet Widgits Pty Ltd]:local

Organizational Unit Name (eg, section) []:local

Common Name (eg, YOUR name) []:local

Email Address []:test@test.com

Please enter the following 'extra' attributes

to be sent with your certificate request

A challenge password []:test

An optional company name []:test

중간중간 뭐라고 나오는 내용들이 많이 있다. 일단 테스트 이기 때문에 대충 넣었다.

private.csr

-----BEGIN CERTIFICATE REQUEST-----

MIIC3jCCAcYCAQAwbzELMAkGA1UEBhMCS1IxDjAMBgNVBAgTBUtvcmVhMQ4wDAYD

VQQHEwVTZW91bDENMAsGA1UEChMEdGVzdDENMAsGA1UECxMEdGVzdDENMAsGA1UE

AxMEdGVzdDETMBEGCSqGSIb3DQEJARYEdGVzdDCCASIwDQYJKoZIhvcNAQEBBQAD

ggEPADCCAQoCggEBAOAF/QjGmdafbFanuHg3MyUlABiBhPTavX1eGzqGD/oxLwMu

e8DHEAeLBQGwpIq8qqDd8hmjFUL7blt4bzAAaGTtRnK7y1kegFNE/qftv6Imx1x6

5V2Cnh/998a3O0NXCvkBu5RRKALVl1qHOl4PKFLeX+NyoGzhqInu8ZrWu86K0cRu

JqtRF9Qpd0r7/E3yGaFdPIVA0AtM8W8+ne9Y3mMHeC7Os6DvEH1H6ZwReQljDZKK

lPjqBZwN4pn2W9ws3U0N6iTn37gQDTCJFW3MwIFUk+wK4L95XfZXCx+x/L5khTkV

mVUFvSbEw6FYWK0xeQKKtol6qUOkqC+EvKggPkUCAwEAAaAqMBMGCSqGSIb3DQEJ

AjEGEwR0ZXN0MBMGCSqGSIb3DQEJBzEGEwR0ZXN0MA0GCSqGSIb3DQEBCwUAA4IB

AQCHP6rPvZWJx1w6MW+Te3WWlaGo6WCHaVv6nxYgvnCgX+BK2B2FY9MfaSagZabj

x4SVxctJlO8WfWz+vI+iOONxkDgfPXerIXSm6qDF2ITcYvWeU/6N12Ixf+mapygO

6dTfpqAsHePJmHgWah9s+uzYllYT+HlVJtSwooKOhsYER/oEttCbDc1NGnJVLO2S

cbpbVbuuqo12MtdrZ/ZrSPiHKU+gJzieUd8gUXVDEXbo6ljlRkONMe1LPPmeKvGy

6nfaE78/U0rBce1qPaxlPUVl16bHfnjjC5BTFjym0jcMnKbOuHiHVCAeuscTXoiF

YaRIlbEUh+D/5QhtMMKqJV0o

-----END CERTIFICATE REQUEST-----

4. CRT 인증서 만들기

명령어 : openssl req -x509 -days [기간] -key [private key 파일명] -in [csr 파일명] -out [파일명] -days [기간]

# openssl req -x509 -days 365 -key private.key -in private.csr -out mycommoncrt.crt -days 365

You are about to be asked to enter information that will be incorporated                     

into your certificate request.                                                               

What you are about to enter is what is called a Distinguished Name or a DN.                  

There are quite a few fields but you can leave some blank                                    

For some fields there will be a default value,                                               

If you enter '.', the field will be left blank.                                              

-----                                                                                        

Country Name (2 letter code) [AU]:KR                                                         

State or Province Name (full name) [Some-State]:Seoul                                        

Locality Name (eg, city) []:Songpa-gu                                                        

Organization Name (eg, company) [Internet Widgits Pty Ltd]:                                  

Organizational Unit Name (eg, section) []:                                                   

Common Name (eg, YOUR name) []:                                                              

Email Address []:                                                                            

mycommoncrt.crt

-----BEGIN CERTIFICATE-----

MIID4zCCAsugAwIBAgIJAJ73VwJ+KNz9MA0GCSqGSIb3DQEBCwUAMFQxCzAJBgNV

BAYTAktSMQ4wDAYDVQQIEwVTZW91bDESMBAGA1UEBxMJU29uZ3BhLWd1MSEwHwYD

VQQKExhJbnRlcm5ldCBXaWRnaXRzIFB0eSBMdGQwHhcNMTgwODIzMDEwMzE3WhcN

MTkwODIzMDEwMzE3WjBUMQswCQYDVQQGEwJLUjEOMAwGA1UECBMFU2VvdWwxEjAQ

BgNVBAcTCVNvbmdwYS1ndTEhMB8GA1UEChMYSW50ZXJuZXQgV2lkZ2l0cyBQdHkg

THRkMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAzKib3QSYnn5bGtIY

2DOQiPpieNNzpiyE8+Uhf9VufyBeMR8DGfaCuku0cjqF15Gqkgl2+3DavaGtyuNQ

e8Idz1jUHW/nLUlKLOzYf/a3W4n7EOjzhUv3H16KenqxhJcc1RFs6Zg+c/n76hId

/NrFbLq/kX4/xEPmRRe6O88SSUlcyBVQo59jMNH0IJOHZ8V1gKvTpQkUt3su7ojX

QfkmQv2Hps6pg2FRPnysDS6wDolaMt1f/Dd51l/Y29Dm5sjiPTHXZbYp/mD0Ka3T

TipnM60wMdDSdCQx9aT0hdVhXEHz0aSMezJP5SUvbIL4DHQPC1GHF2vYlsbivp/t

6Uu4kQIDAQABo4G3MIG0MB0GA1UdDgQWBBRRJxq/mdmqJswbHi1djbMaGnmQhzCB

hAYDVR0jBH0we4AUUScav5nZqibMGx4tXY2zGhp5kIehWKRWMFQxCzAJBgNVBAYT

AktSMQ4wDAYDVQQIEwVTZW91bDESMBAGA1UEBxMJU29uZ3BhLWd1MSEwHwYDVQQK

ExhJbnRlcm5ldCBXaWRnaXRzIFB0eSBMdGSCCQCe91cCfijc/TAMBgNVHRMEBTAD

AQH/MA0GCSqGSIb3DQEBCwUAA4IBAQADDWN84F8IdPmc43jGi2jOmhp3OwHoBvVp

DXJrXJNGjDYpJ8BZn+kf6K5D59qZfIW1cHhzaf/kylQsHF2cH8ZFU69kp0txIi/f

9hOu5W/OwxtyCmomaL99zJdHePfj4MFhu+aANCkaOcEFlE3kc+JTCdj2jPZxMIJr

dIBsbLJeEwX8q7RJ2t/pPn/LiYRVuEEj9qpXu4MOw01ccjSPHA/TgZ+FDOZb3U9y

ABXB64uoxbxr5zIAgYKoQUOoX3S0gwDo9omWcnAPU4fjtT7Es/3HNjtSet3TGW68

J7vbhPIovtusLqH1/AUKmEVspeUKkn9ero0Ee9ruuP5HALb8zstG

-----END CERTIFICATE-----

5. 인증서 Config 파일 (test.conf)

참고자료

https://www.comodossl.co.kr/certificate/ssl-installation-guides/Apache-csr-crt.aspx

https://www.kicassl.com/sslcert/sslcert/formSslCert.sg

http://namjackson.tistory.com/24