반응형 2020/109 [나는 리뷰어다] Web Scraping with Python 최근에 파이썬에 대한 관심이 증가 하면서 여러 분야에서 사용이 되고 있다. 다양한 분야중에 웹 크롤러도 주목을 받고 있다. 나도 관심을 갖고는 있었지만 그저 막연하게만 생각하고 있었다. 어떤 방법들이 있는지, 무엇을 먼저 해야 하는지 모르고 있었다. 그런 의미에서 이 책은 웹 크롤러에 대해서 기초부터 고급까지 차근차근 알아 볼수 있는 책이다. 읽으면서 몇가지 필요한 것들에 대해서 생각해 보았다. 1. 파이썬에 대한 기초적인 문법들은 알고 있어야 코드를 이해할 수 있다. 2. 웹 에 대해서도 기초적인 코드는 알고 있어야 한다. (html, javascript등) 3. 정규 표현식도 알고 있으면 도움이 된다. 4. 크롤러 라는건 생각보다 간단하지 않다. 인내력이 필요하다. 데이터 분석과 거의 동일한 작업이라.. 2020. 10. 25. Markdown Tips 인용 > 인용문입니다. 인용문입니다. 인용문이 여러 줄일 경우 (라인 끝에 스페이스2개 넣어야 한다) > 인용문1 인용문2 인용문3 인용문1 인용문2 인용문3 2020. 10. 23. github page 에 테마 설치 1. icarusn 모듈 설치 먼저 로컬에 있는 blog 소스가 있는 폴더 안에서 git submodule 을 추가해준다. 내가 설치하려고 하는 테마는 icarus 라는 테마인데 설치 방법은 여러가지가 있다. Document를 보니 git submodule 을 추가하는 방법도 있고 npm 으로 설치하는방법도 있다. git submodule add https://github.com/ppoffice/hexo-theme-icarus.git themes/icarus 이렇게 하면 blog 하위에 themes 폴더 안에 icarus 라는 항목이 생긴다. 또는 npm install -S hexo-theme-icarus 나는 submodule 을 추가 하는 방법을 사용했다. 2. 설정파일 변경 _config.yml 파.. 2020. 10. 20. Python 으로 파일 내용 변경 하기 잠깐 필요에 의해서 만든 소스 def changeStringInFile(filePath, orgValue, newValue): with open(filePath, "r+") as file_object: fileContents = file_object.read() newFileContents = fileContents.replace(orgValue, newValue) file_object.seek(0) file_object.write(newFileContents) file_object.close() 파일을 오픈 한 후에 orgValue 를 찾아서 newValue 로 변경을 한다. 변경을 한 후 열었던 파일에 다시 덮어쓴다. 다시 write 할 때에 기존 파일 뒤에 append 되는것을 막기 위해서 seek.. 2020. 10. 20. [K8S] PV & PVC 1. PV (Persistent Volume) - PV는 클러스터 리소스 이다. - volumeModes Filesystem : Pod 의 디렉토리에 마운트 된다. Block - PersistentVolumeReclaimPolicy (PVC 삭제시 PV 데이터에 대한 정책) - Retail : 그대로 보존 - Recycle : 재사용시 기존 pv 데이터들 삭제 후 재사용 (이건 사용 안함) - Delete : 볼륨 삭제 - RecaimPolicy Update kubectl patch pv -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}' 2. PVC (Persistent Volume Claim) pv 와 pvc 는 1:1 바인딩이며 pvc 가 요청하는 .. 2020. 10. 16. github 에 page 만들기 1. github 에 레파지토리 생성 레파지토리 이름은 다음과 같이 만든다. [ID].github.io 일단 이렇게 하면 저장소 준비는 완료된다. 2. hexo 설치 (설치전에 node 는 설치 되어있다고 가정한다.) - hexo-cli 설치 (혹시 권한 관련 Error 가 나면 앞에 sudo 추가) npm install hexo-cli -g - hexo 기본 구성 하기 hexo init [폴더명] 여기에서 폴더는 기존에 있던것은 안되고 새로 생성하거나 그냥 이름을 적으면 자동으로 생성해준다. 실제 폴더에 들어가면 아래와 같이 구성이 되어있다. - _config.yml 파일 설정 하기 간단하게 다음 두개 항목만 설정해준다. # Site (사이트 설명 : 자신에게 맞게 설정해주면 된다.) title: He.. 2020. 10. 15. [K8S] Kubernetes 설치시 오류 조치 [K8S] ## K8S 설치시 Trouble Shooting - kubeadm init 했는데 다음과 같이 나오는 경우 [wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s [kubelet-check] Initial timeout of 40s passed. Unfortunately, an error has occurred: timed out waiting for the condition This error is likely caused by: - The kubelet is not.. 2020. 10. 13. [K8S] Virtual Box 에 Kubernetes 설치하기 몇번의 시도 끝에 Virtual Box 에 Kubernetes 설치를 성공했다. 총 Master1 개, Worker 2 개로 구성을 했다. 1. Virtual BOX 환경설정 - 네트워크 - 네트워크 이름 : k8s-network - 네트워크 CIDR : 10.0.1.0/24 - 네트워크 옵션 : DHCP 지원 체크 2. Machine 설정 (화면캡쳐 없음 ㅠㅠ) - 일반 : 고급 - 클립보드 공유 : 양방향 - 드래그 앤 드롭 : 양방향 - 시스템 : 프로세서 - 개수 : 2 - 네트워크 : 어댑터 1 - 다음에 연결됨 : Nat 네트워크 - 이름 : k8s-network (미리 만들어야된다.) - 네트워크 : 어댑터 2 - 다음에 연결됨 : Nat - 공유폴더 (Optional) - 폴더 설정, 마운.. 2020. 10. 13. python django 프로젝트 시작하기 공부하다가 과정이 좀 많아서 적어두기로 함. 1. 가상환경 만들기 python -m venv [이름] ex) python -m venv my_venv 2. 가상환경 실행 source my_venv/bin/activate my_venv/Scripts/activate (윈도우일 경우) 3. django 설치 (3번 부터는 가상환경 안에서 모두 실행한다.) pip install django 4. 프로젝트 만들기 django-admin startproject [이름] . 5. 데이터 베이스 만들기 python manage.py migrate 6. 프로젝트 실행 python manage.py runserver 7. 앱 만들기 python manage.py startapp [앱이름] # Model Migration.. 2020. 10. 5. 이전 1 다음 728x90 반응형
