개발노트 - 못믿을 기억력을 위하여

백업 하드디스크 다른 시스템에 붙이기

Jack Moon — Mon, 3 Nov 2025 07:47:17 +0900

1. 현재 하드디스크 확인

fdisk -l
하드디스크 갯수에 따라 /dev/sda, /dev/sdb, /dev/sdc

df -h

했을때 sda가 없고 sdb로 시작되기도 한다.

그럴 경우 새로운 하드를 붙이면 sda 가 인식되면 sda를 마운트 해야 한다.

2. 만약 하나의 하드가 있는 상태에서 하드 하나를 추가한다면

1) 하드 추가 장착
2) fdisk -l
/dev/sda, /dev/sdb
백업에 사용할 하드 디스크의 파티션 이름을 확인 (예: /dev/sdb1, /dev/sdc1)
3) 마운트
단계1: 마운트 할 디렉토리 생성
# mkdir /data
단계2: 디스크 마운트
# mount /dev/sdb1 /data
단계3: 확인
# df -h

selenium 으로 데이터 가져와서 sftp 업로드

Jack Moon — Thu, 30 Oct 2025 15:36:23 +0900

chromedriver download

https://googlechromelabs.github.io/chrome-for-testing/

에서 자신의 chrome 브라우저와 버전이 같은 chromedriver 다운로드

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
import time
import paramiko
import os

# SFTP 접속 정보
SFTP_HOST = '192.168.0.25'
SFTP_PORT = 22  # 기본 22
SFTP_USER = 'userid'
SFTP_PASSWORD = 'userpw'  # 키 인증 사용 시 password 대신 key 사용 가능
REMOTE_DIR = '/home/prmonitor/www/'     # 서버에서 저장할 경로
LOCAL_DIR = r'D:\git\cloud\files'  # 업로드할 로컬 폴더

def upload_folder(local_dir, remote_dir):
    transport = paramiko.Transport((SFTP_HOST, SFTP_PORT))
    transport.connect(username=SFTP_USER, password=SFTP_PASSWORD)
    
    sftp = paramiko.SFTPClient.from_transport(transport)
    
    # 폴더 내 모든 파일 업로드
    for filename in os.listdir(local_dir):
        local_file = os.path.join(local_dir, filename)
        remote_file = os.path.join(remote_dir, filename)
        
        if os.path.isfile(local_file):
            sftp.put(local_file, remote_file)
            print(f"Uploaded {local_file} -> {remote_file}")
    
    sftp.close()
    transport.close()

def fetch_bloomberg_html(keyword, page=1, headless=True):
    # 검색 URL
    url = f"https://www.bloomberg.com/search?query={keyword}&sort=relevance"

    # Chrome 옵션 설정
    chrome_options = Options()
    chrome_options.add_argument("--headless=new")      # 최신 headless 모드
    chrome_options.add_argument("--no-sandbox")        # root 계정 필수
    chrome_options.add_argument("--disable-dev-shm-usage")
    chrome_options.add_argument("--disable-gpu")
    chrome_options.add_argument("--window-size=1920,1080")  # 화면 크기 설정
    chrome_options.add_argument(
        "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    )

    # ChromeDriver 경로
    service = Service("D:\\git\\cloud\\chromedriver.exe")
    driver = webdriver.Chrome(service=service, options=chrome_options)
    
    try:
        driver.get(url)
        # 페이지 로딩 대기 (JavaScript 렌더링)
        time.sleep(5)  # 필요 시 WebDriverWait으로 더 정밀하게 설정 가능

        # HTML 가져오기
        html = driver.page_source
        return html
    finally:
        driver.quit()


if __name__ == "__main__":
    keywords = ["Standard+Chartered", "StanChart", "ELS+penalties"]
    for keyword in keywords:
        html = fetch_bloomberg_html(keyword, headless=True)

        filename = keyword+".html"
        with open(LOCAL_DIR+"\\"+filename, "w", encoding="utf-8") as f:
            f.write(html)

        print(f"✅ HTML 저장 완료: {filename}")

    upload_folder(LOCAL_DIR, REMOTE_DIR)

Windows 작업 스케줄러(Task Scheduler) 설정

Jack Moon — Thu, 30 Oct 2025 15:28:57 +0900

1. Windows 검색에서 작업 스케줄러 입력

2. 우측 "작업 만들기(Create Task)" 클릭

3. 이름: Bloomberg crawling

4. 트리거 설정(Trigger)

- "새로 만들기(New)" 클릭
- 반복 간격: 2시간
- 시작 시간: 원하는 시간 선택
- "무기한 반복"

5. 동작 설정(Action)

- "프로그램 시작(Start a program)" 선택
- 프로그램/스크립트: python.exe 경로
예: C:\Python313\python.exe

파이썬 경로 찾기
D:\>python
>>> import sys
>>> sys.executable
'C:\\Python313\\python.exe'

- 인수 추가: 스크립트 경로
예: D:\git\cloud\Bloomberg.py

6. 조건 및 설정 확인

- 필요 시 “AC 전원 연결 시만 시작” 체크 해제
7. 확인 후 저장

테스트

작업 스케줄러에서 "실행(Run)" 클릭하여 정상 동작 확인

Mysql read-only 계정 설정

Jack Moon — Thu, 6 Mar 2025 14:08:16 +0900

1. root 계정으로 mysql 접속

CREATE USER '{id}'@'%' IDENTIFIED BY '{password}';

CREATE USER 'read_only'@'%' IDENTIFIED BY 'pw1234';
GRANT SELECT ON DB1.* TO 'read_only'@'%';
GRANT SELECT ON DB2.* TO 'read_only'@'%';
GRANT SELECT ON DB3.* TO 'read_only'@'%';
FLUSH PRIVILEGES;

2. 방화벽 오픈

iptables -A INPUT -s 2**.***.**.**6 -p tcp --dport 3306 -j ACCEPT

君子不器

Jack Moon — Wed, 29 May 2024 14:07:40 +0900

군자는 그릇이 아니다.
군자는 그릇처럼 틀에 얽매이지 않는다.

군자는 고정된 자기가 있는 것이 아니라
밥을 담을 때는 밥그릇이 되고, 국을 담을 때는 국그릇이 되며,
필요에 따라 술독이 되고 항아리도 된다.

아집에 사로잡혀 독선에 빠지거나, 욕심에 사로잡혀 자기 이익만을 취하지 않는다. 크나큰 도량과 포용력으로 남을 감싸안고 당당하게 큰 길로 나아갈 뿐이다.

컴퓨터과학 학부 과정 도서들

Jack Moon — Mon, 20 May 2024 18:34:53 +0900

Mano의 컴퓨터시스템구조 (프로텍미디어)
데이터통신과네트워킹(한국맥그로힐)
운영체제-공룡책 (퍼스트북)
데이타베이스 시스템 (이석호 저 | 정익사)
C로 쓴 자료구조론 (교보문고)

[기타]
이것이 취업을 위한 코딩 테스트다 with 파이썬 (나동빈)

컴퓨터과학 기초 공부4 (네트워크)

Jack Moon — Fri, 17 May 2024 15:28:44 +0900

혼자 공부하는 네트워크

저자: 강민철

컴퓨터과학 기초 공부3 (컴퓨터구조, 운영체제)

Jack Moon — Fri, 17 May 2024 15:10:58 +0900

혼자 공부하는 컴퓨터구조 + 운영체제
(저자: 강민철)

총 42개 수업 (13시간 43분)

본 강의는 크게 컴퓨터 구조 파트와 운영체제 파트로 이루어져 있습니다.
- 컴퓨터 구조에서는 컴퓨터의 네 가지 핵심 부품에 대해 학습하고,

- 운영체제에서는 운영체제란 무엇인지, 어떤 역할을 하는지에 대해 학습합니다. 누구나 이해할 수 있도록 다양한 그림과 예제를 통해 설명합니다.

컴퓨터과학 기초 공부2

Jack Moon — Fri, 17 May 2024 14:39:08 +0900

하버드대학의 최고 인기강좌, 데이비드 말란 교수님의 CS50입니다.
프로그래밍을 처음 공부하는 비전공자 분들도 쉽고 재미있게 학습하실 수 있습니다.

모두를 위한 컴퓨터 과학 (CS50 2019)

모두를 위한 컴퓨터 과학 (CS50 2019)

부스트코스 무료 강의

www.boostcourse.org

https://www.edwith.org/cs50

구글 애널리틱스에서의 UTM이란?

Jack Moon — Thu, 28 Mar 2024 14:29:45 +0900

UTM

(Urchin Tracking Module)

GA에서 지원하고 있는 방문자를 트래킹하는 기술. 추적하고자 하는 URL주소 뒤에 UTM매개변수를 형식에
맞게 붙여주면 유입정보를 수집할 수 있습니다.이 코드를 사용하여 광고 캠페인이나 다양한 마케팅 활동의 성과를 분석할 수 있습니다.

UTM 매개변수의 종류

Campaign URL Builder: https://ga-dev-tools.google/ga4/campaign-url-builder/

필수
utm_source: 방문자가 어디서 왔는지를 나타내는 출처(예: Google, Newsletter)
utm_medium: 광고나 마케팅이 이루어지는 매체(예: email, social)
utm_campaign: 특정 마케팅 캠페인의 이름

선택
utm_content: 같은 캠페인 내에서 구별되어야 하는 콘텐츠(예: 로고 링크 vs 텍스트 링크)
utm_term: 유료 검색 광고에서 사용되는 키워드

- 최소한 소스와 매체는 구성 (세팅한 사람만 알아보면 된다)
https://test.com?utm_source=influence_1&utm_medium=insta
https://test.com?utm_source=influence_2&utm_medium=insta
https://test.com?utm_source=influence_3&utm_medium=insta
** 이렇게 해서 유료광고의 성과를 분석하는 것이 UTM의 목적입니다.

search.naver.com/cpc(네이버검색광고) 3(전환) 1,000,000(광고비) 333,333(전환당비용)
key.gdn/banner(구글배너광고) 2(전환) 300,000 (광고비) 150,000(전환당비용)

이런 결과가 계속된다면 구글배너광고가 훨씬 효율적. 그쪽 예산 비중 높일 것을 고려