ultra_dev

출처 : https://www.conduktor.io/kafka/what-is-apache-kafka/ https://www.conduktor.io/kafka/what-is-apache-kafka/ www.conduktor.io 기존 : 소스시스템 - 타겟시스템 연동하려면 갯수 늘어날수록 복잡해짐 카프카 : 소스시스템에서 카프카로 보내고 타겟시스템은 카프카에서 읽어오면 됨 브로커 : 카프카 클러스터 구성원, 데이터 처리하는 중심역할 하는 컴퓨터 노드, 카프카 서버 의미, 데이터 스트림 관리 및 저장하는 역할 토픽 : 클러스터 안에 있는 데이터스트림, db로 치면 테이블 느낌.. 물론 쿼리 x → 프로듀서로 추가, 컨슈머로 리딩 데이터에 대한 검증이 없어서 제약없이 데이터 저장 클러스터 안에서 이름을 통해..

컴퓨터 구조 : 컴퓨터가 이해하는 정보 + 컴퓨터의 네 가지 핵심 부품 컴퓨터가 이해하는 정보 데이터 : 숫자, 문자, 이미지, 동영상과 같은 정적인 정보 명령어 : 컴퓨터를 실질적으로 움직이는 정보, 위의 데이터는 명령어를 위한 재료! , 컴퓨터는 결국 명령어를 처리하는 기계이다. 컴퓨터의 네가지 핵심 부품 메모리 : 현재 실행되는 프로그램(프로세스)의 명령어와 데이터 저장하는 부품 메모리에 저장된 값의 위치는 주소로 알 수 있다. 프로그램이 실행되기 위해서는 메모리에 저장되어 있어야 한다. 메모리는 실행되는 프로그램의 명령어와 데이터를 저장한다. 보조기억장치 : 전원이 꺼져도 보관될 프로그램 저장하는 장치, 메모리 보조? 메모리는 실행할 정보를 저장, 보조기억장치는 보관할 정보를 저장 입출력장치 : ..

포스트맨에서 AccessToken같은 토큰 값을 메소드마다 수동으로 넣으면 번거로우니 자동으로 넣어주자 1. 포스트맨 좌측 탭의 environment 클릭해서 토큰 값 넣어줄 token 생성 (+ 버튼 눌러서 생성) 2. v표 체크해주기. Current value는 신경 쓰지 말기. 추후 토큰 발급 시 안에 자동으로 들어가는 값임 3-1 ( 스프링 ) 토큰 발급해주는 로그인 메소드에 tests를 누르고 위에처럼 입력 pm.environment.set('token',postman.getResponseHeader('Authorization')); 발급 받은 토큰 값을 가져다 쓸 수 있게 저장해준다. + 만약 쿠키같은데다가 토큰을 저장했으면 getResponseHeader 부분을 수정해서 쿠키 꺼내서 toke..

개인 과제로파이썬을 통해 크롤링하고 수집한 데이터를 오픈서치 인덱스로 저장 및 활용하여 시각화하는 작업을 진행했다. 크롤링도 정적 크롤링과 동적 크롤링이 있었는데 request를 활용한 정적 크롤링 방식으로 진행했다. 이렇게 네이번 뉴스 검색 데이터를 aws opensearch 서버로 인덱스 저장 및 활용하는 방식으로 만들었다.   네이버 뉴스 Url 에서 가변적으로 변하는 부분을 변수로 받아서 입력 하게 하고 페이지별 뉴스가 보이는 곳에서는 뉴스 본문이 짤리기 때문에 네이버뉴스 링크를 타고 세부 기사 항목으로 들어간 뒤에  이렇게 제목, 본문, 언론사, 날짜같은 데이터들을 수집했다.   이렇게 저장을 하면 인덱스 작업을 거친 뒤 밑에 처럼 오픈서치 서버에 json 형태로 저장이 된다.   오픈서치란? ..