[제 41회 T dev Forum] Big Data (발표 유투브 링크)



댓글

댓글 쓰기

이 블로그의 인기 게시물

SSH 연결 Delay 해결

증상 서버에 ssh 연결 시 지연 현상 발생 $ ssh -v [x.x.x.x]로 어디에서 지연이 발생하는지 검토 $ ssh -v [X.X.X.X] .... debug1: Next authentication method: gssapi-with-mic debug1: Unspecified GSS failure.   Minor code may provide more information No Kerberos credentials available debug1: Unspecified GSS failure.   Minor code may provide more information No Kerberos credentials available debug1: Unspecified GSS failure.   Minor code may provide more information ... 원인 GSSAPIAuthentication 관련 이슈 해결책 Sshd 서버의 /etc/ssh/sshd.config 에서 GSSAPIAuthentication 옵션을 no로 설정 후 sshd 서비스 재시작
자세한 내용 보기

[ELK] search guard를 이용한 보안 설정 (사용자 권한)

Search Guard 개요 ELK의 X-pack 대신 사용 권한 기능을 제공하는 Free 오픈소스 SSL/TLS 적용 필수 (Kibana 로그인만 보안 적용 불가능) 설치 Search Guard Download 사이트에서 ELK 각 모듈별 버전에 맞는 플러그인 다운로드 후 설치 예시: ELK 6.2.4 버전인 경우 search-guard-6-6.2.4-22.3.zip search-guard-kibana-plugin-6.2.4-13.zip Elasticsearch Plugin 설치 Elasticsearch Plugin 설치 $ ./bin/elasticsearch-plugin install -b file:///data/ELK/packages/6.2.4/search-guard-6-6.2.4-22.3.zip Elasticsearch Plugin 설정 $ cd ./plugins/search-guard-6/tools $ bash ./install_demo_configuration.sh Elasticsearch 실행 $ ./bin/elasticsearch 아래와 같이 에러 발생 시 조치  max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 조치 사항 Max Open file 을 위한 설정 /etc/systemd/system.conf 파일의 DefaultLimitNOFILE=65536 으로 설정 리부팅 필요 VM 을 위한 설정 $ sudo sysctl -w vm.max_map_count=262144 Elasticsearch의 plugins/search-guard-/sgconfig의 설정 반영 $
자세한 내용 보기

공공데이터(openapi) 사용법 (특정 정류소, 버스의 남은 좌석 확인 하기)

회사가 출퇴근 자율제에 주 40시간 근무 규정이 생긴지 몇달이 되어간다. 출근할 때 버스의 남은 좌석을 안다면 편한 나의 출근 시간을 정할 수 있을텐데.. 우선 남은 버스 좌석 데이터를 모으면 어떻게(통계, Regression, 딥러닝 등) 해서라도 위 궁금증을 해결할 수 있으리라 생각한다. 그래서 아래와 같이 데이터 취합을 시도했다 1. 공공데이터 사이트에 가입하기  - https://www.data.go.kr/   - 파일데이터/OpenAPI/표준데이터 제공 2. 로그인 => 데이터셋 => Open API 선택 => 기관별 선택  => "버스도착정보 조회" 검색 후  개발 계정 신청 (IE 9 이상에서만 신청 가능)  - 정류소와 노선번호를 기준으로 첫번째, 두번째 도착 예정 버스의 위치정보와 도착 예정시간, 빈자리 지상버스 정보를 REST SOAP 방식의 API로 제공  - 일반/서버 유형 선택 가능  - 일일 트래픽 1000 제한 (?) (why? 개발 계정이기 때문에)    - 운영(서비스)계정 활용 신청 시 필요한 트래픽을 요청할 수 있음 3. 마이페이지 => OpenAPI => 개발계정 => 인증키 신청 후 => 인증키 발급 현황에서 확인 가능  - 나의 인증키 : OSE.....%3D 4. 경기버스정보에서 Rest API를 통해서 데이터 수집 가능 - 버스도착정보항목조회 - https://www.gbis.go.kr/gbis2014/publicService.action?cmd=tBusArrivalItem - 노선 ID와 정류소 ID는 어떻게 아는 거지?   - 기반정보조회 테스트에서 다운로드 링크 확인 후 txt 파일 다운로드해서 확인 가능     - routeId=204000057     - stationId=209000160 5. 아래 URL로 데이터 확인 가능  - URL: http://openapi.gbis.go.kr/ws/
자세한 내용 보기