전체 글
0726 파이썬 공공데이터 가져오기 - 혼자
=> XML로 가져온 데이터가 딕셔너리 타입으로 변환된 것을 볼 수 있는데 이때, 이 키 값을 가지고 adress_list 변수에 넣고 딕셔너리타입으로 변환된 변수의 결과를 분석해 우편번호, 도로명주소, 지번주소를 추출함!
0726 파이썬 map()
map() - 배열과 같이 사용할 수 있음, list나 dict같은 iterable한 데이터를 인자로 받아 list안에 개별 item을 함수의 인자로 전달하여 결과를 list로 반환해 주는 함수임! - 아래 예제와 같은 방식으로 리스트로든, 딕셔너리로든 넘겨줄 수 있음 간단하게는 map(func, [1,2,3,4]) 이런식으로 써줄 수 있고 아래는 딕셔너리의 value값을 넘겨주기위한 코드! => 근데 출력을 어떻게 해야하는지 모르겠다,,,,, 분명 함수에 들어가는데 디버깅용인 1은 왜 출력이 되지않을까?.. 스파이더에서 실행해보아야 겠음 => 단순하게 인자만 넘겨주는 역할인건가,,?
0725 파이썬 웹 스크레이핑
* 크롤링 - 무조건 가져오는 것 * 스크레이핑 - 데이터중 원하는것만 정제하여 가져오는 것 http => 통신방식 - 웹페이지 소스 갖고오기 (urllib를 원래썼었는데 requests가 새로나옴) BeautifulSoup 이용하기 - 출력문을 따로 써주면 이런식으로 띄어쓰기도 포함해서 잘 나옴 - 데이터 찾고 추출하기 find(), .get_text() - zip을 이용한 for문으로 데이터텍스트만 뽑아내기 #은 id - 웹사이트 데이터 가져오기 - 노래제목 데이터 가져오기 - 요소검사를 정확히 노래제목위에서 하기 (feat이런거 하지마셈) ==> 이렇게 했을 때 아래는 자바스크립트로 이루어져있기 때문에 스크래핑에서 빠져버렸다 => 그렇기 때문에 위에
0723 NumPy
- 배열 객체의 타입확인 => dtype (원래는 type이었으나 numpy를 import했기 때문에 dtype을 써줌) - reshape(M,N) 함수 일차원적인 리스트를 m행 n열로 재정렬해줌 (모양만 변화) - linspace 범위의 시작과 끝, 데이터의 개수를 지정해 배열생성. => 눈에 보이는 숫자만큼 무조건 포함 - zeros, ones - 단위행렬 eye ######################################################################################## # numpy 배열의 형변환 # rand() # 배열의 기본연산 #-2 누적값, 누적합 ## 연습 # 배열데이터 효과적으로 다루기
0717 파이썬 기초2
[ 세트 ] - 집합의 개념 - 세트에 들어있는 값은 항상 유일 - 집합 연산 가능 교집합 A.intersection(B) myset1 & myset2 합집합 A.union(B) myset1 | myset2 차집합 A.difference(B) myset1 - myset2 (myset1 ^ myset2) * ^ : 대칭차집합 - 합집합에서 교집합을 뺀 것 [ 제어문 ] - pass (continue) [ 컴프리헨션 ] - 압축해서 사용 - 세트타입만들기 - 딕셔너리타입만들기