데이터 엔지니어링의 기본 업무 중 하나는 다양한 소스와 대량의 데이터를 저장하고 처리하는 것입니다. 데이터 요구 사항과 사용 사례에 따라 관계형 데이터베이스, NoSQL 데이터베이스, 데이터 웨어하우스, 데이터 레이크 또는 분산 파일 시스템과 같은 다양한 유형의 데이터 저장 및 처리 시스템을 사용할 수 있습니다. 이러한 각 시스템에는 확장성, 성능, 비용, 보안 및 호환성과 같은 고유한 장단점이 있습니다. 저는 외부에서 API를 사용하여 Formula 1 데이터를 수집하고 저장하는 데 사용할 수 있는 Azure Storage 를 먼저 만들어 보겠습니다.
1. Azure 포털에 로그인: 먼저 Azure 포털에 로그인합니다.
2. 새로운 Azure Storage 만들기:
- Azure 포털에서 왼쪽 상단에 있는 "리소스 만들기" 버튼을 클릭합니다.
- "Storage" 카테고리에서 "Storage 계정"을 선택합니다.
3. 기본 설정 구성:
- "기본 설정" 섹션에서 다음을 설정합니다:
- 구독: 사용할 구독을 선택합니다.
- 프로젝트 세부 정보: Storage 계정의 이름을 지정합니다.
- 리소스 그룹: 새 리소스 그룹을 만들거나 이미 있는 것을 선택합니다.
- 지역: 데이터 센터 위치를 선택합니다.
- 성능: "Standard"를 선택합니다.
4. 고급 설정 (선택사항):
- "고급" 탭에서는 기본 설정을 유지하거나 필요에 따라 수정합니다. 예를 들어, 데이터 백업을 위해 "복구 정책"을 GRS (지역적 재해 복구)로 설정할 수 있습니다.
5. 리뷰 + 만들기:
- 설정을 확인하고 "리뷰 + 만들기" 버튼을 클릭합니다.
6. Azure Storage Explorer 설치:
- Azure Storage를 쉽게 관리하려면 Azure Storage Explorer를 설치합니다. 다운로드하고 설치 후 Azure 계정에 로그인합니다.
7. Storage 계정에 연결:
- Azure Storage Explorer를 열고, Azure Storage 계정에 연결합니다. 이를 위해 Azure 계정 정보와 구독을 입력해야 합니다.
8. 데이터 업로드:
- Azure Storage Explorer를 사용하여 파일이나 폴더를 업로드할 수 있습니다. Storage 계정을 선택하고 업로드할 파일을 추가합니다.
이제 Formula 1 데이터를 저장하고 적재할 준비가 되었습니다. 이렇게 생성된 Azure Storage를 사용하여 데이터를 안전하게 저장하고 관리할 수 있습니다. 다음 과제는 이 저장소에 수집된 데이터를 어떻게 가공할 것인지 포스팅하겠습니다.
읽어주셔서 감사합니다. 공감버튼을 눌러주시면 힘이 됩니다.🥰
반응형