DMS - Database Migration Service - 1 - 시작하기

https://aws.amazon.com/ko/dms/

DMS 시작할 때 설정 방법을 알아보자

1. 복제 인스턴스

• aws 서비스 탭에서 마이그레이션 및 전송에 Database Migration Service 탭으로 이동한다.
• 리소스 관리에 복제 인스턴스에 들어간다.
• 생성하기 눌러준다.
• 복제 인스턴스 구성에 알맞게 입력해준다

• 인스턴스 클래스는 높을수록 성능이 좋으나 금액이 많이 나오니 잘 확인해보자. 처음에 낮은거로 하고 너무 느리다 싶으면 올리는 것을 추천한다. 나는 test라 낮은거로 선택했다.
• VPC는 RDS에 설정해 놓은 VPC를 선택해주면 된다. 연결&보안에 나와있다.
• 밑에 고급 보안 및 네트워크 구성탭을 열어 설정해준다

• 가용영역에 a, b, c 중 하나 선택해주고 VPC 보안 그룹도 RDS에 설정된 보안그룹을 확인 후 같은 걸로 선택해준다.

---

2. 엔드포인트

• 리소스 관리에 엔드포인트에 들어가보면 유형이 있다. 이 유형은 소스/대상이 있다.
• 소스는 읽기에 해당하고 대상은 쓰기에 해당한다.
• 말그대로 소스는 복제하려는 데이터가 있는 곳이고 대상은 옮기고자 하는 데이터베이스 이다.
• 엔드포인트 생성 누르기

• 유형에는 두가지가 있고 소스 먼저 생성. RDS DB 인스턴스 선택 누르면 계정에 있는 RDS 인스턴스 목록이 나오고 이중 읽기 인스턴스를 선택해준다. (소스는 읽어야 하므로)
• RDS DB 인스턴스 선택을 누르지 않고 소스엔진에서 aurora가 아닌 다른 DB를 선택하면 입력창이 나온다.
• 서버 이름은 RDS의 읽기 인스턴스 엔드포인트
• 엔드포인트 구성이 생기면서 자동으로 입력이 되는데 확인해주고 암호입력해준다.
• 다 입력 했으면 맨밑에 엔드포인트 연결 테스트(선택 사항)이 있으므로 RDS에서 설정 해줬던 VPC 선택 후 테스트 실행 해보자

• successful이 나왔으면 성공
• 대상 엔드포인트도 동일하게 입력해주고 테스트 진행
• 주의 해야 할것은 대상의 데이터베이스 엔진의 유형이 무엇인지 잘 체크

---

TASK

• 데이터 마이그레이션 태스크 생성

• 만들어둔 복제 인스턴스 선택, 소스 엔드포인트 선택, 대상 엔드포인트 선택
• 마이그레이션 유형은 기존 데이터만 마이그레이션 하기때문에 선택

• 대상 테이블 준비 모드
  • 아무 작업 안 함
    • 테이블이 없으면 테이블 생성
    • 테이블은 있으나 컬럼이 없는 경우 제외하고 복제
    • 컬럼의 순서는 상관 없음
  • 대상에서 테이블 삭제
    • 테이블 드랍 후 데이터 삽입
  • 자르기
    • 테이블이 없으면 테이블 생성
    • 테이블은 있으나 컬럼이 없는 경우 제외하고 복제
    • 컬럼의 순서는 상관 없음
    • 메타데이터는 그대로 두고 데이터를 제거
• 복제에 LOB 열 포함
  • 해당 테이블에 LOB 컬럼이 있는지 (Mysql -> text, longtext ...) 없다면 포함 안함
  • 있다면 전체나 제한적 둘중 선택하면 된다.
  • 하나의 팁을 주자면 테이블들 중 LOB 컬럼 중 제일 큰 LOB의 크기를 찾는다. 이 크기보다 살짝 더 크게 제한 걸어두면 훨씬 빠르다. (작으면 잘려서 들어감. 예를 들어 20kb의 length를 가진 컬럼을 10kb로 제한을 걸면 데이터의 절반만 들어감 주의!!)
• 검증 활성화
  • 복제가 끝난 뒤 데이터 검증을 한번 더 한다. (시간 좀 걸림)
• 로그 활성화는 켜주는게 좋긴 하다. DMS 도중 오류가 났을 경우 로그 활성화를 켜주지 않으면 오류를 찾기 힘들다.
• 테이블 매핑

 

• json 형식으로 편집해서 넣는게 더 쉬워서 나는 편집하고 넣는다.
• 작성 방식은 https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TableMapping.html 참고

---

주의 사항!

DMS 진행 시 인덱스는 옮겨지지 않는다.

대상에서 테이블 삭제 옵션이 아니라면 대상 테이블에 미리 생성 후 인덱싱 작업 완료 하고 dms 작업 하는걸 추천한다.