2012년 11월 11일 일요일

3. Metadata 활용 - Oracle 테이블 활용

앞에서 오라클연결을 하였고 연결된 오라클 계정의 테이블을 확인하고, 활용하는 예를 설명한다.

1) Oracle Table 조회

  a) 연결된 오라클 연결정보에서 팝업메뉴를 통해 Retrieve Schema 기능을 클릭한다.


  
   b) 사용자가 원하는 테이블을 설정한다. (테이블 또는 뷰테이블)
       - Set the Name Filter를 활용하여 사용자가 원하는 테이블 명을 Filter를 한다.
         (예 : N%  -> N으로 시작하는 테이블 만)




   c) 활용할 테이블을 선택한다
       - 테이블 선택 시 Creation status가 Success로 변할때 까지 기다린다.
       - Column Number : 테이블의 Column 갯수




   d) 선택된 테이블의 정보를 확인한 후 Finish 버튼을 통해 종료한다.

 

   e) 결과를 확인한다.



2) Oracle Table 활용

  <Metadata에 연결된 오라클 테이블을 Job을 통해 활용>

  a) 먼저 생성된 Create_Job을 구동시킨다.
  b) Table schemas > ADMIN_DO 테이블을 Job 화면으로 드래그 & 드롭으로 가져다 놓는다.

    - Components 화면에서 tOracleInput component를 선택한다.



   c) Job 화면 오른쪽 Palette 창에서 Logs & Errors > tLogRow component를 b)와 같은 방법으로 드래그 & 드롭으로 가져다 놓는다.



    d) tOracleInput 선택하여 팝업 메뉴에서 Row > Main 기능을 클릭한다.


    e) tLogRow로 화살표를 이어 준다.


    f) tLogRow 선택 후, 화면 아래 Component 설정창에서 'Edit schema' 기능을 클릭하여 설정된 Schema를 확인한다.

    g) 화면 아래 Run 화면으로 이동하여 'Run' 버튼을 통해 오라클에 담겨져 있는 정보를 확인한다.
      - tOracleInput  conponent 설정창에 Query문은 아래와 같이 설정되어 있음을 확인해야 한다.

     <Query>
     "SELECT  계정.ADMIN_DO.OBJECTID, 계정.ADMIN_DO.DO, 계정.ADMIN_DO.NAME, 
       계정.ADMIN_DO.SHAPE    FROM 계정.ADMIN_DO"










2. Metadata 활용 - Oracle연결

Job을 활용하여 ETL, SETL을 수행하기 위해
DBMS, 파일(csv, txt, xml 등) 및 공간데이터(ArcSDE, GeoNURIS GSS, Shape)의 연결이 필요하다.

TOS에서는 Metadata 부분을 이용하여 DBMS 및 파일을 활용할 수 있도록 지원하고 있으며
공간데이터 활용은 GeoNURIS-SDI를 설치 할 경우 Map, Catalog등의 기능을 이용하여 공간정보를 조회, 관리 할 수 있다.

1) Metadata 활용

   - Metadata 구성은 여러가지 종류가 있으나 내가 알고 있는 부분에 대해서 설명하도록 하겠다.

   
     > Db Connections :   DBMS 연결정보 및 테이블 /Schema 정보관리
     > File delimited      :   csv, txt 파일의 Schema 정보관리
     > File XML            :   XML 파일의 Schema 정보관리 
     > File Excel           :   Excel 파일의 Schema 정보관리
     > Generic schemas      : 사용자가 사용되는 데이터의 Schema정보 관리




2) Db Connections 연결

   a) Metadata Pop메뉴에서 Create connection를 선택한다.


   b) 연결정보 이름과 설명을 입력 후, Next버튼을 클릭한다.



    c) 오라클 연결정보를 입력 후 Check 버튼을 활용하여 연결을 확인한다.
         - Data Type, Db Version 확인
         - 연결정보 입력



   d) Finish 버튼으로 오라클 연결을 종료한다.

1. Job생성

TOS를 사용 첫번째로 ETL, SETL을 활용하는데 있어 사용자 업무프로세스를 작성 할 수 있는 Job 생성에 대해 알아 보도록 한다.

1) 폴더생성
    : Repository 화면에서 원하는 폴더 생성

    <Test 폴더를 생성>

 

   
2) Job생성
  
   
   Job 생성화면에서 Job Name은 반드시 영문으로 시작하여야 한다.
   (한글, 숫자는 시작할 수 없슴)


<Job 생성화면>
   
   Job을 생성 후 위와 같은 화면으로 Job을 시작한다.




2012년 11월 1일 목요일

Talend Open Studio 사용법 - 동영상

Talend Open Studio(TOS)의 사용법 입니다.

<Lesson 1 : Getting Started>
  : 동영상은
  -> TOS 구동 설명
  -> 메뉴구조 설명
  -> Job 생성 및 활용 등
 기본적으로 사용하는 내용을 보여주는 동영상입니다.



Spatial ETL 소개 시작!!

유럽의 Talend Open Studio 소개와 TOS 기반 공간정보 ETL에 관해 정보를 공유하고자 블로그를 만듭니다.

Talend            




[개요]
Spatial ETL은 공간정보 비즈니스를 하는 사용자들과 공간정보 및 일반정보를 통합 할 수 있는 개발자에게 융통성 있는 데이터통합(공간,속성), GUI 기반 업무 프로세스 설계 및 구현 도구를 말합니다.

[구성]

[특징]
 융통성 있는 데이터 통합 솔루션 제공
  데이터의 적시 혹은 일괄 변경
  • 분석을 위한 추출, 변경, 적재(ETL
  • 복잡한 데이터의 추출과 적재 







 ☞ GUI 기반 업무 프로세스 설계 및 구현
  • 그래픽을 활용한 프로세스 개발 지원
  • 드래그 앤 드롭 인터페이스 제공
  • 실시간 디버깅 제공
  • 다양한 DB연결, 공간분석 및 업무로직 Component 제공
  • 공간데이터 분석 및 시뮬레이션 기능 제공










  진보적이고 유연한 접속성 보장
  • 데이터 통합 및 업무 프로세스 설계에 필요한 다양한 실무 커넥터 제공

    <커넥터>
     RDBMS : Oracle, PostgreSQL, MySQL, DB2, SQL Server, Sybase, Ingres,
     Web : Web Services, FTP, HTTP, POP, SMTP…
     Files : Delimited, positional, XML, Shape, Excel…
     Business Applications : ArcSDE SalesForce.com, LDAP…