Chuyển đổi XML thành dữ liệu quan hệ sử dụng trong DB2

Chuyển đổi XML thành dữ liệu quan hệ sử dụng trong DB2 Nguồn : quantrimang.com Băm nhỏ với XML Schema chú thích Trong phần tiếp theo này chúng tôi sẽ giới thiệu cho các bạn một phương p

Chuyển đổi XML thành dữ liệu quan hệ sử dụng trong DB2

Nguồn : quantrimang.com 

Băm nhỏ với XML Schema chú thích

Trong phần tiếp theo này chúng tôi sẽ giới thiệu cho các bạn một phương pháp

khác để băm nhỏ các tài liệu XML thành các bảng quan hệ Phương pháp này được gọi là băm nhỏ giản đồ chú thích hay phân tách lược đồ chú thích vì nó dựa trên các chú thích trong XML Schema Các chú thích này sẽ định nghĩa

cách các thành phần XML và các thuộc tính trong dữ liệu XML của bạn để bản

đồ hóa vào các cột trong các bảng quan hệ như thế nào

Để thực hiện quá trình băm nhỏ giản đồ có chú thích, bạn hãy thực hiện theo các cách sau:

• Nhận dạng và tạo các bảng mục tiêu quan hệ sẽ giữ dữ liệu được băm nhỏ

• Chú thích XML Schema của bạn để định nghĩa việc bản đồ hóa từ XML thành các bảng quan hệ

• Đăng ký XML Schema trong DB2 XML Schema Repository

• Băm nhỏ các tài liệu XML với các lệnh của bộ xử lý lệnh Command Line Processor hoặc các thủ tục

Giả dụ bạn đã định nghĩa các bảng quan hệ mà bạn muốn băm nhỏ, sau đây chúng ta sẽ quan sát việc chú thích một XML Schema

Việc chú thích XML Schema

Các chú thích của giản đồ, là các thành phần và các thuộc tính bổ sung trong một XML Schema, nhằm cung cấp các thông tin bản đồ hóa BD2 có thể sử

dụng các thông tin này để băm nhỏ các tài liệu XML vào các bảng quan hệ Cần

biết rằng các chú thích sẽ không thay đổi ngữ nghĩa học của XML Schema Nếu một tài liệu hợp lệ với giản đồ có chú thích thì nó cũng hợp lệ hóa với giản đồ gốc và ngược lại Bạn có thể sử dụng giản đồ có chú thích để hợp lệ hóa các tài liệu XML giống như XML Schema gốc

Dưới đây là một dòng từ một XML Schema:

<xs:element name="street" type="xs:string" minOccurs="1"/> Dòng trên định nghĩa một thành phần XML có tên gọi street, và tuyên bố rằng dữ liệu của nó là xs:string, thành phần này phải xuất hiện tối thiểu một lần Bạn có

thể bổ sung một chú thích vào định nghĩa của thành phần này để chỉ thị nó là thành phần sẽ được băm nhỏ vào cột STREET của bảng ADDRESS Chú thích gồm có hai thuộc tính bổ sung trong định nghĩa của thành phần:

<xs:element name="street" type="xs:string" minOccurs="1"

db2-xdb:rowSet="ADDRESS" db2-xdb:column="STREET"/>

Chú thích như vậy cũng có thể được cung cấp cho các thành phần giản đồ thay

vì các thuộc tính, xem thể hiện bên dưới Bạn sẽ thấy trong hình 8 rằng tại sao điều này lại hữu dụng

<xs:element name="street" type="xs:string" minOccurs="1">

<xs:annotation>

<xs:appinfo>

<db2-xdb:rowSetMapping>

<db2-xdb:rowSet>ADDRESS</db2-xdb:rowSet>

<db2-xdb:column>STREET</db2-xdb:column>

</db2-xdb:rowSetMapping>

</xs:appinfo>

</xs:annotation>

<xs:element/>

Tiền tố xs được sử dụng cho tất cả các cấu trúc thuộc về ngôn ngữ XML

Schema, tiền tố db2-xdb được sử dụng cho tất cả các chú thích giản đồ DB2 Các tiền tố này giúp bạn có thể phân biệt một cách rõ ràng và bảo đảm rằng giản

đồ có chú thích hợp lệ hóa với các tài liệu XML như giản đồ gốc

Có 14 kiểu chú thích khác nhau Chúng cho phép bạn chỉ định những gì băm nhỏ, nơi băm, cách lọc hoặc biến đổi dữ liệu được băm nhỏ và thứ tự nào để chèn vào các bảng mục tiêu Bảng 4 cung cấp cho các bạn một cái nhìn tổng quan về các chú thích có sẵn, chúng được chia thành các nhóm logic theo nhiệm

vụ của người dùng Các chú thích riêng lẻ sẽ được miêu tả kỹ hơn trong bảng 5

Nếu bạn muốn Sử dụng chú thích

Chỉ định các bảng mục tiêu để

băm

db2-xdb:rowSet db2-xdb:column db2-xdb:SQLSchema db2-xdb:defaultSQLSchema Chỉ định những gì cần băm db2-xdb:contentHandling

Chuyển đổi các giá trị dữ liệu

trong khi băm

db2-xdb:expression db2-xdb:normalization db2-xdb:truncate

db2-xdb:locationPath Bản đồ hóa một thành phần

hoặc thuộc tính vào nhiều cột db2-xdb:rowSetMapping

Bản đồ hóa một số thành phần

hoặc thuộc tính vào cùng cột db2-xdb:table

Định nghĩa thứ tự trong các

hàng được chèn vào bảng mục

tiêu, tránh các phá vỡ tính toàn

vẹn

db2-xdb:rowSetOperationOrder db2-xdb:order

Bảng 4 Tổng quan và việc nhóm các chú thích của giản đồ

db2-xdb:defaultSQLSchema

Giản đồ quan hệ mặc định cho các bảng mục tiêu

db2-xdb:SQLSchema Ghi đè giản đồ mặc định cho các bảng riêng rẽ db2-xdb:rowSet Tên bảng mà thành phần hoặc thuộc tính được bản

đồ hóa vào db2-xdb:column Tên cột và thành phần hoặc thuộc tính được bản đồ

hóa db2-xdb:contentHandling Với một thành phần XML, chú thích này sẽ định

nghĩa cách lấy giá trị được chèn vào cột mục tiêu db2-xdb:truncate Chỉ định giá trị sẽ được cắt hay không nếu chiều dài

của nó lớn hơn chiều dài của cột mục tiêu

db2-xdb:normalization Chỉ thị cách xử lý không gian trắng (whitespace) –

các giá trị hợp lệ là whitespaceStrip, canonical, và original

db2-xdb:expression Chỉ định biểu thức sẽ được áp dụng cho dữ liệu

trước khi chèn vào bảng mục tiêu

db2-xdb:locationPath Các bộ lọc dựa trên nội dung XML Cho ví dụ, sẽ

được băm nhỏ vào bảng cust nếu đó là một địa chỉ

khách hàng; còn sẽ được băm nhỏ vào bảng

employee nếu đó là địa chỉ nhân viên

db2-xdb:condition Chỉ định các điều kiện của giá trị để dữ liệu được

chèn vào bảng mục tiêu chỉ khi tất cả các điều kiện thỏa mãn

db2-xdb:rowSetMapping Cho phép người dùng chỉ định nhiều bản đồ hóa,

đối với cùng hoặc các bảng khác nhau, cho một thành phần hoặc thuộc tính

db2-xdb:table Bản đồ hóa nhiều thành phần hoặc thuộc tính vào

một cột

db2-xdb:order Chỉ định thứ tự chèn của các hàng giữa nhiều bảng

db2-xdb:rowSetOperationOrder

Nhóm nhiều chú thích db2-xdb:order vào với nhau

Bảng 5 Các chú thích XML Schema

Để minh chứng cho quá trình phân tách giản đồ có chú thích, chúng ta hãy sử dụng kịch bản băm nhỏ trong hình 1 làm ví dụ Giả dụ rằng các bảng mục tiêu

đều được định nghĩa như thể hiện trong hình 1 Giản đồ chú thích định nghĩa việc bản đồ hóa theo mong muốn được cung cấp trong hình 8 Hãy quan sát các dòng được bôi đậm Dòng bôi đậm đầu tiên tuyên bố tiền tố tên db2-xdb, tiền tố này được sử dụng xuyên suốt giản đồ để phân biệt các chú thích BD2 với các tab XML Schema thông thường Trường hợp đầu tiên sử dụng tiền tố này nằm trong chú thích db2-xdb:defaultSQLSchema, đây là chú thích định nghĩa giản đồ quan hệ của các bảng mục tiêu Chú thích tiếp theo xuất hiện trong định nghĩa của thành phần name Hai thuộc tính của chú thích này

db2-xdb:rowSet="ADDRESS" và db2-xdb:column="NAME" định nghĩa bảng và cột mục tiêu cho thành phần name Tương tự như vậy, các thành phần street và city cũng được bản đồ hóa vào các cột tương ứng của bảng ADDRESS Hai chú thích tiếp theo bản đồ hóa số điện thoại phone và thuộc tính kiểu type vào các cột trong bảng PHONES Khối các chú thích cuối cùng thuộc về định nghĩa thuộc tính Cid Do thuộc tính Cid sẽ trở thành khóa join giữa bảng ADDRESS và

PHONE, nên nó phải được bản đồ hóa vào cả hai bảng Phải cần đến hai bản đồ

thiết lập hàng, yêu cầu sử dụng thành phần chú thích - annotation elements thay

vì thuộc tính chú thích - annotation attributes Đầu tiên db2-xdb:rowSetMapping

sẽ bản đồ hóa thuộc tính Cid vào cột CID trong bảng ADDRESS Sau đó db2-xdb:rowSetMapping sẽ gán thuộc tính Cid vào cột CID trong bảng PHONES

<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"

elementFormDefault="qualified"

xmlns:db2-xdb="http://www.ibm.com/xmlns/prod/db2/xdb1" > <xs:annotation>

<xs:appinfo>

<db2-xdb:defaultSQLSchema>db2admin</db2-xdb:defaultSQLSchema>

</xs:appinfo>

</xs:annotation>

<xs:element name="customerinfo">

<xs:complexType>

<xs:sequence>

<xs:element name="name" type="xs:string"

minOccurs="1"

db2-xdb:rowSet="ADDRESS" db2-xdb:column="NAME"/>

<xs:element name="addr" minOccurs="1"

maxOccurs="unbounded">

<xs:complexType>

<xs:sequence>

<xs:element name="street" type="xs:string"

minOccurs="1" db2-xdb:rowSet="ADDRESS"

db2-xdb:column="STREET"/>

<xs:element name="city" type="xs:string"

minOccurs="1" db2-xdb:rowSet="ADDRESS"

db2-xdb:column="CITY"/>

<xs:element name="prov-state"

type="xs:string"

minOccurs="1" />

<xs:element name="pcode-zip" type="xs:string" minOccurs="1" />

</xs:sequence>

<xs:attribute name="country" type="xs:string" />

</xs:complexType>

</xs:element>

<xs:element name="phone" minOccurs="0"

maxOccurs="unbounded" db2-xdb:rowSet="PHONES" db2-xdb:column="PHONENUM">

<xs:complexType>

<xs:simpleContent>

<xs:extension base="xs:string">

<xs:attribute name="type"

form="unqualified"

type="xs:string" db2-xdb:rowSet="PHONES" db2-xdb:column="PHONETYPE"/>

</xs:extension>

</xs:simpleContent>

</xs:complexType>

</xs:element>

</xs:sequence>

<xs:attribute name="Cid" type="xs:integer">

<xs:annotation>

<xs:appinfo>

<db2-xdb:rowSetMapping>

<db2-xdb:rowSet>ADDRESS</db2-xdb:rowSet>

<db2-xdb:column>CID</db2-xdb:column>

</db2-xdb:rowSetMapping>

<db2-xdb:rowSetMapping>

<db2-xdb:rowSet>PHONES</db2-xdb:rowSet>

<db2-xdb:column>CID</db2-xdb:column>

</db2-xdb:rowSetMapping>

</xs:appinfo>

</xs:annotation>

</xs:attribute>

</xs:complexType>

</xs:element>

</xs:schema>

Hình 8: Giản đồ chú thích để thực thi quá trình băm nhỏ trong hình 1

Định nghĩa các chú thích giản đồ trực giác trong IBM Data Studio

Bạn có thể tự bổ sung thêm các chú thích vào một XML Schema, bằng cách sử dụng bất cứ trình soạn thảo văn bản nào hoặc trình soạn thảo XML Schema Ngoài ra bạn có thể sử dụng Annotated XSD Mapping Editor trong IBM Data Studio Developer Để triệu gọi trình soạn thảo, hãy kích chuột phải vào tên của một XML Schema nào đó và chọn Open With, Annotated XSD Mapping Editor Khi đó cửa sổ trình soạn thảo bản đồ sẽ được hiển thị như trong hình 9 Bên trái của trình soạn thảo thể hiện cấu trúc tài liệu có thứ bậc được định nghĩa bởi XML Schema (Source) Phía bên phải thể hiện các bảng và các cột của giản đồ mục tiêu quan hệ (Target) Bạn có thể bổ sung thêm các quan hệ bản đồ bằng cách kết nối các mục nguồn với cột mục tiêu Bên cạnh đó chương trình còn có một chức năng khám phá để giúp bạn tìm các mối quan hệ có thể Các mối quan

hệ được bản đồ hóa sẽ được trình bày trong bộ soạn thảo bằng các dòng kẻ giữa các thành phần nguồn và cột mục tiêu

Hình 9: Trình soạn thảo Annotated XSD Mapping Editor trong Data Studio

Developer

Đăng ký giản đồ chú thích

Sau khi đã tạo một XML Schema có chú thích, bạn cần đăng ký nó trong XML Schema Repository của cơ sở dữ liệu Đối với giản đồ chú thích trong hình 8, chúng ta có đầy đủ thẩm quyền để phát lệnh REGISTER XMLSCHEMA với các tùy chọn COMPLETE và ENABLE DECOMPOSITION của nó như thể hiện trong hình 10 Trong ví dụ này, XML Schema được giả định cư trú trong file

/xml/myschemas/cust2.xsd Nhờ vào hành động đăng ký, nó được gán Id SQL db2admin.cust2xsd Id này có thể được sử dụng cho việc tham chiếu giản đồ sau này Tùy chọn COMPLETE của lệnh chỉ thị rằng, không có các tài liệu XML Schema bổ sung được thêm vào Tùy chọn ENABLE DECOMPOSITION chỉ thị rằng XML Schema có thể được sử dụng không những cho việc hợp lệ hóa tài

liệu mà còn có thể được sử dụng cho việc băm nhỏ (shred)

REGISTER XMLSCHEMA 'http://pureXMLcookbook.org'

FROM '/xml/myschemas/cust2.xsd'

AS db2admin.cust2xsd COMPLETE ENABLE DECOMPOSITION;

Hình 10: Đăng ký giản đồ chú thích XML Hình 11 thể hiện rằng bạn có thể truy vấn khung nhìn hạng mục DB2

syscat.xsrobjects để xác định xem liệu giản đồ đã đăng ký có được kích hoạt cho

sự phân tách (Y) hay chưa (N)

SELECT SUBSTR(objectname,1,10) AS objectname,

status, decomposition

FROM syscat.xsrobjects ;

OBJECTNAME STATUS DECOMPOSITION

- - -

CUST2XSD C Y

Hình 11: Kiểm tra trạng thái của XML schema có chú thích

Trạng thái DECOMPOSITION của giản đồ chú thích sẽ tự động được thay đổi

thành X (inoperative) và việc băm nhỏ sẽ bị vô hiệu hóa, nếu bất kỳ các bảng

mục tiêu nào bị hạ hoặc một cột mục tiêu nào đó bị thay đổi Không có cảnh báo nào xuất hiện khi điều này xảy ra và các cố gắng về sau để sử dụng giản đồ cho việc băm nhỏ sẽ thất bại Bạn có thể sử dụng các lệnh dưới đây để vô hiệu hóa

và kích hoạt một giản đồ chú thích cho việc băm nhỏ:

ALTER XSROBJECT cust2xsd DISABLE DECOMPOSITION;

ALTER XSROBJECT cust2xsd ENABLE DECOMPOSITION;

Phân tách một tài liệu XML tại một thời điểm

Sau khi đã đăng ký và kích hoạt một XML Schema chú thích, bạn có thể phân tách các tài liệu XML với lệnh DECOMPOSE XML DOCUMENT hoặc với thủ tục lưu trữ Lệnh DECOMPOSE XML DOCUMENT rất thuận tiện sử dụng trong DB2 Command Line Processor (CLP), còn thủ tục lưu trữ có thể được gọi từ một chương trình nào đó hoặc CLP Lệnh CLP sẽ cần đến hai tham số đầu vào:

filename của tài liệu XML được băm nhỏ và Id SQL của giản đồ chú thích, như

thể hiện trong ví dụ bên dưới:

DECOMPOSE XML DOCUMENT /xml/mydocuments/cust01.xml

XMLSCHEMA db2admin.cust2xsd VALIDATE;

Từ khóa VALIDATE hoàn toàn mang tính tùy chọn và chỉ thị các tài liệu XML có được hợp lệ hóa đối với giản đồ như một phần của quá trình băm nhỏ hay

không Trong khi băm nhỏ, DB2 sẽ xem xét cả tài liệu XML và giản đồ chú thích, phát hiện những vi phạm giản đồ mức cơ sở dù từ khóa VALIDATE không được chỉ định Cho ví dụ, quá trình băm nhỏ sẽ thất bại nếu một thành phần nào đó có tính bắt buộc bị mất, dù thành phần này không được băm nhỏ và từ khóa

VALIDATE bị bỏ qua Tương tự như vậy, các thành phần không liên quan đến vấn đề được đề cập hoặc các vi phạm về kiểu dữ liệu cũng là nguyên nhân gây

ra sự thất bại cho quá trình chia tách Lý do ở đây là rằng quá trình băm nhỏ sẽ

đi qua toàn bộ XML Schema chú thích và tài liệu tức thời và phát hiện được các

vi phạm về giản đồ thậm chí bộ phân tích cú pháp XML không thực hiện hành động hợp lệ hóa

Để phân tách các tài liệu XML từ một chương trình ứng dụng, bạn có thể sử dụng thủ tục lưu trữ XDBDECOMPXML Các tham số của thủ tục này được thể hiện trong hình 12 và được mô tả chi tiết trong bảng 6

>>-XDBDECOMPXML ( rschema , xmlschemaname , xmldoc , >

> documentid , validation , reserved , reserved , ->

> reserved ) -><

Hình 12: Cú pháp và các tham số của thủ tục lưu trữ XDBDECOMPXML

Tham số Mô tả

rschema Phần giản đồ quan hệ của Id SQL (SQL identifier) hai phần

trong XML Schema chú thích Cho ví dụ, Id SQL của XML

Schema là db2admin.cust2xsd, thì bạn nên pass chuỗi 'db2admin' đến tham số này Trong DB2 cho z/OS, giá trị này phải là 'SYSXSR' hoặc NULL

xmlschemaname Phần thứ hai nằm trong Id SQL của XML Schema chú thích

Nếu Id SQL của XML Schema là db2admin.cust2xsd, thì bạn

có thể pass chuỗi 'cust2xsd' đến tham số này Giá trị lúc này không thể là NULL

xmldoc Trong DB2 cho Linux, UNIX, và Windows, tham số này có kiểu

BLOB(1M) và sẽ phân tách tài liệu XML Trong DB2 cho z/OS, tham số này có kiểu CLOB AS LOCATOR Và không thể là NULL

documentid Một chuỗi mà bộ gọi có thể sử dụng để phân biệt tài liệu XML

đầu vào Giá trị được cấp sẽ được thay thế cho bất kỳ mục đích của $DECOMP_DOCUMENTID nào được chỉ định trong các chú thích db2-xdb:expression hoặc db2-xdb:condition validation Các giá trị có thể nhận là 0 (không hợp lệ) và 1 (sự hợp lệ

được thực hiện) Tham số này không tồn tại trong DB2 cho z/OS

reserved Các tham số được dự trữ để sử dụng sau này Các giá trị

được pass cho các đối số này phải là NULL Các tham số này không tồn tại trong DB2 cho z/OS

Bảng 6: Phần mô tả các tham số của thủ tục XDBDECOMPXML

Một đoạn mã Java dùng để gọi thủ tục lưu trữ được thể hiện trong hình 13

CallableStatement callStmt = con.prepareCall(

"call SYSPROC.XDBDECOMPXML(?,?,?,?,?, null, null, null)"); File xmldoc = new File("c:\mydoc.xml");

FileInputStream xmldocis = new FileInputStream(xmldoc); callStmt.setString(1, "db2admin" );

callStmt.setString(2, "cust2xsd" );

// document to be shredded:

callStmt.setBinaryStream(3,xmldocis,(int)xmldoc.length() ); callStmt.setString(4, "mydocument26580" );

// no schema validation in this call:

callStmt.setInt(5, 0);

callStmt.execute();

Hình 13: Mã Java để triệu gọi thủ tục XDBDECOMPXML Tham số đầu vào cho các tài liệu XML là kiểu CLOB AS LOCATOR trong DB2

cho z/OS, còn nó sẽ là kiểu BLOB(1M) trong DB2 cho Linux, UNIX, và Windows Nếu bạn mong đợi các tài liệu XML của mình lớn hơn 1MB, hãy sử dụng một trong các thủ tục được liệt kê trong bảng 7 Các thủ tục này đều giống nhau ngoại từ tên của chúng và kích thước của tham số đầu vào xmldoc Khi bạn gọi một thủ tục, DB2 sẽ chỉ định bộ nhớ theo kích thước được tuyên bố của các tham số đầu vào Cho ví dụ, nếu tất cả các tài liệu đầu vào của bạn hầu như đều

có kích thước 10MB, thủ tục XDBDECOMPXML10MB sẽ là một lựa chọn tốt nhất cho bộ nhớ

Thủ tục Kích thước tài liệu Được hỗ trợ từ

XDBDECOMPXML10MB ≤10MB DB2 9.1

XDBDECOMPXML25MB ≤25MB DB2 9.1

XDBDECOMPXML50MB ≤50MB DB2 9.1

XDBDECOMPXML75MB ≤75MB DB2 9.1

XDBDECOMPXML100MB ≤100MB DB2 9.1

XDBDECOMPXML500MB ≤500MB DB2 9.5 FP3

XDBDECOMPXML1GB ≤1GB DB2 9.5 FP3

XDBDECOMPXML1_5GB ≤1.5GB DB2 9.7

Bảng 7: Các thủ tục lưu trữ cho các kích thước tài liệu khác nhau (DB2 cho

Linux, UNIX, và Windows)

Để có được khả năng tương thích nền tảng, DB2 cho z/OS hỗ trợ thủ tục

XDBDECOMPXML100MB với các tham số giống như DB2 cho Linux, UNIX, và Windows, gồm có cả tham số để hợp lệ hóa

Phân tách các tài liệu XML dưới dạng kích thước

DB2 9.7 cho Linux, UNIX, và Windows giới thiệu một thủ tục mới mang tên

XDB_DECOMP_XML_FROM_QUERY Nó sử dụng một giản đồ chú thích để phân tách một hoặc nhiều tài liệu XML đã chọn từ cột có kiểu XML, BLOB, hoặc VARCHAR FOR BIT DATA Sự khác biệt chính đối với thủ tục

XDBDECOMPXML là XDB_DECOMP_XML_FROM_QUERY sử dụng một truy vấn SQL như một tham số và thực thi nó để thu được các tài liệu đầu vào từ

bảng DB2 Với số lượng các tài liệu lớn hơn, thao tác LOAD theo sau là "bulk decomp" (tách khối lượng lớn) có thể hiệu quả hơn so với việc băm nhỏ các tài

liệu Hình 14 thể hiện các tham số của thủ tục này Các tham số commit_count

và allow_access tương tự như các tham số tương ứng của tiện ích IMPORT DB2 Các tham số total_docs, num_docs_decomposed, và result_report là các tham số đầu ra để cung cấp thông tin về kết quả của quá trình băm nhỏ với khối