Kho dữ liệu dùng chung thành phố Đà Nẵng

Với sự xuất hiện của hàng triệu thiết bị thông minh như điện thoại di động, camera, cảm biến…, dữ liệu sinh ra ngày càng phức tạp, khối lượng dữ liệu lớn, tốc độ tăng trưởng nhanh, yêu cầu xử lý theo thời gian thực, đa dạng về chủng loại gồm có cấu trúc, bán cấu trúc, phi cấu trúc. Sự phức tạp này khiến cho các phần mềm quản lý dữ liệu và báo cáo nghiệp vụ thông thường không còn phù hợp với dữ liệu lớn.

Tại thành phố Đà Nẵng, dữ liệu còn cát cứ, rời rạc, chưa được tích hợp, quản lý thống nhất để hỗ trợ việc ra quyết định. Nỗ lực triển khai trục tích hợp dữ liệu và các dịch vụ dữ liệu cũng chỉ giải quyết được vấn đề cung cấp dữ liệu đơn lẻ. Sự thiếu sót và thiếu tính chuẩn xác, sự sai lệch, không khớp nhau về lược đồ dữ liệu (data schema), không toàn diện về dữ liệu khiến cho việc sử dụng dữ liệu hợp nhất từ nhiều nguồn gặp nhiều khó khăn. Đây cũng là vấn đề mà thế giới đang tập trung giải quyết.

Giải pháp phù hợp cho vấn đề nêu trên là xây dựng một nền tảng dữ liệu (Data Platform) tổng quát, linh hoạt có khả năng thu nhận, hợp nhất, chuẩn hóa dữ liệu đến từ nhiều nguồn, hỗ trợ lưu trữ, phân tích, xử lý dữ liệu lớn.

Do đó, để đảm bảo triển khai hiệu quả thành phố thông minh, thành phố Đà Nẵng đã phát triển nền tảng Kho dữ liệu dùng chung nhằm hỗ trợ lãnh đạo thành phố ra quyết định chính xác, tối ưu, cung cấp tri thức, hiểu biết về quá trình hoạt động của đô thị, dự báo sự phát triển kinh tế xã hội thành phố.

Việc xây dựng nền tảng Kho dữ liệu dùng chung thành phố Đà Nẵng là một trong những nhiệm vụ quan trọng, cấp thiết và phù hợp với xu hướng chuyển đổi số, xây dựng thành phố thông minh hiện nay của Trung ương và thành phố. 

2. Mục tiêu

Hình thành Nền tảng Kho dữ liệu dùng chung có khả năng xử lý đa dạng các loại dữ liệu (có cấu trúc, bán cấu trúc, phi cấu trúc), hợp nhất dữ liệu từ nhiều nguồn dữ liệu khác nhau, làm sạch, chuẩn hóa phục vụ khai phá, phân tích dữ liệu lớn, hỗ trợ ra quyết định dựa trên dữ liệu, sử dụng dữ liệu để tạo ra giá trị mới, phát triển các sản phẩm/dịch vụ mới.

3. Mô tả hệ thống

a) Quy trình xử lý dữ liệu

Nền tảng Kho dữ liệu dùng chung thành phố Đà Nẵng gồm các thành phần lõi sau đây (được phân tích, thiết kế, và hoàn toàn làm chủ về công nghệ):

– ETL (Extract-Transform-Load): Tự phát triển công cụ ETL đảm bảo khả năng xử lý đa dạng các loại dữ liệu.

– Data Lineage – lưu vết nguồn gốc dữ liệu: Lập hồ sơ về nguồn dữ liệu được thu nhận và ánh xạ từ dữ liệu nguồn đến dữ liệu trong hệ thống.

– Data Governance – quản lý các luồng thu nhận dữ liệu cũng như dữ liệu đã được thu nhận vào hệ thống. Dữ liệu tồn tại trong hệ thống được phân làm 2 loại: (1) dữ liệu không hợp chuẩn,, được lưu ở kho chứa DQS (Data Quality Storage) và (2) dữ liệu đã chuẩn hóa (Normalized Data Storage).

– Data Firewall – áp dụng các quy tắc kiểm tra tính hợp chuẩn của dữ liệu. Các quy tắc kiểm tra tính hợp chuẩn của dữ liệu được xây dựng dựa trên tập hợp các tiêu chuẩn cho các loại trường dữ liệu.

– Data Flow Designer – định nghĩa luồng thu nhận dữ liệu, cho phép người dùng lựa chọn nguồn dữ liệu, đích đến của dữ liệu khi thu nhận vào hệ thống, xây dựng các biểu thức chuyển đổi ánh xạ dữ liệu đầu vào, thiết lập các tiêu chí đánh giá khả năng trùng lặp dữ liệu.

– Data Flow Executor – thực thi luồng thu nhận dữ liệu: hợp nhất dữ liệu, kiểm tra tính trùng lặp dữ liệu, kiểm tra tính bảo toàn tham chiếu dữ liệu trước khi lưu vào hệ thống. Quá trình thực thi được ghi nhật ký để có thể truy vết khi cần.
 

Hình 2: Quy trình xử lý dữ liệu
 

b) Mô hình tổng thể Nền tảng Kho dữ liệu dùng chung thành phố Đà Nẵng

Nền tảng Kho dữ liệu dùng chung xây dựng theo kiến trúc micro-service, kiến trúc hướng dịch vụ (SOA); có tính mô-đun hóa (modularity) đảm bảo khả năng phân tách thành các phân hệ để thuận lợi trong quản lý kiến trúc hệ thống; dựa trên các tiêu chuẩn mở (open standards) hỗ trợ đơn giản hóa việc tích hợp với các nền tảng và hệ thống khác; có khả năng chịu lỗi (fault-tolerance), có khả năng mở rộng mà không phải thay đổi kiến trúc hệ thống; đảm bảo hiệu năng cao với cơ chế hoạt động song song, đa luồng trong môi trường phân tán, truy xuất dữ liệu nhanh khi dữ liệu ngày càng lớn theo thời gian, đảm bảo số lượng giao dịch nhiều người cùng lúc. Tùy theo mức độ, quy mô dữ liệu của thành phố, hệ thống có thể được nâng cấp hạ tầng phần cứng một cách linh hoạt.
 

Hình 3: Mô hình tổng thể Kho dữ liệu dùng chung thành phố Đà Nẵng

c) Chức năng hệ thống

– Nền tảng Kho dữ liệu dùng chung là hệ thống cho phép thu thập, trích xuất, chuyển đổi, làm sạch, chuẩn hóa, lưu trữ, quản lý; từ đó phục vụ triển khai Chính quyền điện tử, chính quyền số, thành phố thông minh:

+ Chia sẻ dữ liệu, dùng chung cho các ứng dụng của các cơ quan nhà nước;

+ Cung cấp dữ liệu cho Cổng dữ liệu mở thành phố (https://congdulieu.vn hoặc https://opendata.danang.gov.vn) để công khai thông tin, chia sẻ dữ liệu cho người dân, cho doanh nghiệp hỗ trợ khởi nghiệp, sáng tạo;

+ Cung cấp dữ liệu để phân tích, xử lý, khai phá và hỗ trợ ra quyết định;…

– Một số điểm nổi bật của Kho dữ liệu thành phố Đà Nẵng như sau:

+ Dựa trên công cụ ETL (Extract-Transform-Load) tự phát triển.  

+ Làm việc với đa dạng loại dữ liệu (có cấu trúc, bán cấu trúc, phi cấu trúc) đến từ nhiều nguồn khác nhau (excel, CSV, dữ liệu camera, mạng xã hội, logfile, thiết bị IoT, dữ liệu GIS…).

+ Cho phép định nghĩa tùy biến luồng thu nhận, kiểm tra, hợp nhất và chuẩn hóa dữ liệu một cách linh hoạt.

+ Cung cấp Cơ chế “tường lửa dữ liệu” (Data Firewall) giúp lọc dữ liệu không hợp chuẩn, cho phép người quản trị dữ liệu thực hiện chuẩn hóa. Tường lửa dữ liệu đóng vai trò là bộ lọc tùy biến được cho từng luồng thu nhận dữ liệu cụ thể. Cho phép người dùng tinh chỉnh tham số để phát hiện sự trùng lặp dữ liệu trong quá trình thu nhận.

+ Cung cấp các cơ chế xử lý dữ liệu song song (parallel processing), xử lý theo lô (batch processing), xử lý theo thời gian thực (streaming processing).

+ Cung cấp các cơ chế quản trị dữ liệu (Data Governance), kiểm soát dữ liệu và siêu dữ liệu nhằm đảm bảo luôn chứa các dữ liệu sạch và chuẩn hóa: Quản lý siêu dữ liệu (Metadata); Quản lý danh mục dữ liệu (Data Catalog); Quản lý chất lượng dữ liệu (Data Quality), hỗ trợ việc định nghĩa các quy tắc chất lượng dữ liệu (rules and standards), cung cấp cơ chế làm sạch (cleaning) và hiệu chuẩn (transformation and standardization) dựa trên các quy tắc chất lượng dữ liệu; Quản lý vòng đời của dữ liệu; Quản lý nguồn dữ liệu (Data Lineage); Bảo mật dữ liệu (Data Security).

+ Tích hợp với Trục tích hợp liên thông thành phố LGSP, Hệ thống thông tin Chính quyền điện tử thành phố Đà Nẵng; sẵn sàng kết nối với Nền tảng tích hợp chia sẻ quốc gia (NDXP),… Cung cấp dịch vụ chia sẻ dữ liệu (bao gồm dữ liệu thô, dữ liệu chuẩn hóa, dữ liệu phân tích) cho Trung tâm giám sát điều hành thông minh và các hệ thống ứng dụng khác.

d) Công nghệ sử dụng

Hệ thống sử dụng các công nghệ Dữ liệu Lớn (Big Data) để xây dựng và quản lý Hồ dữ liệu (Data Lake) cho phép thu nhận, xử lý hợp nhất dữ liệu. Sử dụng các công cụ phân tích xử lý dữ liệu lớn mã nguồn mở như Kafka, Hadoop, Hive, Spark…, hiệu chỉnh, khớp nối tạo thành hệ thống nền tảng dữ liệu toàn diện.

đ) Khả năng kết nối, hỗ trợ tới các nền tảng và hệ sinh thái liên quan

– Thành phố Đà Nẵng đã xây dựng Trục tích hợp liên thông LGSP và kết nối, tích hợp với Trục liên thông quốc gia NGSP. Theo Khung kiến trúc chính quyền điện tử và thành phố thông minh của thành phố Đà Nẵng, Kho dữ liệu đã kết nối với Trục liên thông LGSP để kết nối đến các CSDL nền (công dân, doanh nghiệp, nhân hộ khẩu, đất đai) và các CSDL chuyên ngành của các sở, ban, ngành, quận huyện nhằm thu thập dữ liệu. Đồng thời, sẵn sàng kết nối, tích hợp với Nền tảng tích hợp chia sẻ dữ liệu quốc gia NDXP và Trục liên thông quốc gia NGSP để thu nhận dữ liệu từ các CSDL quốc gia và CSDL Bộ, ngành Trung ương.

– Thành phố Đà Nẵng đã xây dựng Cổng dữ liệu mở (opendata.danang.gov.vn hoặc congdulieu.vn) nhằm cung cấp các tập dữ liệu mở qua nhiều kênh tra cứu, khai thác như web, API, SMS, Zalo phục vụ các tổ chức, cá nhân khai thác, sử dụng. Kho dữ liệu đã kết nối với Cổng dữ liệu mở, qua đó cho phép mở dữ liệu từ các cơ quan thành phố (từ các CSDL nền và chuyên ngành) đưa lên Cổng dữ liệu mở để công khai ra bên ngoài.

– Thành phố Đà Nẵng đang hình thành Trung tâm Giám sát điều hành thông minh (IOC) và nền tảng phân tích dữ liệu thông minh (Artificial Intelligence Platform). Kho dữ liệu là một trong những hợp phần của Hệ thống Nền tảng thành phố thông minh (Smart City Platform), cung cấp toàn bộ dữ liệu cho Trung tâm IOC để trình diễn, hiển thị; đồng thời cung cấp dữ liệu cho nền tảng phân tích dữ liệu để phục vụ khai phá, phân tích thông minh.

e) Tính bảo mật và quyền riêng tư

– Hệ thống đã xây dựng sẵn sàng phân hệ Bảo mật dữ liệu (Data Security) nhằm quản lý, đảm bảo tính toàn vẹn dữ liệu và đảm bảo rằng dữ liệu không thể truy cập được bởi các bên trái phép và làm hỏng dữ liệu. Bảo mật dữ liệu bao gồm mã hóa dữ liệu, mã thông báo và quản lý khóa bảo vệ dữ liệu trên tất cả các ứng dụng và nền tảng. Hệ thống sử dụng chức năng xác thực tập trung và đăng nhập một lần của Hệ thống thông tin Chính quyền điện tử thành phố.

– Hệ thống đảm bảo khả năng phân quyền truy cập đến từng bảng, trường dữ liệu. Mọi hành động truy cập, đọc/ghi, thêm mới, sửa đổi, hủy bỏ,.. đều được ghi lại nhật ký và cung cấp giao diện trực quan để người quản trị kiểm soát.

– Áp dụng các tiêu chuẩn bảo mật cũng như các kỹ thuật nhằm đảm bảo tính bảo mật cho các hệ thống, nhằm tránh các lỗi bảo mật có thể phát sinh như SQL Injection, XSS, CSR.

– Kiểm thử mã nguồn, ứng dụng trong quá trình phát triển và trước khi đưa vào sử dụng.

– Xây dựng phương án phòng chống DDOS ngay từ đầu như: Áp dụng proxy trong vào kiến trúc ứng dụng; sử dụng Firewall để lọc các truy cập; áp dụng biện pháp chống DDOS ở tầng lập trình.

– Sử dụng giao thức https và xác thực người dùng khi sử dụng hệ thống.

– Thiết kế hệ thống theo hướng phân tán, tách biệt hệ thống quản trị dữ liệu và lưu trữ dữ liệu.

– Thiết lập các firewall và hạn chế các cổng truy xuất vào Cơ sở dữ liệu.

– Xây dựng cơ chế tracking thay đổi và thông tin cho người quản trị.

– Giám sát tình trạng vận hành hệ thống (Server, RAM, Storage).

– Định kỳ sao lưu dữ liệu dự phòng.

– Hệ thống được cài đặt tại Trung tâm dữ liệu thành phố Đà Nẵng, do đó kế thừa các giải pháp bảo đảm an toàn thông tin chuyên dụng như Tường lửa External/Internal, thiết bị phát hiện và phòng chống xâm nhập trái phép (IPS/IDS), thiết bị cân bằng tải, hệ thống giám sát an toàn thông tin tập trung (SIEM),…

g) Sự ổn định và độ tin cậy

– Chất lượng dữ liệu thu nhận vào hệ thống được giám sát, quản lý và đảm bảo thông qua: (1) hệ thống chuẩn ràng buộc dữ liệu được định nghĩa rõ ràng, (2) các tiêu chí đánh giá độ trùng lặp dữ liệu được người dùng thiết lập, tinh chỉnh cụ thể, (3) quá trình chuẩn hóa dữ liệu bằng tay hoặc tự động đều được lưu vết. Chính vì vậy, chất lượng dữ liệu luôn được đảm bảo.

– Luồng thu nhận dữ liệu được lập hồ sơ quản lý. Quá trình thực thi của luồng thu nhận dữ liệu được theo dõi, ghi nhật ký, qua đó bảo đảm được tính rõ ràng và tin cậy về nguồn gốc dữ liệu.

– Dữ liệu của hệ thống, ngoài việc có thể sao lưu-phục hồi còn được đánh phiên bản.

– Các thành phần lõi được phân tích, thiết kế, cài đặt và làm chủ hoàn toàn nên hệ thống có khả năng bảo hành, bảo trì cao và dễ dàng mở rộng, phát triển.

h) Khả năng tùy biến, mở rộng

– Hệ thống xây dựng theo hướng lập trình tùy biến các chức năng hiện tại. Một số chức năng trong hệ thống có thể được mở rộng bởi người dùng chuyên nghiệp thông qua việc cung cấp các đoạn mã lập trình thêm bao gồm:
+ Bổ sung các hàm chuyển đổi dữ liệu (transformation function) trong công đoạn định nghĩa luồng thu nhận dữ liệu.
+ Bổ sung ràng buộc cho các kiểu dữ liệu, định nghĩa các quy tắc áp dụng ràng buộc cho kiểu dữ liệu để phù hợp với yêu cầu của cơ quan, đơn vị.

– Hệ thống có thể được tùy biến để phù hợp với quy mô dữ liệu cũng như tính chất, hoạt động nghiệp vụ của các cơ quan, đơn vị:
+ Về hạ tầng phần cứng, số lượng máy trong cụm máy chủ dữ liệu, máy chủ ứng dụng có thể được tùy biến.
+ Chức năng chính của hệ thống – thực thi luồng thu nhận dữ liệu – có thể được lập lịch linh hoạt đáp ứng với nhu cầu thực tế của các cơ quan.

– Hệ thống có khả năng mở rộng mà không phải thay đổi kiến trúc hệ thống; đảm bảo hiệu năng cao với cơ chế hoạt động song song, đa luồng trong môi trường phân tán, truy xuất dữ liệu nhanh khi dữ liệu ngày càng lớn theo thời gian, đảm bảo số lượng giao dịch nhiều người cùng lúc.

4. Tổ chức triển khai

a) Về chính sách:

– Trước tiên, Sở Thông tin và Truyền thông là cơ quan chủ trì tham mưu UBND thành phố ban hành Quy chế chia sẻ dữ liệu số trên địa bàn thành phố tại Quyết định số 846/QĐ-UBND ngày 21/02/2019 (trước khi Chính phủ ban hành Nghị định số 47/2020/NĐ-CP) xác định rõ các danh mục dữ liệu dùng chung; trách nhiệm của cơ quan chủ quản dữ liệu, quản lý, cập nhật, chia sẻ, sử dụng, khai thác dữ liệu.

– Sở Thông tin và Truyền thông chủ trì ban hành các văn bản gửi các cơ quan, địa phương trên địa bàn thành phố chia sẻ các cơ sở dữ liệu chuyên ngành thuộc phạm vi quản lý về Kho dữ liệu dùng chung thành phố; tổ chức tập huấn, hướng dẫn sử dụng.

– Tham mưu khung hướng dẫn triển khai xây dựng, tiếp nhận các ứng dụng mới phải có hợp phần tạo, cập nhật dữ liệu số; đặc biệt là kết nối, chia sẻ dữ liệu về Kho dữ liệu dùng chung của Thành phố.

b) Về truyền thông:

– Quảng bá qua các kênh truyền thông điện tử của thành phố Đà Nẵng: Tổng đài 1022 Đà Nẵng: qua kênh thoại, tin nhắn, fanpage mạng xã hội, chatbot, Zalo của Tổng đài 1022; Cổng Thông tin điện tử thành phố, các trang thông tin điện tử của các sở, ngành, địa phương trên địa bàn thành phố.

– Thường xuyên giới thiệu Kho dữ liệu dùng chung tại các hội nghị, hội thảo quốc tế và trong nước về xây dựng thành phố thông minh, chuyển đổi số …

5. Tồn tại, hạn chế

a) Các CSDL quốc gia về dân cư, đất đai chưa được chia sẻ cho các địa phương để hình thành dữ liệu nền/dữ liệu tham chiếu.

b) Các cơ quan Trung ương như Công an, Thuế, Thống kê,… chưa thực hiện chia sẻ dữ liệu cho các địa phương do vướng các quy định pháp luật chuyên ngành trái với quy định tại Nghị định số 47/2020/NĐ-CP ngày 09/4/2020 của Chính phủ; do vậy các cơ quan trên chờ sửa đổi Luật chuyên ngành mới triển khai chia sẻ dữ liệu.

c) Các Bộ, ngành Trung ương chưa ban hành các chuẩn dữ liệu để phục vụ kết nối, chia sẻ. Các CSDL chuyên ngành của thành phố triển khai, hình thành trong quá trình hoạt động chưa được thu thập đầy đủ, không chất lượng, chuẩn hóa; do đó tính khả dụng của dữ liệu thấp, cần có thời gian rà soát, hoàn thiện.
 Với sự Open của hàng triệu thiết bị mưu trí như điện thoại di động, camera, cảm ứng …, tài liệu sinh ra ngày càng phức tạp, khối lượng tài liệu lớn, vận tốc tăng trưởng nhanh, nhu yếu giải quyết và xử lý theo thời hạn thực, phong phú về chủng loại gồm có cấu trúc, bán cấu trúc, phi cấu trúc. Sự phức tạp này khiến cho những ứng dụng quản trị tài liệu và báo cáo giải trình nhiệm vụ thường thì không còn tương thích với tài liệu lớn. Tại thành phố Đà Nẵng, tài liệu còn cát cứ, rời rạc, chưa được tích hợp, quản trị thống nhất để tương hỗ việc ra quyết định hành động. Nỗ lực tiến hành trục tích hợp tài liệu và những dịch vụ tài liệu cũng chỉ xử lý được yếu tố phân phối tài liệu đơn lẻ. Sự thiếu sót và thiếu tính chuẩn xác, sự xô lệch, không khớp nhau về lược đồ tài liệu ( data schema ), không tổng lực về tài liệu khiến cho việc sử dụng tài liệu hợp nhất từ nhiều nguồn gặp nhiều khó khăn vất vả. Đây cũng là yếu tố mà quốc tế đang tập trung chuyên sâu xử lý. Giải pháp tương thích cho yếu tố nêu trên là thiết kế xây dựng một nền tảng tài liệu ( Data Platform ) tổng quát, linh động có năng lực thu nhận, hợp nhất, chuẩn hóa dữ liệu đến từ nhiều nguồn, tương hỗ tàng trữ, nghiên cứu và phân tích, giải quyết và xử lý tài liệu lớn. Do đó, để bảo vệ tiến hành hiệu suất cao thành phố mưu trí, thành phố Đà Nẵng đã tăng trưởng nền tảng Kho dữ liệu dùng chung nhằm mục đích tương hỗ chỉ huy thành phố ra quyết định hành động đúng mực, tối ưu, phân phối tri thức, hiểu biết về quy trình hoạt động giải trí của đô thị, dự báo sự tăng trưởng kinh tế tài chính xã hội thành phố. Việc kiến thiết xây dựng nền tảng Kho dữ liệu dùng chung thành phố Đà Nẵng là một trong những trách nhiệm quan trọng, cấp thiết và tương thích với khuynh hướng quy đổi số, kiến thiết xây dựng thành phố mưu trí lúc bấy giờ của Trung ương và thành phố. Hình thành Nền tảng Kho dữ liệu dùng chung có năng lực giải quyết và xử lý phong phú những loại tài liệu ( có cấu trúc, bán cấu trúc, phi cấu trúc ), hợp nhất tài liệu từ nhiều nguồn tài liệu khác nhau, làm sạch, chuẩn hóa Giao hàng tìm hiểu và khám phá, nghiên cứu và phân tích tài liệu lớn, tương hỗ ra quyết định hành động dựa trên tài liệu, sử dụng tài liệu để tạo ra giá trị mới, tăng trưởng những loại sản phẩm / dịch vụ mới. a ) Quy trình giải quyết và xử lý dữ liệuNền tảng Kho dữ liệu dùng chung thành phố Đà Nẵng gồm những thành phần lõi sau đây ( được nghiên cứu và phân tích, phong cách thiết kế, và trọn vẹn làm chủ về công nghệ tiên tiến ) : – ETL ( Extract-Transform-Load ) : Tự phát triển công cụ ETL bảo vệ năng lực giải quyết và xử lý phong phú những loại tài liệu. – Data Lineage – lưu vết nguồn gốc tài liệu : Lập hồ sơ về nguồn tài liệu được thu nhận và ánh xạ từ tài liệu nguồn đến tài liệu trong hệ thống. – Data Governance – quản trị những luồng thu nhận tài liệu cũng như tài liệu đã được thu nhận vào hệ thống. Dữ liệu sống sót trong hệ thống được phân làm 2 loại : ( 1 ) tài liệu không hợp chuẩn, , được lưu ở kho chứa DQS ( Data Quality Storage ) và ( 2 ) tài liệu đã chuẩn hóa ( Normalized Data Storage ). – Data Firewall – vận dụng những quy tắc kiểm tra tính hợp chuẩn của tài liệu. Các quy tắc kiểm tra tính hợp chuẩn của tài liệu được thiết kế xây dựng dựa trên tập hợp những tiêu chuẩn cho những loại trường tài liệu. – Data Flow Designer – định nghĩa luồng thu nhận tài liệu, được cho phép người dùng lựa chọn nguồn tài liệu, đích đến của tài liệu khi thu nhận vào hệ thống, thiết kế xây dựng những biểu thức quy đổi ánh xạ tài liệu nguồn vào, thiết lập những tiêu chuẩn nhìn nhận năng lực trùng lặp tài liệu. – Data Flow Executor – thực thi luồng thu nhận tài liệu : hợp nhất tài liệu, kiểm tra tính trùng lặp tài liệu, kiểm tra tính bảo toàn tham chiếu tài liệu trước khi lưu vào hệ thống. Quá trình thực thi được ghi nhật ký để hoàn toàn có thể truy vết khi cần. b ) Mô hình toàn diện và tổng thể Nền tảng Kho dữ liệu dùng chung thành phố Đà NẵngNền tảng Kho dữ liệu dùng chung thiết kế xây dựng theo kiến trúc micro-service, kiến trúc hướng dịch vụ ( SOA ) ; có tính mô-đun hóa ( modularity ) bảo vệ năng lực phân tách thành những phân hệ để thuận tiện trong quản trị kiến trúc hệ thống ; dựa trên những tiêu chuẩn mở ( open standards ) tương hỗ đơn giản hóa việc tích hợp với những nền tảng và hệ thống khác ; có năng lực chịu lỗi ( fault-tolerance ), có năng lực lan rộng ra mà không phải biến hóa kiến trúc hệ thống ; bảo vệ hiệu năng cao với chính sách hoạt động giải trí song song, đa luồng trong môi trường tự nhiên phân tán, truy xuất tài liệu nhanh khi tài liệu ngày càng lớn theo thời hạn, bảo vệ số lượng thanh toán giao dịch nhiều người cùng lúc. Tùy theo mức độ, quy mô tài liệu của thành phố, hệ thống hoàn toàn có thể được tăng cấp hạ tầng phần cứng một cách linh động. c ) Chức năng hệ thống – Nền tảng Kho dữ liệu dùng chung là hệ thống được cho phép tích lũy, trích xuất, quy đổi, làm sạch, chuẩn hóa, tàng trữ, quản trị ; từ đó Giao hàng tiến hành Chính quyền điện tử, chính quyền sở tại số, thành phố mưu trí : + Chia sẻ tài liệu, dùng chung cho những ứng dụng của những cơ quan nhà nước ; + Cung cấp tài liệu cho Cổng dữ liệu mở thành phố ( https://congdulieu.vn hoặc https://opendata.danang.gov.vn ) để công khai thông tin, san sẻ tài liệu cho người dân, cho doanh nghiệp tương hỗ khởi nghiệp, phát minh sáng tạo ; + Cung cấp tài liệu để nghiên cứu và phân tích, giải quyết và xử lý, tìm hiểu và khám phá và tương hỗ ra quyết định hành động ; … – Một số điểm điển hình nổi bật của Kho dữ liệu thành phố Đà Nẵng như sau : + Dựa trên công cụ ETL ( Extract-Transform-Load ) tự tăng trưởng. + Làm việc với phong phú loại tài liệu ( có cấu trúc, bán cấu trúc, phi cấu trúc ) đến từ nhiều nguồn khác nhau ( excel, CSV, tài liệu camera, mạng xã hội, logfile, thiết bị IoT, tài liệu GIS. .. ). + Cho phép định nghĩa tùy biến luồng thu nhận, kiểm tra, hợp nhất và chuẩn hóa dữ liệu một cách linh động. + Cung cấp Cơ chế “ tường lửa tài liệu ” ( Data Firewall ) giúp lọc tài liệu không hợp chuẩn, được cho phép người quản trị tài liệu triển khai chuẩn hóa. Tường lửa tài liệu đóng vai trò là bộ lọc tùy biến được cho từng luồng thu nhận tài liệu đơn cử. Cho phép người dùng tinh chỉnh và điều khiển tham số để phát hiện sự trùng lặp tài liệu trong quy trình thu nhận. + Cung cấp những chính sách giải quyết và xử lý tài liệu song song ( parallel processing ), giải quyết và xử lý theo lô ( batch processing ), giải quyết và xử lý theo thời hạn thực ( streaming processing ). + Cung cấp những chính sách quản trị tài liệu ( Data Governance ), trấn áp tài liệu và siêu dữ liệu nhằm mục đích bảo vệ luôn chứa những tài liệu sạch và chuẩn hóa : Quản lý siêu dữ liệu ( Metadata ) ; Quản lý danh mục dữ liệu ( Data Catalog ) ; Quản lý chất lượng tài liệu ( Data Quality ), tương hỗ việc định nghĩa những quy tắc chất lượng tài liệu ( rules and standards ), cung ứng chính sách làm sạch ( cleaning ) và hiệu chuẩn ( transformation and standardization ) dựa trên những quy tắc chất lượng tài liệu ; Quản lý vòng đời của tài liệu ; Quản lý nguồn tài liệu ( Data Lineage ) ; Bảo mật tài liệu ( Data Security ). + Tích hợp với Trục tích hợp liên thông thành phố LGSP, Hệ thống thông tin Chính quyền điện tử thành phố Đà Nẵng ; chuẩn bị sẵn sàng liên kết với Nền tảng tích hợp san sẻ vương quốc ( NDXP ), … Cung cấp dịch vụ san sẻ tài liệu ( gồm có tài liệu thô, tài liệu chuẩn hóa, tài liệu nghiên cứu và phân tích ) cho Trung tâm giám sát quản lý mưu trí và những hệ thống ứng dụng khác. d ) Công nghệ sử dụngHệ thống sử dụng những công nghệ tiên tiến Dữ liệu Lớn ( Big Data ) để thiết kế xây dựng và quản trị Hồ dữ liệu ( Data Lake ) được cho phép thu nhận, giải quyết và xử lý hợp nhất tài liệu. Sử dụng những công cụ nghiên cứu và phân tích giải quyết và xử lý tài liệu lớn mã nguồn mở như Kafka, Hadoop, Hive, Spark …, hiệu chỉnh, khớp nối tạo thành hệ thống nền tảng tài liệu tổng lực. đ ) Khả năng liên kết, tương hỗ tới những nền tảng và hệ sinh thái tương quan – Thành phố Đà Nẵng đã kiến thiết xây dựng Trục tích hợp liên thông LGSP và liên kết, tích hợp với Trục liên thông vương quốc NGSP. Theo Khung kiến trúc chính quyền sở tại điện tử và thành phố mưu trí của thành phố Đà Nẵng, Kho dữ liệu đã liên kết với Trục liên thông LGSP để liên kết đến những CSDL nền ( công dân, doanh nghiệp, nhân hộ khẩu, đất đai ) và những CSDL chuyên ngành của những sở, ban, ngành, quận huyện nhằm mục đích thu thập dữ liệu. Đồng thời, sẵn sàng chuẩn bị liên kết, tích hợp với Nền tảng tích hợp san sẻ tài liệu vương quốc NDXP và Trục liên thông vương quốc NGSP để thu nhận tài liệu từ những CSDL vương quốc và CSDL Bộ, ngành Trung ương. – Thành phố Đà Nẵng đã thiết kế xây dựng Cổng dữ liệu mở ( opendata.danang.gov.vn hoặc congdulieu.vn ) nhằm mục đích phân phối những tập dữ liệu mở qua nhiều kênh tra cứu, khai thác như web, API, SMS, Zalo ship hàng những tổ chức triển khai, cá thể khai thác, sử dụng. Kho dữ liệu đã liên kết với Cổng dữ liệu mở, qua đó được cho phép mở tài liệu từ những cơ quan thành phố ( từ những CSDL nền và chuyên ngành ) đưa lên Cổng dữ liệu mở để công khai minh bạch ra bên ngoài. – Thành phố Đà Nẵng đang hình thành Trung tâm Giám sát quản lý và điều hành mưu trí ( IOC ) và nền tảng nghiên cứu và phân tích tài liệu mưu trí ( Artificial Intelligence Platform ). Kho dữ liệu là một trong những hợp phần của Hệ thống Nền tảng thành phố mưu trí ( Smart City Platform ), phân phối hàng loạt tài liệu cho Trung tâm IOC để trình diễn, hiển thị ; đồng thời cung ứng tài liệu cho nền tảng nghiên cứu và phân tích tài liệu để Giao hàng khám phá, nghiên cứu và phân tích mưu trí. e ) Tính bảo mật thông tin và quyền riêng tư – Hệ thống đã kiến thiết xây dựng chuẩn bị sẵn sàng phân hệ Bảo mật tài liệu ( Data Security ) nhằm mục đích quản trị, bảo vệ tính toàn vẹn tài liệu và bảo vệ rằng tài liệu không hề truy vấn được bởi những bên trái phép và làm hỏng tài liệu. Bảo mật tài liệu gồm có mã hóa dữ liệu, mã thông tin và quản trị khóa bảo vệ tài liệu trên toàn bộ những ứng dụng và nền tảng. Hệ thống sử dụng tính năng xác thực tập trung và đăng nhập một lần của Hệ thống thông tin Chính quyền điện tử thành phố. – Hệ thống bảo vệ năng lực phân quyền truy vấn đến từng bảng, trường tài liệu. Mọi hành vi truy vấn, đọc / ghi, thêm mới, sửa đổi, hủy bỏ, .. đều được ghi lại nhật ký và cung ứng giao diện trực quan để người quản trị trấn áp. – Áp dụng những tiêu chuẩn bảo mật thông tin cũng như những kỹ thuật nhằm mục đích bảo vệ tính bảo mật thông tin cho những hệ thống, nhằm mục đích tránh những lỗi bảo mật thông tin hoàn toàn có thể phát sinh như SQL Injection, XSS, CSR. – Kiểm thử mã nguồn, ứng dụng trong quy trình tăng trưởng và trước khi đưa vào sử dụng. – Xây dựng giải pháp phòng chống DDOS ngay từ đầu như : Áp dụng proxy trong vào kiến trúc ứng dụng ; sử dụng Firewall để lọc những truy vấn ; vận dụng giải pháp chống DDOS ở tầng lập trình. – Sử dụng giao thức https và xác nhận người dùng khi sử dụng hệ thống. – Thiết kế hệ thống theo hướng phân tán, tách biệt hệ thống quản trị tài liệu và tàng trữ tài liệu. – Thiết lập những firewall và hạn chế những cổng truy xuất vào Cơ sở tài liệu. – Xây dựng chính sách tracking đổi khác và thông tin cho người quản trị. – Giám sát thực trạng quản lý và vận hành hệ thống ( Server, RAM, Storage ). – Định kỳ sao lưu dữ liệu dự trữ. – Hệ thống được thiết lập tại Trung tâm tài liệu thành phố Đà Nẵng, do đó thừa kế những giải pháp bảo vệ bảo đảm an toàn thông tin chuyên được dùng như Tường lửa External / Internal, thiết bị phát hiện và phòng chống xâm nhập trái phép ( IPS / IDS ), thiết bị cân đối tải, hệ thống giám sát bảo đảm an toàn thông tin tập trung chuyên sâu ( SIEM ), … g ) Sự không thay đổi và độ an toàn và đáng tin cậy – Chất lượng tài liệu thu nhận vào hệ thống được giám sát, quản trị và bảo vệ trải qua : ( 1 ) hệ thống chuẩn ràng buộc tài liệu được định nghĩa rõ ràng, ( 2 ) những tiêu chuẩn nhìn nhận độ trùng lặp tài liệu được người dùng thiết lập, điều khiển và tinh chỉnh đơn cử, ( 3 ) quy trình chuẩn hóa dữ liệu bằng tay hoặc tự động hóa đều được lưu vết. Chính vì thế, chất lượng tài liệu luôn được bảo vệ. – Luồng thu nhận tài liệu được lập hồ sơ quản trị. Quá trình thực thi của luồng thu nhận tài liệu được theo dõi, ghi nhật ký, qua đó bảo vệ được tính rõ ràng và an toàn và đáng tin cậy về nguồn gốc tài liệu. – Dữ liệu của hệ thống, ngoài việc hoàn toàn có thể sao lưu-phục hồi còn được đánh phiên bản. – Các thành phần lõi được nghiên cứu và phân tích, phong cách thiết kế, setup và làm chủ trọn vẹn nên hệ thống có năng lực bh, bảo dưỡng cao và thuận tiện lan rộng ra, tăng trưởng. h ) Khả năng tùy biến, lan rộng ra – Hệ thống kiến thiết xây dựng theo hướng lập trình tùy biến những tính năng hiện tại. Một số công dụng trong hệ thống hoàn toàn có thể được lan rộng ra bởi người dùng chuyên nghiệp trải qua việc phân phối những đoạn mã lập trình thêm gồm có : + Bổ sung những hàm quy đổi tài liệu ( transformation function ) trong quy trình định nghĩa luồng thu nhận tài liệu. + Bổ sung ràng buộc cho những kiểu tài liệu, định nghĩa những quy tắc vận dụng ràng buộc cho kiểu tài liệu để tương thích với nhu yếu của cơ quan, đơn vị chức năng. – Hệ thống hoàn toàn có thể được tùy biến để tương thích với quy mô tài liệu cũng như đặc thù, hoạt động giải trí nhiệm vụ của những cơ quan, đơn vị chức năng : + Về hạ tầng phần cứng, số lượng máy trong cụm sever tài liệu, sever ứng dụng hoàn toàn có thể được tùy biến. + Chức năng chính của hệ thống – thực thi luồng thu nhận tài liệu – hoàn toàn có thể được lập lịch linh động cung ứng với nhu yếu trong thực tiễn của những cơ quan. – Hệ thống có năng lực lan rộng ra mà không phải biến hóa kiến trúc hệ thống ; bảo vệ hiệu năng cao với chính sách hoạt động giải trí song song, đa luồng trong môi trường tự nhiên phân tán, truy xuất tài liệu nhanh khi tài liệu ngày càng lớn theo thời hạn, bảo vệ số lượng thanh toán giao dịch nhiều người cùng lúc. a ) Về chủ trương : – Trước tiên, Sở Thông tin và Truyền thông là cơ quan chủ trì tham mưu Ủy Ban Nhân Dân thành phố phát hành Quy chế san sẻ tài liệu số trên địa phận thành phố tại Quyết định số 846 / QĐ-UBND ngày 21/02/2019 ( trước khi nhà nước phát hành Nghị định số 47/2020 / NĐ-CP ) xác lập rõ những hạng mục tài liệu dùng chung ; nghĩa vụ và trách nhiệm của cơ quan chủ quản tài liệu, quản trị, update, san sẻ, sử dụng, khai thác tài liệu. – Sở Thông tin và Truyền thông chủ trì phát hành những văn bản gửi những cơ quan, địa phương trên địa phận thành phố san sẻ những cơ sở tài liệu chuyên ngành thuộc khoanh vùng phạm vi quản trị về Kho dữ liệu dùng chung thành phố ; tổ chức triển khai tập huấn, hướng dẫn sử dụng. – Tham mưu khung hướng dẫn tiến hành kiến thiết xây dựng, đảm nhiệm những ứng dụng mới phải có hợp phần tạo, update tài liệu số ; đặc biệt quan trọng là liên kết, san sẻ tài liệu về Kho dữ liệu dùng chung của Thành phố. b ) Về tiếp thị quảng cáo : – Quảng bá qua những kênh truyền thông điện tử của thành phố Đà Nẵng : Tổng đài 1022 Đà Nẵng : qua kênh thoại, tin nhắn, fanpage mạng xã hội, chatbot, Zalo của Tổng đài 1022 ; Cổng Thông tin điện tử thành phố, những trang thông tin điện tử của những sở, ngành, địa phương trên địa phận thành phố. – Thường xuyên trình làng Kho dữ liệu dùng chung tại những hội nghị, hội thảo chiến lược quốc tế và trong nước về thiết kế xây dựng thành phố mưu trí, quy đổi số … a ) Các CSDL vương quốc về dân cư, đất đai chưa được san sẻ cho những địa phương để hình thành tài liệu nền / tài liệu tham chiếu. b ) Các cơ quan Trung ương như Công an, Thuế, Thống kê, … chưa triển khai san sẻ tài liệu cho những địa phương do vướng những lao lý pháp lý chuyên ngành trái với pháp luật tại Nghị định số 47/2020 / NĐ-CP ngày 09/4/2020 của nhà nước ; do vậy những cơ quan trên chờ sửa đổi Luật chuyên ngành mới tiến hành san sẻ tài liệu. c ) Các Bộ, ngành Trung ương chưa phát hành những chuẩn tài liệu để Giao hàng liên kết, san sẻ. Các CSDL chuyên ngành của thành phố tiến hành, hình thành trong quy trình hoạt động giải trí chưa được tích lũy khá đầy đủ, không chất lượng, chuẩn hóa ; do đó tính khả dụng của tài liệu thấp, cần có thời hạn thanh tra rà soát, hoàn thành xong .

Source: https://vh2.com.vn
Category : Điện Tử