Ngôn ngữ R và Ứng dụng trong việc xử lý dữ liệu lớn

Dữ liệu lớn (big data) đã và đang trở thành một xu thế trong nghiên cứu ở rất nhiều lĩnh vực khác nhau. Điều này đòi hỏi phải có một công cụ xử lý dữ liệu đủ mạnh để thực hiện các công việc phức tạp này. Bài viết này sẽ giới thiệu về ngôn ngữ R đang được sử dụng phổ biến trong phân tích Big data trên thế giới Ngôn ngữ R Ứng dụng việc xử lý liệu lớn Dữ liệu lớn (big data) trở thành xu nghiên cứu nhiều lĩnh vực khác Điều đòi hỏi phải có cơng cụ xử lý liệu đủ mạnh để thực công việc phức tạp Bài viết giới thiệu ngôn ngữ R sử dụng phổ biến phân tích Big data giới Một thập kỷ trở lại đây, giới chứng kiến phát triển vô nhanh chóng ba xu hướng cơng nghệ bật: liệu lớn (big data), vạn vật kết nối (internet of things) trí tuệ nhân tạo (artificial intelligent) Trong ba xu hướng kể trên, công nghệ liệu lớn thu hút ý nhiều từ phủ, doanh nghiệp cơng chúng tồn cầu sức ảnh hưởng sâu rộng đến tồn lĩnh vực đời sống kinh tế xã hội Diễn Đàn Kinh Tế Thế Giới đánh giá liệu lớn dạng tài sản kinh tế mới, có giá trị tiền tệ hay vàng [1] Tạp chí Economists gọi liệu lớn loại dầu hỏa mới, đem lại lợi cạnh tranh đặc biệt cho nhiều công ty công nghệ [2] Dữ liệu lớn thay đổi sâu sắc nghiên cứu y học, giúp hỗ trợ chuẩn đoán bệnh điều trị hiệu [3] Trong lĩnh vực cơng, quyền quốc gia Hoa Kỳ, Thụy Điển, Đan Mạch, Canada triển khai nhiều sáng kiến ứng dụng liệu lớn để cải thiện chất lượng dịch vụ công [4] Ngồi có nhiều chương trình liên quan đến liệu lớn lĩnh vực khác an ninh quốc gia, y tế công cộng, nghiên cứu tế bào, nghiên cứu không gian, nghiên cứu trái đất [5] Dữ liệu ngày nhiều thúc đẩy đời phát triển mạnh mẽ ngành khoa học liệu (data science), đồng thời đặt đòi hỏi cần phải có cơng cụ phân tích hiệu giúp khai thác tiềm từ liệu Trong số công cụ có, ngơn ngữ máy tính R trở thành tiêu chuẩn thực tế (de facto) ngành khoa học liệu, sử dụng rộng rãi giới nghiên cứu doanh nghiệp 1, R ngôn ngữ xử lý liệu giới nghiên cứu Ngơn ngữ lập trình mã nguồn mở R [8] cơng cụ xử lý liệu phân tích thống kê phát triển hai nhà thống kê Ross Ihaka Robert Gentleman thuộc đại học Auckland, New Zealand vào năm 1992, lấy cảm hứng từ ngôn ngữ lập trình thống kê S John Chambers cộng phát triển trung tâm nghiên cứu danh tiếng Bell Laboratories, Hoa Kỳ Nhờ có nguồn gốc từ giới nghiên cứu dự án mã nguồn mở nên R thu hút nhiều đóng góp cộng đồng khoa học R nhanh chóng trở thành ngơn ngữ thơng dụng khơng phân tích thống kê, xử lý số liệu mà nghiên cứu khoa học nói chung Sức mạnh R, theo Daryl Pregibon – nhà khoa học Google – “nó cho phép thực dễ dàng phân tích rắc rối phức tạp mà không cần phải biết đến chi tiết hệ thống tính tốn” [12] Năm 2017, chuyên san khoa học Nature đăng luận “trỗi dậy” việc sử dụng R giới nghiên cứu ứng dụng thực nghiên cứu nhiều ngành từ toán học, vi sinh học khoa học nông nghiệp gen [11] Hình 1: Sự phổ biến R nghiên cứu khoa học (Nguồn: Tạp chí Nature, 2017, trỗi dậy R) Việc phổ biến R giới nhà khoa học, nhà thống kê, chuyên gia phân tích liệu lập trình viên tồn giới thể qua bảng xếp hạng phần mềm sử dụng nhiều Viện kỹ sư điện điện tử IEEE (Institute of Electrical and Electronics Engineers) cơng bố hàng năm Theo đó, năm qua, ngôn ngữ R liên tục xếp hạng nhóm ngơn ngữ lập trình máy tính phổ biến [9, 10] Năm 2017, R xếp hạng phổ biến thứ 47 ngôn ngữ máy tính sử dụng lĩnh vực Đáng ý, số 10 ngơn ngữ máy tính sử dụng nhiều nhất, đa số ngôn ngữ xây dựng hệ thống ứng dụng nhúng C, C++, PHP Python Riêng R ngôn ngữ chuyên dụng cho phân tích xử lý liệu, ngôn ngữ sử dụng phổ biến minh chứng cho tính phổ biến cao ngơn ngữ Hình 2: Bảng xếp hạng ngơn ngữ lập trình IEEE năm 2017 (nguồn: Một dấu mốc quan trọng trình phát triển ngơn ngữ R thương vụ công ty công nghệ Microsoft mua lại Revolution Analytics, công ty chuyên phát triển công nghệ để làm việc với toán liệu lớn sử dụng ngôn ngữ R [13] Sản phẩm Revolution Analytics tích hợp với cơng nghệ điện tốn đám mây Microsoft, với hỗ trợ SQL Server tảng Học Máy Azure, cho phép nhà khoa học liệu triển khai thuật toán R quy mô lớn Sự kiện đánh dấu vị trị dẫn đầu R thị trường công cụ phân tích liệu lớn Sự phổ biến R cịn nhờ vào khả trực quan hóa liệu tuyệt vời Trực quan hóa liệu ln đóng vai trị quan trọng phân tích số liệu Nó cơng cụ mạnh để nhà nghiên cứu bước đầu tìm hiểu liệu nghiên cứu Hiện nay, có gần 40 cơng cụ Microsoft Excel, ZingChart, Stata, QGIS… để trực quan hóa 40 loại biểu đồ khác Mỗi công cụ trực quan hóa số loại biểu đồ định, R mơ thể trực quan hóa gần tồn loại biểu đồ Hình 3: Tổng hợp cơng cụ trực quan hóa liệu loại biểu đồ (Nguồn: http://chartmaker.visualisingdata.com/) Với khả trực quan hóa liệu vượt trội, R trực quan hóa liệu theo biểu đồ đẹp mắt, dễ hiểu nhiều đối tượng sử dụng khác Ví dụ: từ bảng số liệu đây, R trực quan hóa biểu đồ sinh động Thị trường nhập nhóm hàng nhập lớn năm 2017 Thị trường xuất nhóm hàng nhập lớn năm 2017 Đơn vị tính: Triệu USD Máy vi tính, sản phẩm điện tử linh kiện Hàn quốc Điện thoại di động 15,335 EU 11,955 Trung Quốc 7,077 Trung Quốc Đài Loan 3,939 Hàn Quốc 3,971 ASEAN 3,223 UAE 3,894 Nhật 3,189 Hoa Kỳ 3,703 Hoa Kỳ 2,784 ASEAN 3,214 Hoa Kỳ 12,275 Máy móc thiết bị Trung Quốc 7,152 Dệt may 10,909 Hàn quốc 8,687 EU 3,785 Nhật 4,317 Nhật Bản 3,110 EU 3,643 Hàn Quốc 2,642 2,212 Trung Quốc 1,103 ASEAN Đài Loan Hoa Kỳ 1,351 1,008 Điện thoại di động Trung Quốc 8,749 Máy vi tính, sản phẩm điện tử linh kiện Trung Quốc 6,861 EU 4,613 Hoa Kỳ 3,439 Hàn quốc 6,176 ASEAN 2,532 1,850 Nhật 314 Hong Kong ASEAN 311 Hàn Quốc 4,855 Hong Kong 193 Hoa Kỳ 5,113 6,078 EU 4,649 Hàn quốc 2,046 Trung Quốc 1,141 Đài Loan 1,567 Nhật Bản 751 Nhật 671 Hàn Quốc 403 Giày dép Vải loại Trung Quốc ASEAN 386 Sắt thép Máy móc thiết bị Hoa Kỳ 2,427 Trung Quốc 4,104 EU 1,864 Nhật 1,411 Nhật Bản 1,716 1,218 Trung Quốc 1,574 Đài Loan 902 Hong Kong 1,039 Ấn Độ 811 Hàn quốc (Nguồn: Niên giám Thống kê Hải Quan 2017) Hình 4: Thị trường xuất nhập nhóm hàng lớn Việt Nam năm 2017 – Tác giả trực quan hóa từ nguồn liệu Tổng cục Hải Quan 2017 R khơng trực quan hóa liệu liệu, báo cáo truyền thống mà cịn hữu ích mơ Big data để định hướng phân tích dễ dàng Hình 5: Các rao bán Internet thành phố Hồ Chí Minh tháng 12 năm 2017 Ứng dụng R phân tích Big data cơng ty cơng nghệ quan phủ Các công ty công nghệ thường đơn vị tiên phong sáng tạo việc phân tích liệu để thấu hiểu hành vi người dùng, qua cung cấp cải thiện tảng dịch vụ dựa phân tích Facebook, tảng mạng xã hội có mức xử lý liệu 500 TB liệu ngày, sử dụng R để tìm hiểu dự đoán cách thức người dùng tương tác với dịch vụ họ [14] Việc phân tích giúp Facebook biết người dùng họ làm cách mà xu hướng lan truyền qua mạng xã hội Hình ảnh hóa liệu phần quan trọng phân tích Facebook chí cịn sử dụng R để tạo đồ thể kết nối hàng trăm triệu người dùng cáo bạch IPO họ [15] Phân tích quảng cáo mảng phát triển nhanh khác việc ứng dụng ngôn ngữ R Thông tin thói quen mua sắm, sở thích lai lịch khách hàng cơng ty phân tích quảng cáo sử dụng để cung cấp chiến lược kinh doanh hữu ích cho nhà bán lẻ Ví dụ, DataSong, cơng ty tư vấn quảng cáo có trụ sở San Fransico, sử dụng R để xây dựng mơ hình định lượng xử lý tới 30 triệu ghi, giúp nhà bán lẻ tìm hiểu liệu chiến dịch quảng cáo có ảnh hưởng tới cách khách hàng định mua sản phẩm [16] Một lĩnh vực khác trở thành xu ngành truyền thơng báo chí liệu (data journalism), nơi mà nhà báo khai thác nguồn liệu mở để xuất phân tích chất lượng cao dựa liệu Chẳng hạn, thời báo New York sử dụng R để phân tích liệu khảo sát nhằm dự đoán kết bầu cử nghị sĩ tổng thống [17] Khả thử nghiệm tùy chỉnh nhanh chóng R giúp phóng viên từ ý tưởng tới mơ hình hoàn thiện vài giờ, cho phép việc phân tích nhanh chóng tin tức nóng hổi dựa liệu [18] Các ngành tài bảo hiểm ln có truyền thống dẫn đầu phân tích thống kê cao cấp, khơng bất ngờ ngôn ngữ R sử dụng rộng rãi để phát triển chiến lược mua bán, chiến lược đặt giá tối ưu hóa nhằm gia tăng lợi nhuận giảm thiểu rủi ro American Century Investment, quỹ đầu tư quản lý 125 tỷ USD tài sản, sử dụng ngơn ngữ R để phân tích “mạng xã hội” cơng ty, quan hệ tài thay cho mối quan hệ bạn bè [19] Việc hiểu cách nhà cung cấp ảnh hưởng tới nhà phân phối cho phép họ tối ưu gói đầu tư tài Về mảng ngân hàng, ANZ sử dụng R để ước tính rủi ro liên quan tới chấp nhà [20] Việc ước tính rủi ro tối quan trọng lĩnh vực bảo hiểm, chẳng hạn Lloyds of London sử dụng R để mô mức chi phí liên quan tới thảm họa bão hay động đất [21] Không doanh nghiệp, mà nhiều quyền thành phố, quốc gia giới khai thác sức mạnh cuả R để biến liệu thành thông tin phục vụ quản lý sách Sáng kiến Nước Sạch (Clear Water) thành phố Chicago (Hoa Kỳ) dự án giám sát chất lượng nước nhiều bãi biển công cộng hồ Michigan đưa cảnh báo nồng độ vi khuẩn E Coli hồ nước qúa cao Dự án sử dụng R để phân tích tạo mơ hình tiên lượng giúp dự đốn chất lượng nước [22] Một dự án khác thành phố Chicago xây dựng dứng dụng dựa thuật tốn viết R để phân tích liệu lấy từ mạng xã hội Twitter, qua dự đoán nhà hàng vi phạm điều kiện vệ sinh an toàn thực phẩm [23] Bộ Phát Triển Nguồn Nhân Lực thuộc bang Indiana, Hoa Kỳ, quan có nhiệm vụ dự đốn tỷ lệ việc làm cho loại cơng việc nhằm giúp quyền bang có sở đưa sách giáo dục đào tạo phù hợp Bằng cách sử dụng R công nghệ xử lý song song Microsoft Azure, quan thực hàng triệu dự báo dự báo lúc [24] R sử dụng nhiều dự án phục vụ lợi ích cộng đồng Vụ Thời Tiết Quốc Gia Hoa Kỳ sử dụng R để dự báo mức nước sông cảnh báo lụt lội [25], tổ chức realclimate.org sử dụng R để sơ đồ hóa ảnh hưởng thay đổi khí hậu tồn cầu, chẳng hạn suy giảm băng Bắc Băng Dương [26] Và vùng có giao tranh Syria, nhóm phân tích nhân quyền sử dụng R để dự báo tổn thất chiến tranh từ nguồn thông tin chưa hoàn thiện [27] Trong thời đại cách mạng 4.0 nay, khoa học liệu đem lại hội to lớn cho phủ, công ty ngành, lĩnh vực công cụ để quản lý điều hành tốt Điều phụ thuộc nhiều vào khả thu thập, phân tích xử lý liệu hiệu Ngơn ngữ R, với mạnh nó, cho phép tổ chức có khả phân tích liệu nhanh mạnh công cụ khác, điều giải thích cho phát triển nhanh chóng nhiều ngành lĩnh vực khác Tham khảo [1] Big Data, Big Impact: New Possibilities for International Development World Economics Forum https://www.weforum.org/reports/big-data-big-impact-new-possibilities-internationaldevelopment [2] The world’s most valuable resource is no longer oil, but data The Economists https://www.economist.com/leaders/2017/05/06/the-worlds-most-valuable-resourceis-no-longer-oil-but-data [3] Bệnh án điện tử: Nguồn liệu lớn vô giá y học Tạp chí Tia Sáng http://tiasang.com.vn/-khoa-hoc-cong-nghe/Benh-an-dien-tu-Nguon-du-lieu-lon-vogia-cua-y-hoc-8681 [4] Demystifying Big Data – A Practical Guide To Transforming The Business of Government Tech America Foundation [5] Dữ liệu lớn: Cơ hội thách thức lớn Tạp chí Tia Sáng [6] Undefined By Data: A Survey of Big Data Definitions Jonathan Stuart Ward and Adam Barker, School of Computer Science University of St Andrews, UK [7] L Douglas 3d data management: Controlling data volume, velocity and variety Gartner [8] The R Project for Statistical Computing https://www.r-project.org/ [9] IEEE Spectrum 2017 Top Programming Languages https://spectrum.ieee.org/computing/software/the-2017-top-programming-languages [10] New Leader, Trends, and Surprises in Analytics, Data Science, Machine Learning Software Poll https://www.kdnuggets.com/2017/05/poll-analytics-data-science-machine-learningsoftware-leaders.html [11] Programming tools: Adventures with R www.nature.com/news/programmingtools-adventures-with-r-1.16609 [12] Data Analysts Captivated by R’s Power https://www.nytimes.com/2009/01/07/technology/businesscomputing/07program.html?pagewanted=1&_r=1 [13] Microsoft to acquire Revolution Analytics to help customers find big data value with advanced statistical analysis https://blogs.microsoft.com/blog/2015/01/23/microsoft-acquire-revolution-analyticshelp-customers-find-big-data-value-advanced-statistical-analysis/ [14] Forecasting at scale https://peerj.com/preprints/3190/ Sean J Taylor and Benjamin Letham [15] R Chart featured in Facebook IPO http://blog.revolutionanalytics.com/2012/02/r-chart-featured-in-facebook-ipo.html [16] Why The R Programming Language Is Good For Business https://www.fastcompany.com/3030063/why-the-r-programming-language-is-goodfor-business [17] Who Will Win The Senate? http://www.nytimes.com/newsgraphics/2014/senatemodel/index.html [18] NYT charts Michael Jackson’s pop hits with R http://blog.revolutionanalytics.com/2009/06/nyt-charts-michael-jacksons-pophits.html [19] American Century Investments Revolutionizes Their Investment Analytics Platform http://blog.revolutionanalytics.com/2013/06/american-centuryinvestments.html [20] How ANZ uses R for credit risk analysis http://blog.revolutionanalytics.com/2011/08/how-anz-uses-r-for-credit-riskanalysis.html [21] How Lloyd’s of London uses R for Insurance http://blog.revolutionanalytics.com/2011/09/how-lloyds-of-london-uses-r-forinsurance.html [22] Clear Water – Forecasting Chicago’s Beach Water Quality http://chicago.github.io/clear-water/ [23] Up to code? An algorithm is helping Chicago health officials predict restaurant safety violations https://www.pbs.org/newshour/show/chicago-revamps-restaurantinspections-by-tapping-into-social-media [24] White Paper: Dive deep into small data with big data techniques Microsoft Advanced Analytics and IoT [25] How NOAA uses R to forecast river flooding http://blog.revolutionanalytics.com/2012/04/NOAA-R-river-flooding.html [26] An update on the Arctic sea-ice http://www.realclimate.org/index.php/archives/2012/08/an-update-on-the-arctic-seaice/ [27] How Statistics lifts the fog of war in Syria http://blog.revolutionanalytics.com/2014/03/hrdag-strata.html …1, R ngôn ngữ xử lý liệu giới nghiên cứu Ngơn ngữ lập trình mã nguồn mở R [8] công cụ xử lý liệu phân tích thống kê phát triển hai nhà thống kê Ross Ihaka Robert Gentleman thuộc… https://www .r- project.org/ [9] IEEE Spectrum 2017 Top Programming Languages https://spectrum.ieee.org/computing/software/the-2017-top-programming-languages [10] New Leader, Trends, and Surprises in… đánh dấu vị trị dẫn đầu R thị trường cơng cụ phân tích liệu lớn Sự phổ biến R nhờ vào khả trực quan hóa liệu tuyệt vời Trực quan hóa liệu ln đóng vai trị quan trọng phân tích số liệu Nó cơng

– Xem thêm –

Xem thêm: Ngôn ngữ R và Ứng dụng trong việc xử lý dữ liệu lớn,

Source: https://vh2.com.vn
Category : Tin Học