HIVE LÀ GÌ

  -  

Thuật ngữ Big Data được áp dụng cho các bộ tập tài liệu lớn lao bao hàm khối lượng bự, vận tốc cao với nhiều một số loại tài liệu đang tạo thêm từng ngày. Sử dụng các hệ thống cai quản dữ liệu truyền thống cuội nguồn, vô cùng nặng nề để xử trí Big data. Do kia, Quỹ ứng dụng Apabít (Apabịt Software Foundation) sẽ giới thiệu một framework tên là Hadoop để giải quyết và xử lý những thách thức quản lý cùng cách xử trí Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một trong framework open-source để lưu trữ với cách xử lý Big data trong môi trường thiên nhiên phân tán. Nó cất nhì mô-đun, một là MapReduce cùng một mô-đun không giống là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là quy mô lập trình sẵn tuy nhiên tuy vậy nhằm xử trí một lượng mập dữ liệu tất cả kết cấu, chào bán kết cấu cùng ko kết cấu bên trên những cụm mập của Hartware thương mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một trong những phần của framework Hadoop, được áp dụng nhằm tàng trữ và cách xử lý các bộ tài liệu. Nó cung cấp một hệ thống tập tin chịu đựng lỗi nhằm chạy xe trên Hartware thương mại.

Hệ sinh thái xanh Hadoop cất các sub-project (tool) khác nhau nlỗi Sqoop, Pig và Hive sầu được áp dụng để hỗ trợ những mô-đun Hadoop.

Sqoop: Nó được thực hiện để nhập cùng xuất dữ liệu đến với đi giữa HDFS và RDBMS.Pig: Đây là 1 gốc rễ ngôn ngữ thủ tục được thực hiện nhằm cải tiến và phát triển tập lệnh cho các hoạt động của MapReduce.

Xem thêm: Stt Và Cmt Nghĩa Là Gì ? Cmt Nghĩa Là Gì? Giải Thích Nghĩa Của Từ Cmt?

Hive: Đây là một trong căn cơ được sử dụng để trở nên tân tiến những tập lệnh loại SQL để triển khai những vận động MapReduce.

Crúc ý: Có nhiều cách không giống nhau để tiến hành các chuyển động MapReduce:

Cách tiếp cận truyền thống thực hiện công tác Java MapReduce mang đến tài liệu bao gồm kết cấu, buôn bán cấu trúc và ko cấu trúc.Cách tiếp cận sử dụng câu lệnh mang lại MapReduce nhằm xử lý dữ liệu bao gồm cấu trúc cùng buôn bán cấu trúc bằng Pig.Ngôn ngữ truy nã vấn Hive (Hivequốc lộ hoặc HQL) đến MapReduce nhằm xử trí dữ liệu tất cả cấu trúc bởi Hive sầu.Hive là gì?

Hive là 1 trong những cơ chế hạ tầng kho tài liệu để giải pháp xử lý tài liệu bao gồm kết cấu vào Hadoop. Nó nằm trong đỉnh Hadoop để nắm tắt Dữ liệu Khủng cùng giúp truy vấn vấn cùng so với thuận tiện.

Ban đầu Hive được trở nên tân tiến bởi Facebook, tiếp nối Quỹ Phần mượt Apabít đã lấy và cải tiến và phát triển nó thành một mối cung cấp mở dưới tên Apabít Hive sầu. Nó được sử dụng vì chưng các công ty khác nhau. Ví dụ: Amazon áp dụng nó vào Amazon Elastic MapReduce.

Hive sầu chưa phải là:Một cơ sở dữ liệu quan hệMột kiến tạo nhằm xử lý thanh toán Online (OnLine Transaction Processing - OLTP)Một ngôn ngữ cho những tầm nã vấn thời gian thực với update cấp cho hàngkì cục của HiveNó tàng trữ lược đồ trong cơ sở dữ liệu với giải pháp xử lý tài liệu vào HDFS.Nó có thiết kế cho OLAP.Nó hỗ trợ ngôn ngữ loại SQL nhằm truy hỏi vấn được Điện thoại tư vấn là HiveQL hoặc Hquốc lộ.Nó là thân thuộc, lập cập, có chức năng không ngừng mở rộng.Kiến trúc của Hive

Sơ thiết bị sau đây biểu hiện kiến trúc của Hive:

*
Sơ đồ dùng nhân tố này cất các đơn vị khác biệt.

User Interface: Hive là một phần mượt hạ tầng kho tài liệu có thể tạo ra sự tác động giữa người dùng cùng HDFS. Các đồ họa người tiêu dùng nhưng mà Hive sầu hỗ trợ là Hive sầu Web UI, Hive sầu command line và Hive sầu HD Insight (Trong máy chủ Windows).Meta Store: Hive sầu chọn các máy chủ các đại lý dữ liệu tương ứng nhằm tàng trữ lược vật hoặc metadata của những bảng, cửa hàng tài liệu, những cột trong một bảng, những một số loại tài liệu của bọn chúng với ánh xạ HDFS.Hivequốc lộ Process Engine: Hivequốc lộ tương tự nhỏng Squốc lộ nhằm tróc nã vấn thông tin lược vật dụng trên Metastore. Đây là 1 trong Một trong những thay thế sửa chữa của phương thức truyền thống cuội nguồn mang lại công tác MapReduce. Tgiỏi vị viết chương trình MapReduce bằng Java, chúng ta có thể viết một truy nã vấn cho công việc MapReduce với xử lý nó.Execution Engine: Phần phối hợp của cách thức cách xử lý HiveQL và MapReduce là Công nạm triển khai Hive (Hive sầu Execution Engine). Công chũm triển khai xử trí truy tìm vấn và sản xuất tác dụng giống hệt như hiệu quả MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là những chuyên môn tàng trữ dữ liệu nhằm tàng trữ dữ liệu vào hệ thống tệp.Cách thao tác của Hive

Sơ thiết bị sau biểu hiện các bước làm việc giữa Hive và Hadoop.

*

Cách Hive sầu liên can cùng với framework Hadoop:

Thực thi query: Giao diện Hive sầu nlỗi Command line hoặc Giao diện người dùng web gửi tróc nã vấn đến Trình tinh chỉnh (ngẫu nhiên trình điều khiển đại lý dữ liệu nào nhỏng JDBC, ODBC, v.v.) để xúc tiến.Nhận kế hoạch: Trình tinh chỉnh và điều khiển có sự giúp đỡ của trình biên dịch truy nã vấn để so sánh cú pháp truy tìm vấn để khám nghiệm cú pháp cùng kế hoạch truy vấn hoặc đề xuất của truy vấn vấn.Nhận metadata: Trình biên dịch gửi đề xuất metadata mang lại Metastore (bất kỳ đại lý dữ liệu nào).Gửi metadata: Metastore gửi metadata nhỏng một đánh giá cho trình biên dịch.Gửi kế hoạch: Trình biên dịch kiểm tra kinh nghiệm cùng gửi lại chiến lược mang lại trình điều khiển và tinh chỉnh. Đến trên đây, câu hỏi so sánh cú pháp với biên dịch một tầm nã vấn sẽ hoàn tất.Kế hoạch thực hiện: Trình tinh chỉnh gửi planer triển khai cho vẻ ngoài thực thi.Thực xây dựng việc: Trong nội bộ, quá trình triển khai công việc là 1 trong những các bước MapReduce. Công vắt xúc tiến gửi quá trình đến JobTracker, vào node Name và nó gán công việc này mang đến TaskTracker, vào node Data. Ở phía trên, tầm nã vấn triển khai quá trình MapReduce.

Xem thêm: Mua Bán Khách Sạn, Nhà Nghỉ Thành Phố Nha Trang, Khánh Hòa Mới Nhất 5/2022

Hoạt động metadata: Trong Lúc thực hiện, luật pháp thực thi có thể xúc tiến các chuyển động metadata cùng với Metastore.Lấy kết quả: Công vắt xúc tiến thừa nhận hiệu quả từ bỏ các node Data.Gửi kết quả: Công cầm cố triển khai gửi các quý hiếm công dụng đó đến trình điều khiển.Gửi kết quả: Trình điều khiển gửi kết quả mang đến Giao diện Hive sầu.