Chương trình đào tạo Data Engineer với R/ Python

Phân tích dữ liệu là môn khoa học phân tích dữ liệu thô (raw data) để đưa ra được kết luận về thông tin đó. Các chuyên gia Phân tích dữ liệu tìm ra các xu hướng và số liệu trong các khối thông tin mà có thể bị bỏ sót nếu không sử dụng kĩ thuật hay công cụ phân tích. Thông tin thu được có thể được sử dụng để tối ưu hóa các quy trình làm tăng hiệu quả tổng thể của một doanh nghiệp hoặc một hệ thống.

 Phân tích dữ liệu nhìn chung tuân theo năm bước sau để phân tích bất kỳ tập dữ liệu nào, đặt biệt là dữ liệu lớn: 

1. Thu thập dữ liệu: Xác định nguồn dữ liệu và thu thập dữ liệu từ những nguồn này. Việc thu thập dữ liệu tuân theo quá trình ETL hoặc ELT.

     ETL – Trích xuất, chuyển đổi, tải lên: Dữ liệu đã tạo được chuyển đổi thành định dạng tiêu chuẩn và sau đó được tải vào kho lưu trữ.

     ELT – Trích xuất, tải lên, chuyển đổi: Dữ liệu được tải vào kho lưu trữ và sau đó được chuyển đổi thành định dạng yêu cầu.

​2. Lưu trữ dữ liệu: Dữ liệu có thể được di chuyển tới kho lưu trữ như kho dữ liệu hoặc hồ dữ liệu đám mây.

3. Xử lý dữ liệu: Khi có sẵn dữ liệu, dữ liệu phải được chuyển đổi và tổ chức để thu được kết quả chính xác từ các truy vấn phân tích.

4. Làm sạch dữ liệu: Quá trình bao gồm việc xóa bất kỳ lỗi nào như trùng lặp, không nhất quán, dư thừa hoặc định dạng sai.  Bước này cũng được sử dụng để lọc bất kỳ dữ liệu nào không mong muốn đối với quá trình phân tích.

5. Phân tích dữ liệu: Đây là quá trình chuyển đổi dữ liệu thô thành thông tin chuyên sâu hữu ích.