การวิเคราะห์ข้อมูลขนาดใหญ่: Hive, Spark SQL, DataFrames และ GraphFrames

รายละเอียด

ไม่ต้องสงสัยเลยว่าการทำงานกับปริมาณข้อมูลขนาดใหญ่นั้นทำได้ยาก แต่การย้ายภูเขาคุณต้องจัดการกับก้อนหินขนาดเล็กจำนวนมาก แต่ทำไมต้องเครียดตัวเอง? การใช้ Mapreduce และ Spark ทำให้คุณแก้ไขปัญหาบางส่วนได้ดังนั้นจึงมีพื้นที่เหลือสำหรับเครื่องมือระดับสูง หยุดดิ้นรนเพื่อให้เวิร์กโฟลว์ข้อมูลขนาดใหญ่ของคุณทำงานได้อย่างมีประสิทธิภาพและมีประสิทธิภาพใช้เครื่องมือที่เราเสนอให้คุณ

หลักสูตรนี้จะสอนวิธี:
- จัดเก็บข้อมูลของคุณอย่างมีประสิทธิภาพโดยใช้ Hive, Spark SQL และ Spark DataFrames
- ทำงานกับกราฟขนาดใหญ่เช่นกราฟโซเชียลหรือเครือข่าย
- ปรับแอปพลิเคชัน Spark ของคุณให้เหมาะสมเพื่อประสิทธิภาพสูงสุด

แม่นยำคุณจะเชี่ยวชาญความรู้ของคุณใน:
- การเขียนและดำเนินการค้นหา Hive & Spark SQL
- ให้เหตุผลว่าคำค้นหาถูกแปลเป็นแบบดั้งเดิมของการดำเนินการจริงอย่างไร (ไม่ว่าจะเป็นงาน MapReduce หรือการแปลง Spark)
- การจัดระเบียบข้อมูลของคุณใน Hive เพื่อเพิ่มประสิทธิภาพการใช้พื้นที่ดิสก์และเวลาดำเนินการ
- สร้าง Spark DataFrames และใช้เพื่อเขียนงานวิเคราะห์เฉพาะกิจได้อย่างง่ายดาย
- การประมวลผลกราฟขนาดใหญ่ด้วย Spark GraphFrames;
- การดีบักการทำโปรไฟล์และการเพิ่มประสิทธิภาพแอปพลิเคชัน Spark

ยังสงสัยอยู่ไหม? ลองดู. มาเป็นนินจาข้อมูลโดยเรียนหลักสูตรนี้!

ขอขอบคุณเป็นพิเศษไปที่:
- ศ. Mikhail Roytberg, APT dept., MIPT ซึ่งเป็นผู้ตรวจสอบเบื้องต้นของโครงการหัวหน้างานและที่ปรึกษาครึ่งหนึ่งของทีม BigData เขาเป็นคนหนึ่งที่ช่วยให้แสดงรายการนี้บนท้องถนน
- Oleg Sukhoroslov (PhD, นักวิจัยอาวุโสของ IITP RAS) ซึ่งสอน MapReduce, Hadoop และเพื่อน ๆ มาตั้งแต่ปี 2008 ตอนนี้เขาเป็นผู้นำทีมโครงสร้างพื้นฐาน
- Oleg Ivchenko (นักศึกษาปริญญาเอก APT dept., MIPT), Pavel Akhtyamov (MSc. student at APT dept., MIPT) and Vladimir Kuznetsov (Assistant at PG Demidov Yaroslavl State University), superbrains ที่พัฒนาและดูแลโครงสร้างพื้นฐานที่ใช้สำหรับ การมอบหมายงานภาคปฏิบัติในหลักสูตรนี้
- Asya Roitberg, Eugene Baulin, Marina Sudarikova คนเหล่านี้ไม่เคยหลับใหลเพื่อดูแลหลักสูตรนี้ทั้งกลางวันและกลางคืนเพื่อให้ประสบการณ์การเรียนรู้ของคุณมีประสิทธิผลราบรื่นและน่าตื่นเต้น