მიმართულება – DataOps
ხელმძღვანელი: შოთა ცისკარიძე
სასწავლო კურსის მოცულობა:(ხანგრძლივობა, დღე, საათი) – 5 თვე, სამშაბათი 19:00 საათი
სასწავლო კურსის მოთხოვნები:
- პროგრამირების პრაქტიკული გამოცდილება;
- ლინუქსის საწყისების ცოდნა: სერვისების კონფიგურაცია და მარტივი სკრიპტები;
- SQL და რელაციური ალგებრის საფუძვლები;
- ქსელების საფუძვლების ცოდნა.
კურსი განკუთვნილია დამწყები დეველოპერებისთვის, ვისაც აქვს პროგრამირების გარკვეული გამოცდილება და სურს უახლესი ტექნოლოგიების შესწავლა პროცესებისა და მონაცემთა მართვის ავტომატიზაციის მიმართულებით.
სწავლების ფორმატი (სწავლების მეთოდი): სალექციო მეცადინეობა (თეორიული მასალის გაცნობა); პრაქტიკული მეცადინეობა
ასაკობრივი კატეგორია: 18 წელს ზემოთ
კურსის ძირითადი თემები:
- პითონის შესავალი, Numpy, Pandas, მონაცემთა ვიზუალიზაცია (Matplotlib, Seaborn);
- შესავალი მონაცემთა მართვის პრინციპებში, მონაცემთა საცავების ტექნოლოგია, განაწილებულ მონაცემთა შენახვის სისტემები, დიდ მონაცემთა სისტემები;
- HDFS მიმოხილვა, HDFS წვდომა და CLI, დებაგირება და ფაილის ტიპები;
- შესავალი Spark-ში PySpark-ის გამოყენებით, Spark RDD;
- NoSQL მიმოხილვა, HBase, Cassandra, MongoDB (MongoDB ATLAS).
მეცადინეობების განრიგი და თემატიკა:
[Dev, Cloud, Data]Ops კულტურა და კონცეფციები
საერთო ლექცია (3სთ)
კოდის ვერსიის კონტროლის სისტემა
სასურველია თუ პერსონალურ კომპიუტერზე გამართავთ კოდის ვერსიონირების სისტემა git-ს https://git-scm.com
საერთო ლექცია (3სთ)
კონტეინერიზაციის ტექნოლოგიები
- სასურველია თუ პერსონალურ კომპიუტერზე გამართავთ დოკერ კონტეინერიზაციის პლატფორმას https://www.docker.com/products/personal
საერთო ლექცია (3სთ)
ლინუქს ოპერაციული სისტემის ძირითადი ბრძანებები
- Digital Ocean-ზე ანგარიშის შექმნა და ლინუქს გარემოსთან მუშაობა, https://www.katacoda.com/ თან მუშაობა
საერთო ლექცია (3სთ)
პითონის ენის საფუძვლები (ცვლადის ტიპები, ძირითადი ოპერაციები და ოპერატორები)
1 ლექცია (3სთ)
მონაცემთა სტრუქტურები პითონში
1 ლექცია (3სთ)
ობიექტზე ორიენტირებული პითონი 1
1 ლექცია (3სთ)
ცოდნის შუალედური შემოწმება. ობიექტზე ორიენტირებული პითონი 2
1 ლექცია (3სთ)
პითონის კოდის კომპონენტების ტესტირება და პაკეტირება
1 ლექცია (3სთ)
API კონცეფცია და Flask ფრეიმვორქი 1:
- ინსტალაცია,
- ვირტუალური გარემოების მოწყობა,
- აპლიკაციის ძირითადი სტრუქტურა,
- ტემპლეიტები (jinja),
- ვებ ფორმები,
- მონაცემთა ბაზები,
- აპლიკაციების დიდი სტრუქტურები
1 ლექცია (3სთ)
API კონცეფცია და Flask ფრეიმვორქი 2:
- მომხმარებლების მართვა და მათი პროფილები, Application Programming Interfaces
1 ლექცია (3სთ)
API კონცეფცია და Flask ფრეიმვორქი 3:
- ტესტირება, წარმადობა, დანერგვა
1 ლექცია (3სთ)
კატეგორიული ცვლადები და მონაცემები
- მასალა: Introduction to machine Learning with Python, Chapter 4
1 ლექცია (3სთ)
მონაცემთა მახასიათებლების ავტომატიზირებული შერჩევა/გადარჩევა
- მასალა: Introduction to machine Learning with Python, Chapter 4
1 ლექცია (3სთ)
მანქანური სწავლების მოდელის შეფასება და გაუმჯობესება, Pipeline-ები
- მასალა: Introduction to machine Learning with Python, Chapter 5, 6
1 ლექცია (3სთ)
შესავალი დიდი მონაცემების ანალიტიკაში, Hadoop და Spark სტეკი
- მასალა: Data Analytics with Spark using Python
1 ლექცია (3სთ)
შუალედური ცოდნის შემოწმება/სპარკ კლასტერის გამართვა
- მასალა: Data Analytics with Spark using Python
1 ლექცია (3სთ)
სპარკის კლასტერის არქიტექტურა
- მასალა: Data Analytics with Spark using Python
1 ლექცია (3სთ)
სპარკზე პროგრამირების საფუძვლები;
სპარკზე პროგრამირება Spark Core API-ს გამოყენებით
- მასალა: Data Analytics with Spark using Python
1 ლექცია (3სთ)
SQL და NoSQL პროგრამირება სპარკის გამოყენებით, შესავალი ნაკადების ანალიტიკაში
- მასალა: Data Analytics with Spark using Python
1 ლექცია (3სთ)
