CategoriesData SciencePython

Memaksimalkan Analisis Data dengan PandasAI dan LLM Lokal Menggunakan Ollama

Hai! 😊 Kali ini kita akan bahas topik menarik lainnya yang mungkin bisa bikin kerjaan kamu lebih mudah dan efisien dalam dunia data. Kalau kamu suka artikel tentang AI, data, dan integrasi teknologi, kamu ada di tempat yang tepat! Jadi, yuk simak artikel ini!

Banyak pengguna AI masih bergantung pada layanan cloud untuk analisis data, yang bikin privasi jadi isu karena data harus dikirim ke server eksternal. Belum lagi, biaya langganan layanan cloud AI bisa cukup mahal.

Nah, di sinilah local LLM dan PandasAI jadi solusi. Dengan local LLM, semua pemrosesan data dilakukan di perangkatmu, jadi nggak perlu khawatir soal privasi dan bisa hemat biaya karena nggak perlu langganan bulanan. PandasAI juga bikin analisis data lebih mudah karena kamu bisa langsung bertanya ke data tanpa perlu coding rumit. Yuk, kita bahas lebih lanjut!

Continue reading
CategoriesAndroidiOSLinuxProgrammingPythonSwift

Open CV untuk Pengolahan Citra dan Penglihatan Komputer.

OpenCV (Open Source Computer Vision) adalah perpustakaan open-source yang berisi berbagai fungsi dan algoritma untuk pengolahan citra dan penglihatan komputer. OpenCV ditulis dalam bahasa pemrograman C++ dan mendukung berbagai platform seperti Windows, Linux, macOS, iOS, dan Android. Selain itu, OpenCV juga menyediakan antarmuka untuk bahasa pemrograman lain seperti Python dan Java. 

Continue reading
CategoriesProgramming

Instalasi Jupyter Notebook Di Linux Tanpa User Root

Jika Anda sering menggunakan Google Colab, maka pasti sudah terbiasa menggunakan Jupyter Notebook. Jupyter Notebook adalah aplikasi web open source yang memungkinkan kita untuk membuat dan berbagi dokumen yang berisi kode program, text, visualisasi, dan komponen dokumen lainnya. Yang paling menarik adalah, kita bisa menuliskan kode program dan menjalankannya dalam dokumen yang sama.

Dalam tulisan ini, saya akan menunjukkan cara instalasi Jupyter Notebook dengan menggunakan Anaconda tanpa user root. Tujuannya nanti adalah kita bisa menggunakan Jupyter Notebook yang dapat digunakan untuk menjalankan program Python.

Instalasi Anaconda tanpa user root

Langkah pertama andalah melakukan instalasi Anaconda. Anda dapat melakukannya tanpa user root seperti yang sudah saya jelaskan pada artikel sebelumnya.

Membuat conda environments baru

Jalankan perintah berikut untuk membuat conda environments baru dengan nama jupyter.

$ conda create --name jupyter

Anda aka diminta melakukan konfirmasi proses instalasi.

Proceed ([y]/n)?

Tekan y lalu tekan ENTER untuk melakukan konfirmasi.

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate jupyter
#
# To deactivate an active environment, use
#
#     $ conda deactivate

conda environments baru dengan nama jupyter telah berhasil dibuat. Jalankan perintah berikut untuk mengaktifkannya.

$ conda activate jupyter

Prompt dari command line anda akan berubah. Kurang lebih seperti ini

(jupyter) saya@algostudio:~$

Instalasi Jupyter Notebook

Jalankan perintah berikut ini di dalam conda environments yang telah dibuat sebelumnya.

$ conda install -c conda-forge jupyterlab

Anda aka diminta melakukan konfirmasi proses instalasi.

Proceed ([y]/n)?

Tekan y lalu tekan ENTER untuk melakukan konfirmasi.

Menjalankan Jupyter Notebook

Bila komputer Anda menggunakan GUI

Jalankan Jupyter Notebook dengan perintah

$ jupyter notebook

Tab baru akan terbuka di browser anda dengan alamat http://localhost:8888/tree dan root directory yang terbuka akan sama dengan directory tempat Anda menjalankan perintah jupyter notebook. Berikut contoh tampilan Jupyter Notebook pada browser.

Gambar 1. Contoh tampilan Jupyter Notebook

Selesai, Jupyter Notebook sudah dapat digunakan di komputer Anda. Bila ingin mematikan Jupyter Notebook, kembalilah ke command line tempat anda menjalankan perintah jupyter notebook lalu tekan Ctrl+C. Sebuah pesan konfirmasi akan muncul.

The Jupyter Notebook is running at:
http://localhost:8888/?token=a09e55951acd598fa3428da676d1fbe5678a1712506ca673
 or http://127.0.0.1:8888/?token=a09e55951acd598fa3428da676d1fbe5678a1712506ca673
Shutdown this notebook server (y/[n])?

Tekan y lalu tekan ENTER untuk melakukan konfirmasi.

Bila komputer Anda menggunakan CLI

Bila komputer anda hanya menggunakan CLI, maka Jupyter Notebook harus dibuka menggunakan komputer lain yang memiliki browser berbasis GUI. Berikut adalah langkah-langkah untuk dapat mengakses Jupyter Notebook melalui browser komputer lain

Konfigurasi Jupyter Notebook

Jalankan perintah berikut untuk melakukan generate file konfigurasi

$ jupyter notebook --generate-config

Di layar akan muncul lokasi file konfigurasi yang telah dibuat.

Writing default config to: /home/saya/.jupyter/jupyter_notebook_config.py

Bukalah file tersebut dengan text editor, lalu modifikasi baris

#c.NotebookApp.ip = 'localhost'

menjadi

c.NotebookApp.ip = '*'

lalu simpan perubahan tersebut.

Menjalankan Jupyter Notebook tanpa browser

Jalankan Jupyter Notebook dengan perintah

$ jupyter notebook --no-browser

Anda harus mengakses URL dan token yang muncul di layar CLI anda setelah menjalankan perintah perintah jupyter notebook. Contoh pesan yang muncul di layar adalah

To access the notebook, open this file in a browser:
  file:///home/dataq/.local/share/jupyter/runtime/nbserver-12801-open.html
Or copy and paste one of these URLs:
  http://thinkpad:8888/?token=c7bda8412d7e21ad9c7510a563616efb9ffcf8333da79f2c
or http://127.0.0.1:8888/?token=c7bda8412d7e21ad9c7510a563616efb9ffcf8333da79f2c

Bila IP komputer Anda dalah 192.168.56.101, maka anda dapat mengakses alamat http://192.168.56.101:8888/?token=c7bda8412d7e21ad9c7510a563616efb9ffcf8333da79f2c dari komputer lain.

Bila Anda tidak dapat membuka alamat tersebut, maka kemungkinan akses anda ditolak oleh firewall. Mintalah kepada system administrator untuk membuka port 8888 tersebut.

Menambahkan Package Baru

Ada beberapa cara menambahkan package ke dalam Jupyter Notebook Anda. Cara yang saya pilih adalah dengan menggunakan perintah conda install.

Berikut ada contoh langkah menambah package tensorflow ke dalam Jupyter Notebook yang berada di conda environments jupyter yang kita buat sebelumnya.

Bila Jupyter Notebook masih berjalan, tutup dengan menekan Crtl+C. Kemudian install tensorflow dengan perintah

$ conda install -c conda-forge tensorflow

Daftar conda package yang akan ditambahkan akan ditampilkan.

...

tensorflow         pkgs/main/linux-64::tensorflow-2.1.0-mkl_py37h80a91df_0

...

Proceed ([y]/n)?

Ketik y dan ENTER untuk melanjutkan proses instalasi. Setelah selesai, jalankan lagi Jupyter Notebook dengan perintah

$ jupyter notebook

Atau

# jupyter notebook --no-browser

Selamat mencoba mengunakan Jupyter Notebook di komputer Anda.

CategoriesProgramming

Instalasi Anaconda Di Linux Tanpa User Root

Anaconda telah menjadi platform Python standar dalam bidang Data Science. Anaconda menyediakan berbagai packages yang berkaitan dengan Data Science seperti numpy, ternsorflow, matplotlib, dll. Saya pribadi lebih menyukai menggunakan Anaconda daripada package manager Python lainnya ketika membuat program yang berkaitan dengan Data Science.

Dalam tulisan ini saya akan memandu Anda dalam melakukan instalasi Anaconda dalam sistem Operasi Linux tanpa memerlukan hak akses user root. Dalam tulisan ini saya akan menggunakan Ubuntu Linux 18.04, namun secara umum cara instalasi ini akan sama di distribusi Linux lainnya.

Tulisan ini saya buat berdasarkan panduan di dokumentasi Anaconda dengan beberapa penyesuaian.

Unduh instalasi Anaconda

Langkah pertama adalah mengunduh instalasi Anaconda Python 3.7 versi 64 Bit (x86) pada alamat berikut https://www.anaconda.com/distribution/#linux, lalu simpan di directory home anda, misal /home/saya/anaconda.

Anda bisa mengunduhnya menggunakan perintah wget, misalnya

$ mkdir /home/saya/anaconda
$ cd /home/saya/anaconda
$ wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh

Pada contoh diatas, versi Anaconda yang saya unduh adalah 2020.02

Proses instalasi Anaconda

Jalankan perintah file instalasi tersebut. Berikut adalah contoh peirntah yang dapat anda gunakan untuk menjalankan file instalasi Anaconda versi 2020.02.

$ bash /home/saya/anaconda/Anaconda3-2020.02-Linux-x86_64.sh

Berikut ini adalah contoh tampilan awal proses instalasi. Anda akan diminta membaca license.

Welcome to Anaconda3 2020.02

In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue
>>>

Tekan ENTER

===================================
End User License Agreement - Anaconda Individual Edition
===================================

Copyright 2015-2020, Anaconda, Inc.

All rights reserved under the 3-clause BSD License:

This End User License Agreement (the "Agreement") is a legal agreement between y
ou and Anaconda, Inc. ("Anaconda") and governs your use of Anaconda Individual E
dition (which was formerly known as Anaconda Distribution).

Subject to the terms of this Agreement, Anaconda hereby grants you a non-exclusi
ve, non-transferable license to:

  * Install and use the Anaconda Individual Edition (which was formerly known as
 Anaconda Distribution),
  * Modify and create derivative works of sample source code delivered in Anacon
da Individual Edition; and
  * Redistribute code files in source (if provided to you by Anaconda as source)
 and binary forms, with or without modification subject to the requirements set 
forth below.

--More--

Tekan Q.

Do you accept the license terms? [yes|no]
[no] >>>

Ketik yes lalu tekan ENTER.

Anaconda3 will now be installed into this location:
/home/saya/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/home/saya/anaconda3] >>>

Proses instalasi akan dilakukan ke dalam directory /home/saya/anaconda3. Tekan ENTER bila menyetujui lokasi instalasi.

. . .
Preparing transaction: done
Executing transaction: done
installation finished.
Do you wish the installer to initialize Anaconda3
by running conda init? [yes|no]
[no] >>> 

Ketik yes lalu ENTER untuk menjalankan proses conda init secara otomatis.

no change     /home/saya/anaconda3/condabin/conda
no change     /home/saya/anaconda3/bin/conda
no change     /home/saya/anaconda3/bin/conda-env
no change     /home/saya/anaconda3/bin/activate
no change     /home/saya/anaconda3/bin/deactivate
no change     /home/saya/anaconda3/etc/profile.d/conda.sh
no change     /home/saya/anaconda3/etc/fish/conf.d/conda.fish
no change     /home/saya/anaconda3/shell/condabin/Conda.psm1
no change     /home/saya/anaconda3/shell/condabin/conda-hook.ps1
no change     /home/saya/anaconda3/lib/python3.7/site-packages/xontrib/conda.xsh
no change     /home/saya/anaconda3/etc/profile.d/conda.csh
modified      /home/saya/.bashrc

==> For changes to take effect, close and re-open your current shell. <==

If you'd prefer that conda's base environment not be activated on startup, 
   set the auto_activate_base parameter to false: 

conda config --set auto_activate_base false

Thank you for installing Anaconda3!

=================================================================

Anaconda and JetBrains are working together to bring you Anaconda-powered
environments tightly integrated in the PyCharm IDE.

PyCharm for Anaconda is available at:
https://www.anaconda.com/pycharm

Proses instalasi selesai. Silahkan tutup dan buka kembali shell atau terminal yang Anda gunakan untuk melihat hasil instalasi. Berikut adalah contoh tampilan shell saya ketika saya buka kembali

(base) saya@algostudio:~$ 

(base) menandakan bahwa saat ini anda sedang menggunakan conda environments bernama base.

Membuat conda environments baru

Saya sangat menyarankan untuk membuat conda environments baru untuk program Data Science yang anda gunakan. Tujuannya adalah agar memudahkan dalam mengelola package yang kita gunakan dalam program tersebut. Karena terkadang kita memerlukan versi package yang spesifik untuk tiap program.

Berikut adalah contoh perintah untuk membuat conda environments baru bernama datascience.

$ conda create --name datascience

Berikut tampilan awal proses pembuatan conda environments.

Collecting package metadata (current_repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: /home/saya/anaconda3/envs/datascience

Proceed ([y]/n)?

Tekan y untuk menyetujui pembuatan conda environment baru.

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate datascience
#
# To deactivate an active environment, use
#
#     $ conda deactivate

conda environments baru bernama datascience telah selesai dibuat. Jalankan perintah berikut ini untuk mengaktifkan conda environments tersebut.

$ conda activate datascience

Kini tampilan shell anda akan berubah sperti ini.

(datascience) saya@algostudio:~$

Silahkan membaca dokumentasi Anaconda ini untuk penjelasan lebih lanjut.

Instalasi conda package

Anda bisa mencari conda package yang anda perlukan di https://anaconda.org/anaconda/repo. Misalnya, tensorflow dapat anda temukan di https://anaconda.org/conda-forge/tensorflow.

Untuk melakukan instalasi tensorflow Anda cukup mengaktifkan conda environments tempat tensorflow tersebut akan Anda install, misalnya

$ conda activate datascience

Kemudian jalankan perintah

$ conda install -c conda-forge tensorflow

Daftar conda package yang akan ditambahkan akan ditampilkan.

...

tensorflow         pkgs/main/linux-64::tensorflow-2.1.0-mkl_py37h80a91df_0

...

Proceed ([y]/n)?

Ketik y dan ENTER untuk melanjutkan proses instalasi. Setelah selesai, tensorflow telah siap digunakan.

Menghapus conda environments

Untuk menghapus conda environments yang sudah tidak digunakan, misalnya datascience yang kita buat sebelumnya, kembalilah ke conda environments base (atau conda environments lain selain yang anda hapus) dengan perintah:

$ conda activate base

Lalu hapus conda environments dengan perintah:

$ conda remove --name datascience --all

Anda akan diminta melakukan konfirmasi penghapusanconda environments.

Proceed ([y]/n)?

Ketik y dan ENTER untuk melanjutkan proses penghapusan.

Preparing transaction: done
Verifying transaction: done
Executing transaction: done

Proses penghapusan conda environment selesai.

Silahkan membaca dokumentasi Anaconda ini untuk penjelasan lebih lanjut.