scp -i ~/path/to/your-key username@public-ip-address:~/path/to/your-project/log/production.log-20240126.gz ~/Downloads

Use password

scp username@public-ip-address:~/path/to/your-project/log/production.log-20240126.gz ~/Downloads

• Enter your server password

Efficient log check command

grep -B 30 -A 30 --color "keywords you want to search" production.log-20240126

The post Download files from remote server appeared first on Tomoshare.

• Deploy đóng vai trò quan trọng trong quá trình phát triển ứng dụng. Rails đã tích hợp webpacker từ version ~> 6.0 để quản lý tài nguyên JavaScript và CSS dễ dàng hơn

• Khi ứng dụng của bạn ngày càng lớn thì việc assets:precompile sẽ tốn nhiều thời gian và tài nguyên của server. Điều này có thể gây downtime ứng dụng trong quá trình deploy, đặc biệt là trên các servers có tài nguyên hạn chế và workload cao

• Bài viết này giới thiệu về cách dùng local precompile để tối ưu hoá hiệu suất trong quá trình deploy. Chúng ta sẽ tìm hiểu lý do tại sao việc assets:precompile trên server có thể gây nên vấn đề và giải pháp đơn giản chỉ là thực hiện precompile tại máy local

Deploy bằng phương pháp mặc định: Precompile trực tiếp trên server

• Bước đầu tiên là tạo mới một ứng dụng Rails

rails _6.0.6.1_ new local_precompile

• Kiểm tra xem ứng dụng đã hoạt động chưa

rails s

• Thay đổi root path

rails g scaffold post title:string body:text

Rails.application.routes.draw do
  root to: 'posts#index'
  resources :posts
end

• Commit code và push lên Git Repository của bạn

• Tiếp theo mình sẽ Launch Instance và chọn OS là Ubuntu

• SSH vào server và cài đặt nginx làm web server

ssh -i ~/path-to-file-key ubuntu@public-ip-address
sudo apt update
sudo apt install nginx

• Sau khi cài đặt nginx và mở được trang “Welcome to nginx!” trên trình duyệt bằng public-ip-address thì bạn đã hoàn thành nhiệm vụ 🤣

• Tiếp theo, bạn cần cài đặt các packages cần thiết để ứng dụng Rails hoạt động được trên server

• Đảm bảo cài đặt đúng version Ruby, Rails, Yarn, Node… mà bạn đã sử dụng để chạy ứng dụng ở máy local (điều này giúp tránh những lỗi không cần thiết liên quan đến version)

• Quay lại ứng dụng Rails và cấu hình deploy bằng Capistrano. Cài đặt các gems cần thiết

group :development do
  # Capistrano - easy to deployment with Ruby over SSH
  gem 'capistrano', '~> 3.18'
  # rbenv integration for Capistrano
  gem 'capistrano-rbenv', '~> 2.2'
  # Rails specific Capistrano tasks
  gem 'capistrano-rails', '~> 1.6', '>= 1.6.3'
  # Bundler support for Capistrano 3.x
  gem 'capistrano-bundler', '~> 2.1'
  # based on capistrano/npm gem
  gem 'capistrano-yarn', '~> 2.0', '>= 2.0.2'
  # nvm support for Capistrano 3.x
  gem 'capistrano-nvm', '~> 0.0.7'
end

bundle install
cap install

• Sau khi hoàn thành hai lệnh trên, hệ thống sẽ tự động tạo các files cần thiết để hỗ trợ deploy ứng dụng. Chỉnh sửa nội dụng các files sau
  

config/deploy/production.rb

server "public-ip-address", user: "ubuntu", roles: %w{app db web}

set :ssh_options,
    forward_agent: true,
    auth_methods: %w[publickey],
    keys: %w[~/path-to-your-key]

set :branch, :main

set :rails_env, :production

config/deploy.rb

# config valid for current version and patch releases of Capistrano
lock "~> 3.18.0"

set :application, "local_precompile"
set :repo_url, "your-repo-url"

# Default deploy_to directory is /var/www/my_app_name
set :deploy_to, "/home/ubuntu/sites/local_precompile"

# Default value for :pty is false
set :pty, true

# Default value for :linked_files is []
append :linked_files, "config/master.key"

# Default value for linked_dirs is []
append :linked_dirs, "log", "tmp/pids", "tmp/cache", "tmp/sockets", "public/system", "vendor", "storage"

# Default value for default_env is {}
set :default_env, { "PATH": "/home/ubuntu/.nvm/versions/node/v16.20.2/bin:$PATH" }

set :puma_pid, shared_path.join('tmp/pids/server.pid')

set :puma_bind, "unix://#{shared_path.join('tmp/sockets/puma.sock')}"

set :puma_config_path, -> { File.join(current_path, 'config', 'puma', "#{fetch(:rails_env)}.rb") }

• Thêm các modules cần thiết vào /Capfile

require "capistrano/rbenv"
set :rbenv_type, :user
set :rbenv_ruby, "2.7.0"
set :rbenv_map_bins, %w[rake gem bundle ruby rails]
set :rbenv_roles, :all

require "capistrano/bundler"
require "capistrano/rails/assets"
require "capistrano/rails/migrations"

require "capistrano/yarn"
set :yarn_flags, '--frozen-lockfile'

require "capistrano/nvm"
set :nvm_type, :user
set :nvm_node, "v16.20.2"
set :nvm_map_bins, %w[node npm yarn]

• Tạo một file puma configuration cho môi trường production như sau

config/puma/production.rb

# Puma can serve each request in a thread from an internal thread pool.
# The `threads` method setting takes two numbers: a minimum and maximum.
# Any libraries that use thread pools should be configured to match
# the maximum value specified for Puma. Default is set to 5 threads for minimum
# and maximum; this matches the default thread size of Active Record.
#
max_threads_count = ENV.fetch("RAILS_MAX_THREADS") { 5 }
min_threads_count = ENV.fetch("RAILS_MIN_THREADS") { max_threads_count }
threads min_threads_count, max_threads_count

# Specifies the `port` that Puma will listen on to receive requests; default is 3000.
#
port ENV.fetch("PORT") { 3000 }

# Specifies the `environment` that Puma will run in.
#
environment "production"

# Specifies the `pidfile` that Puma will use.
pidfile ENV.fetch("PIDFILE") { "tmp/pids/server.pid" }

tmp_path = "#{File.expand_path('../../..', __FILE__)}/tmp"
bind "unix://#{tmp_path}/sockets/puma.sock"

log_path = "#{File.expand_path('../../..', __FILE__)}/log"
stdout_redirect "#{log_path}/puma.stdout.log", "#{log_path}/puma.stderr.log", true

# Specifies the number of `workers` to boot in clustered mode.
# Workers are forked web server processes. If using threads and workers together
# the concurrency of the application would be max `threads` * `workers`.
# Workers do not work on JRuby or Windows (both of which do not support
# processes).
#
# workers ENV.fetch("WEB_CONCURRENCY") { 2 }

# Use the `preload_app!` method when specifying a `workers` number.
# This directive tells Puma to first boot the application and load code
# before forking the application. This takes advantage of Copy On Write
# process behavior so workers use less memory.
#
preload_app!

# Allow puma to be restarted by `rails restart` command.
plugin :tmp_restart

• Tạo một file puma rake task như sau

lib/capistrano/tasks/puma.rake

namespace :puma do
  desc 'Start puma'
  task :start do
    on roles(:app) do
      within current_path do
        execute :bundle, 'exec', 'puma', '--config', "#{fetch(:puma_config_path)}", '--daemon'
      end
    end
  end

  desc 'Restart puma'
  task :restart do
    on roles(:app) do
      within current_path do
        if test("[ -f #{shared_path}/tmp/pids/server.pid ]")
          execute :bundle, :exec, :pumactl, '-P', fetch(:puma_pid), 'restart', '--config', fetch(:puma_config_path)
        else
          invoke 'puma:start'
        end
      end
    end
  end

  desc 'Stop puma'
  task :stop do
    on roles(:app) do
      within current_path do
        execute :bundle, :exec, 'pumactl', '-P', fetch(:puma_pid), 'stop'
      end
    end
  end
end

namespace :load do
  task :defaults do
    after 'deploy:publishing', 'puma:restart'
  end
end

• Thêm cấu hình cho nginx

sudo vi /etc/nginx/conf.d/local_precompile.conf

upstream local_precompile {
  server unix:///home/ubuntu/sites/local_precompile/shared/tmp/sockets/puma.sock;
}

server {
  listen 80;
  server_name 54.196.84.135;

  root /home/ubuntu/sites/local_precompile/current/public;
  try_files $uri/index.html $uri @puma;

  location @puma {
    proxy_pass http://unix:/home/ubuntu/sites/local_precompile/shared/tmp/sockets/puma.sock;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
  }
}

sudo service nginx restart

• Khi tất cả đã được thiết lập xong thì chạy lệnh sau để deploy

cap production deploy

• Trong những lần deploy đầu chắc chắn sẽ có những lỗi nhỏ, tuỳ trường hợp mà các bạn có thể tự xử lý nhé 🤣

• Quan sát htop trong quá trình deploy, có thể thấy workload của CPU và Memory tăng cao rõ rệt trong lúc thực hiện yarn:install và deploy:assets:precompile

• Đó là nguyên nhân chính có thể gây downtime ứng dụng

Dùng Local Precompile

• Phát hiện vấn đề chính nằm ở yarn:install và deploy:assets:precompile

• Tiếp theo chúng ta cần chuyển hai tác vụ này về xử lý ở máy local, sau đó upload các files cần thiết lên server là xong

• Tạo một file deploy rake task như sau

lib/capistrano/tasks/deploy.rake

namespace :deploy do
  namespace :assets do
    desc 'Precompile assets locally'
    task :local_precompile do
      run_locally do
        execute "rm -rf #{fetch(:cache_dir)}"
        execute "RAILS_ENV=#{fetch(:rails_env)} bundle exec rake assets:clean"
        execute "RAILS_ENV=#{fetch(:rails_env)} bundle exec rake assets:precompile"
      end
    end

    desc 'rsync assets to web server'
    task :rsync_assets do
      on roles(:web), in: :parallel do |server|
        run_locally do
          ssh_shell   = %(-e "ssh -i #{fetch(:ssh_options)[:keys].first}")
          rsync_shell = "rsync -avz #{ssh_shell}"
          release_dir = "username@public-ip-address:#{release_path}"
          commands    = []

          commands << "#{rsync_shell} ./#{fetch(:assets_dir)} #{release_dir}/#{fetch(:assets_dir)}" if Dir.exists?(fetch(:assets_dir))
          commands << "#{rsync_shell} ./#{fetch(:packs_dir)}  #{release_dir}/#{fetch(:packs_dir)}"  if Dir.exists?(fetch(:packs_dir))
          commands << "#{rsync_shell} ./#{fetch(:cache_dir)}  #{release_dir}/#{fetch(:cache_dir)}"  if Dir.exists?(fetch(:cache_dir))

          commands.each { |command| dry_run? ? SSHKit.config.output.info(command) : execute(command) }
        end
      end
    end
  end
end

namespace :load do
  task :defaults do
    set :assets_role, 'web'
    set :assets_dir,  'public/assets/'
    set :packs_dir,   'public/packs/'
    set :cache_dir,   'tmp/cache/'

    after 'deploy:migrate', 'deploy:assets:local_precompile'
    after 'deploy:assets:local_precompile', 'deploy:assets:rsync_assets'
  end
end

• Rake task này có hai nhiệm vụ
  • Precompile assets ở local
  • Đồng bộ files lên server

• Server không cần phải thực hiện yarn:install và deploy:assets:precompile mỗi khi deploy nữa

• Clean code khi dùng local precompile

Gemfile

group :development do
  # Capistrano - easy to deployment with Ruby over SSH
  gem 'capistrano', '~> 3.18'
  # rbenv integration for Capistrano
  gem 'capistrano-rbenv', '~> 2.2'
  # Rails specific Capistrano tasks
  gem 'capistrano-rails', '~> 1.6', '>= 1.6.3'
  # Bundler support for Capistrano 3.x
  gem 'capistrano-bundler', '~> 2.1'
end

bundle install

Capfile

require "capistrano/rbenv"
set :rbenv_type, :user
set :rbenv_ruby, "2.7.0"
set :rbenv_map_bins, %w[rake gem bundle ruby rails]
set :rbenv_roles, :all

require "capistrano/bundler"
require "capistrano/rails/migrations"

• Commit code và push lên Git Repository của bạn

cap production deploy

• Quan sát htop bạn sẽ không còn thấy sự ảnh hưởng đến workload của CPU và Memory trong quá trình deploy nữa

Lời kết

• Bài viết là một trong những giải pháp liên quan đến hiệu suất server mà team mình đã từng áp dụng trong thực tế

• Chúc các bạn thực hiện thành công và có những trải nghiệm tuyệt vời trên server yêu dấu của client nhé 😆

The post Deploy Rails App: Tối Ưu Hóa Hiệu Suất Server Bằng Local Precompile appeared first on Tomoshare.

Đọc hiểu thông tin từ htop

• Hình trên là giao diện mặc định của htop
• Layout hiển thị gồm ba thành phần chính

1. Top left
   • Từ trên xuống
     • CPU
       • 1 và 2 là hai thanh tiến trình của CPU
       • Vì sao CPU lại có hai thanh tiến trình? vì server được cấu hình hai lõi CPU, nếu server của bạn có bốn lõi thì chỗ này có thể sẽ được hiển thị bốn thanh tiến trình
       • Để xem thông tin chi tiết về CPU trên ubuntu server, bạn có thể chạy lệnh sau: lscpu
       • CPU Bar có thể giúp bạn nhanh chóng đánh giá tình trạng hiệu suất của server. Nếu bạn thấy thanh CPU màu đỏ, có thể là dấu hiệu server đang tải công việc nặng
     • Mem
       • Memory (RAM)
       • Các màu sắc thường thể hiện mức độ sử dụng bộ nhớ
       • + Màu xanh lá cây: mức độ sử dụng bộ nhớ thấp hoặc không sử dụng
       • + Màu vàng: mức độ sử dụng bộ nhớ trung bình
       • + Màu đỏ: mức độ sử dụng bộ nhớ cao
       • Memory Bar giúp bạn đánh giá tình trạng sử dụng bộ nhớ của server và xác định xem liệu có cần thực hiện các biện pháp như giải phóng bộ nhớ, tối ưu hóa các tiến trình hoặc nâng cấp bộ nhớ hay không
     • Swp
       • Swap Usage
       • Là một phần không gian của ổ cứng được OS sử dụng như bộ nhớ ảo
       • Khi đầy RAM thì OS sẽ tự động chuyển một số dữ liệu không sử dụng sang vùng Swap để tạo không gian cho các tiến trình khác
       • Khi bạn quan sát thấy thanh Swp này thường xuyên đầy đặn là dấu hiệu server đang sử dụng nhiều swap, có thể ảnh hưởng đến performance vì truy cập dữ liệu từ ổ cứng thường sẽ chậm hơn RAM
2. Top right
   • Từ trên xuống
     • Tasks
       • Số liệu về tổng số tiến trình đang chạy trên server
       • Tasks: 39, 51 thr; 1 running có ý nghĩa
       • + Tổng số tiến trình là 39
       • + Tổng số luồng (bao gồm cả đang chạy và không chạy) là 51
       • + Có 1 tiến trình đang chạy
     • Load average
       • Chỉ số này thể hiện tải trung bình của server trong một khoảng thời gian nhất định, lần lượt theo thứ tự 1 -> 5 -> 15 phút
       • Load average: 0.5 0.6 0.11 có ý nghĩa
       • + Load average trong 1 phút gần nhất là 0.5
       • + Load average trong 5 phút gần nhất là 0.6
       • + Load average trong 15 phút gần nhất là 0.11
       • Các con số này đại diện cho tỉ lệ của công việc đang chờ (đang chạy hoặc đợi) so với tổng số lõi CPU
       • Nếu số này thấp (gần 0) nghĩa là server đang chạy nhẹ và có nhiều tài nguyên còn trống
       • Nếu số này cao (lớn hơn số lõi CPU) thì đó có thể là dấu hiệu của tải nặng và hệ server phải xử lý nhiều công việc
     • Uptime
       • Là khoảng thời gian hoạt động liên tục kể từ thời điểm gần nhất mà server được start/restart
       • uptime = DateTime.now - start/restart time
3. Bảng danh sách các tiến trình
   • PID (Process ID) là một số nguyên duy nhất đại diện cho ID của tiến trình
   • USER là tên người dùng chạy tiến trình. Cột này hiển thị thông tin về người dùng sở hữu tiến trình
   • PRI (Priority) là độ ưu tiên của tiến trình. Số càng lớn thì độ ưu tiên càng thấp
   • NI (Nice value) cũng là một số chỉ đánh giá sự ưu tiên của tiến trình. Nice value âm thường có độ ưu tiên cao hơn
   • VIRT (Virtual memory) là lượng bộ nhớ ảo mà tiến trình đang sử dụng
   • RES (Resident memory) là lượng bộ nhớ thực tế đang được sử dụng bởi tiến trình
   • SHR (Shared memory) là lượng bộ nhớ được sử dụng chung giữa các tiến trình
   • S (Status) là trạng thái của tiến trình
     • R (Running) là tiến trình đang thực thi và đang chạy hoặc sẵn sàng chạy
     • S (Sleeping) là tiến trình đang ở trạng thái chờ đợi mà không chiếm tài nguyên CPU. Có thể là đang chờ sự kiện nào đó để xảy ra
     • D (Disk sleep) là tiến trình đang chờ đợi dữ liệu từ ổ đĩa hoặc thiết bị lưu trữ khác
     • Thông thường, trạng thái “D” không phải là điều tốt đẹp vì nó có thể làm tăng tải cho server nếu có quá nhiều tiến trình chờ đợi I/O
     • Nếu bạn gặp phải trạng thái “D” liên tục cho một tiến trình cụ thể thì bạn nên kiểm tra và giải quyết vấn đề liên quan đến I/O như sự cố với ổ đĩa hoặc dữ liệu lưu trữ
   • CPU% là phần trăm của CPU mà tiến trình đang sử dụng
   • MEM% là phần trăm của bộ nhớ RAM mà tiến trình đang sử dụng
   • TIME+ là thời gian tiêu thụ CPU của bởi tiến trình kể từ khi nó được bắt đầu
   • Command là dòng lệnh hoặc tên của tiến trình
   • Các tiến trình được sắp xếp mặc định theo CPU% giảm dần

Tuỳ chỉnh hiển thị

• Bạn chỉ cần bấm F2 và tuỳ chỉnh những gì mình mong muốn

• Phần Setup này mô tả rất chi tiết về công dụng của mỗi thuộc tính. Do đó, để điều chỉnh giao diện của htop phản ánh đúng nhu cầu thì bạn nên đọc kỹ hướng dẫn sử dụng trước khi dùng
• Tuỳ chỉnh sẽ được hiển thị realtime ngay khi bạn lưu lại 🤣
• Hình dưới là một ví dụ tuỳ chỉnh htop mà mình tự chế cho dễ nhìn hơn 😝

Lời kết

• Hi vọng bài viết của mình sẽ giúp bạn thoải mái sử dụng htop để theo dõi hiệu suất server và giải quyết các vấn đề liên quan, ví dụ như các câu hỏi của sếp: mày có hiểu cái này là gì không? còn cái này và cái này...😵‍💫 😂
• Chúc bạn có những trải nghiệm tốt với htop

The post htop: Đọc hiểu hiệu suất server appeared first on Tomoshare.

AWS CLI Configuration

• VIệc đầu tiên cần kiểm tra xem máy của bạn đã được cấu hình AWS CLI chưa

aws configure list

• Bạn có thể cấu hình một profile mới như sau

aws configure

• Tạo một bucket trên S3

• Chuẩn bị file muốn upload

Use high-level aws s3 commands

• Để dùng high-level command cho multipart upload, có thể chạy lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

• Khi bạn sử dụng lệnh aws s3 cp để tải lên một file vào Amazon S3, AWS CLI có thể tự quyết định xem có nên dùng multipart upload hay không, dựa vào kích thước của file và các cấu hình liên quan

• Tốc độ upload còn phụ thuộc vào tốc độ wifi nhưng nhìn chung là upload khá nhanh

• Để mã hoá file khi upload, có thể dùng lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/ --metadata md5="examplemd5value1234/4Q"

• Để config max concurrent request, có thể chạy lệnh sau (mặc định là 10)

aws configure set default.s3.max_concurrent_requests 20

• Lưu ý: max_concurrent_requests càng nhiều thì trong quá trình upload sẽ tiêu hao nhiều băng thông và tài nguyên của máy chủ hơn

• Để biết thêm thông tin về cách định cấu hình AWS CLI với Amazon S3 thì hãy xem AWS CLI S3 configuration

• Ngoài lệnh copy, bạn cũng có thể sử dụng các lệnh AWS S3 khác liên quan đến việc tải object lên S3 như aws s3 sync hoặc aws s3 mv

• Để xem thêm các options khi copy, có thể dùng lệnh sau

aws s3 cp help

Use low-level aws s3api commands

1. Chia file bạn muốn tải lên thành nhiều phần

• Ubuntu: https://askubuntu.com/questions/54579/how-to-split-larger-files-into-smaller-parts

• MacOS

split -b fileSize path/to/filename

• Mình thử split một file hơn 20MB thì nó sẽ tự động sinh ra 5 files con với tên random như hình minh hoạ

2. Chạy lệnh sau để khởi tạo multipart upload và truy xuất liên kết với một UploadID, kết quả phản hồi có chứa UploadID value

aws s3api create-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key large-test-file

3. Copy UploadID value để dùng cho các bước sau

4. Chạy lệnh sau để upload các files part đã split ở trên, kết quả phản hồi có chứa ETag value

aws s3api upload-part --bucket DOC-EXAMPLE-BUCKET --key large-test-file --part-number 1 --body large-test-file.001 --upload-id UploadID

5.    Copy ETag value để dùng cho bước sau

6. Lặp lại bước 4 & 5 đến khi upload hết các files part

7. Tạo một file fileparts.json với nội dung là ETag value của các part đã upload ở trên

{
  "Parts": [
    {
      "ETag": "example8be9a0268ebfb8b115d4c1fd3",
      "PartNumber":1
    },
    {
        "ETag": "example246e31ab807da6f62802c1ae8",
        "PartNumber":2
    }
  ]
}

8. Chạy lệnh sau để hoàn thành quá trình upload

aws s3api complete-multipart-upload --multipart-upload file://path/to/fileparts.json --bucket DOC-EXAMPLE-BUCKET --key large-test-file --upload-id UploadID

• Kết quả phản hồi sẽ có chứa Location value là url dẫn đến file trên S3 của bạn

{
    "ETag": "exampleae01633ff0af167d925cad279-2",
    "Bucket": "DOC-EXAMPLE-BUCKET",
    "Location": "https://DOC-EXAMPLE BUCKET.s3.amazonaws.com/large-test-file",
   
    "Key": "large-test-file"
}

Resolve upload failures

1. Chạy lệnh sau để xem tất cả multipart-upload chưa hoàn thành

aws s3api list-multipart-uploads --bucket DOC-EXAMPLE-BUCKET

{
  "Uploads": [
    {     
      "Initiator": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      },
      "Initiated": "2016-03-31T06:13:15.000Z",
      "UploadId": "examplevQpHp7eHc_J5s9U.kzM3GAHeOJh1P8wVTmRqEVojxxu...",
      "StorageClass": "STANDARD", 
      "Key": "",
      "Owner": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      }
    }
  ]
}

2. Chạy lệnh sau để remove UploadID chưa hoàn thành

aws s3api abort-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key Key --upload-id UploadID

Tài liệu tham khảo

• https://repost.aws/knowledge-center/s3-multipart-upload-cli

The post Upload File Lên Amazon S3: Dùng Multipart Upload vs AWS CLI appeared first on Tomoshare.

Logrotate không chỉ giúp giảm kích thước file log một cách tự động mà còn có thể nén file để tiết kiệm không gian lưu trữ

Trong bài viết này, chúng ta sẽ tìm hiểu cách Logrotate được cấu hình để tự động nén và đẩy file lên S3, giúp bạn duy trì hệ thống được sạch sẽ và dễ quản lý hơn

Config

cd /etc/logrotate.d
touch rails_log_rotation

/home/ubuntu/path-to-deploy/current/log/production.log {
  daily
  dateext
  missingok
  rotate 90
  compress
  copytruncate
  lastaction
    aws s3 sync /home/ubuntu/path-to-deploy/current/log/ s3://path-to-bucket-name --exclude "*" --include "production.log*.gz" 2>&1
  endscript
  create 0644 root root
  su root root
}

home/ubuntu/path-to-deploy/current/log/production.log

• Link đến file log cần được quản lý bởi logrotate

daily

• Thực hiện xoay vòng log hàng ngày (được thực hiện bằng cron-job)

• Có nghĩa là file /home/ubuntu/path-to-deploy/current/log/production.log sẽ được làm mới mỗi ngày

• Check cron configuration

cd /etc/
ls | grep cron
cron.d
cron.daily
cron.hourly
cron.monthly
cron.weekly
crontab

dateext

• Thêm ngày vào filename của file log được xoay vòng để đảm bảo không bị trùng tên

missingok

• Cho phép logrotate bỏ qua nếu không tìm thấy file

rotate 90

• Giữ lại tối đa 90 file logs đã quay vòng
• Trong trường hợp này, có thể hiểu là cho phép lưu trữ file logs của 90 ngày gần nhất

compress

• Nén file log đã xoay vòng để tiết kiệm không gian lưu trữ

copytruncate

• Sao chép nội dung từ file cũ vào file mới, sau đó quay lại đầu file cũ và cắt bớt nó. Điều này giúp logrotate có thể xoay vòng mà không làm ảnh hưởng đến ứng dụng đang chạy

lastaction và endscript

• Bọc một đoạn code hoặc command được thực thi sau khi xoay vòng
• Trong trường hợp này, sử dụng AWS CLI để đồng bộ hóa các file logs đã xoay vòng với Amazon S3
• Loại trừ tất cả các files, chỉ bao gồm các file logs đã nén (production.log*.gz)
• Lưu ý
  • Bạn cần thay thế path-to-bucket-name bằng đường dẫn thích hợp đến S3 Bucket của bạn
  • EC2 phải tương tác được với S3 Bucket của bạn (có thể dùng aws configure hoặc attached IAM role đều được)

create 0644 root root

• Tạo một file log mới với quyền truy cập 0644 và chủ sở hữu là root

su root root

• Chuyển quyền sở hữu của file sang root sau khi tạo mới để đảm bảo an toàn và bảo mật

Tóm lại

• Config này giúp bạn quản lý và tự động xoay vòng file production.log mỗi ngày
• Nén file để tiết kiệm không gian và đồng thời sao chép lên Amazon S3 để lưu trữ

Manual test config

sudo logrotate -f /etc/logrotate.conf

The post Logrotate: Compress và push file log lên S3 appeared first on Tomoshare.

1. Proc

1.1 Khái niệm

• Proc là một class trong Ruby

• Đối tượng Proc là sự đóng gói của một khối mã, có thể được lưu trữ trong một biến, được truyền vào một method hoặc Proc khác và được gọi khi cần dùng

1.2 Khai báo và sử dụng Proc

• Proc có 2 cách khai báo và nhiều cách gọi

# Lambda-like syntax
sample_proc = Proc.new {|x| puts x}
# Or short syntax
sample_proc = proc {|x| puts x}

# Call proc (Output: 10)
sample_proc.call(10) 
# Or
sample_proc[10]
# Or
sample_proc.10
# Or
sample_proc.yield(10)

2. Lambda

2.1 Khái niệm

• Lambda là một đối tượng đặc biệt của Proc, mang lại cú pháp đơn giản hơn cho việc định nghĩa hàm

2.2 Khai báo và sử dụng Lambda

• Lambda có 2 cách khai báo. Cách gọi Lambda cũng giống như gọi Proc

sample_lambda = lambda {|x| puts x}
# Or
sample_lambda = ->(x) {puts x}

3. Sự khác biệt

Ngoài syntax khai báo thì Proc và Lambda còn có những điểm khác biệt sau

3.1 Parameters

• Proc không cần truyền đúng số lượng arguments vẫn hoạt động tốt
• Lambda bắt buộc truyền đúng số lượng arguments nếu không sẽ raise errors

• Proc có khả năng giải cấu trúc mảng để tương ứng với arguments
• Lambda thì không

3.2 Return

• Khi gặp lệnh return trong method
  • Proc lập tức thoát hàm và không xử lý gì thêm
  • Lambda vẫn xử lý như một method thông thường

• Khi return hiện diện trực tiếp trong block
  • Proc sẽ báo lỗi khi gọi
  • Lambda vẫn hoạt động tốt
    

Đây là lý do vì sao trong Rails, bạn sẽ hiếm khi thấy ai dùng Proc để viết scope, vì Proc kém linh hoạt hơn Lambda ở cú pháp return này

4. Một vài method khác

4.1 lambda?

Để kiểm tra một đối tượng Proc có phải là lambda hay không

4.2 source_location

Trả về tên file và số dòng chứa đối tượng Proc này

4.3 Others

Còn rất nhiều method hữu ích dành cho proc và lambda, bạn có thể tham khảo trực tiếp trên docs của Ruby

https://ruby-doc.org/3.1.2/Proc.html

5. Lời kết

• Chúng ta đã khám phá xong sự khác biệt giữa Proc và Lambda trong Ruby
• Dù cả hai đều là đối tượng của Proc nhưng Lambda mang lại sự linh hoạt hơn với cú pháp khai báo, xử lý tham số nghiêm túc, và kiểm soát lệnh return
• Proc và Lambda đều có vai trò quan trọng trong việc làm cho mã nguồn Ruby trở nên mạnh mẽ và dễ đọc hơn, tùy thuộc vào ngữ cảnh sử dụng

The post Proc và Lambda trong Ruby: Sự Khác Biệt và Cách Sử Dụng appeared first on Tomoshare.

Bước 1: Chuẩn bị nội dung trang web

Trước tiên, bạn cần chuẩn bị nội dung cho trang web tĩnh của mình. Đây có thể là các tệp HTML, CSS, JavaScript, hình ảnh và bất kỳ tài liệu tĩnh nào khác bạn muốn hiển thị trên trang web của mình

Static website template source code: https://github.com/thuc-pt/fe-zing-mp3

Bước 2: Tạo một S3 bucket

• Đăng nhập vào AWS Management Console

• Chuyển đến dịch vụ "S3" bằng cách tìm kiếm trong thanh tìm kiếm hoặc nhấp vào nó trong danh sách các dịch vụ

• Click nút "Create bucket" để tạo mới một bucket

• AWS S3 quy định bucket name là duy nhất trên toàn cầu. Nên đặt tên bucket dạng your-domain-name.com

• Chọn khu vực AWS (Region) mà bạn muốn lưu trữ bucket

• Bỏ qua các cài đặt còn lại (hoặc tuỳ chỉnh theo nhu cầu của bạn) và nhấp vào nút "Create bucket" ở cuối trang để tạo bucket

Bước 3: Upload nội dung trang web

• Chọn bucket bạn đã tạo trong danh sách S3 buckets

• Nhấp vào nút "Upload" và sau đó chọn files bạn muốn tải lên

• Sau khi bạn tải lên nội dung của trang web, hãy đảm bảo rằng tất cả các tệp và thư mục đều có quyền truy cập public để mọi người có thể xem được trang web của bạn. Có thể thực hiện theo các bước sau

• Sau khi "Make public" xong thì tất cả các files trong bucket đều có thể được truy cập từ internet

Bước 4: Cấu hình trang web

• Chọn bucket của bạn và chọn "Properties"

• Sau khi click "Save changes" thì tại block Static website hosting sẽ hiển thị một URL. Đây là đường dẫn đến trang web của bạn
• Click vào URL để kiểm tra hoạt động

Bước 5: Tùy chỉnh tên miền và SSL (optional)

Nếu bạn muốn sử dụng tên miền tùy chỉnh và cài đặt SSL cho trang web của bạn, bạn có thể sử dụng dịch vụ như Amazon CloudFront hoặc AWS Amplify

Bài viết này đã hướng dẫn cách triển khai trang web tĩnh bằng AWS S3. Bằng cách làm theo các bước trên, bạn có thể đưa trang web của mình lên internet một cách dễ dàng và tiết kiệm chi phí. Chúc các bạn thành công!

The post Các bước triển khai trang web tĩnh bằng AWS S3 appeared first on Tomoshare.

• Ruby on Rails là một framework phát triển ứng dụng web mạnh mẽ và phổ biến nhưng có những hạn chế về việc hỗ trợ các lĩnh vực như: trí tuệ nhân tạo (AI), machine learning, đồ hoạ… và nhiều thư viện đặc biệt khác. Tuy nhiên với sự đa dạng và sức mạnh của Python, chúng ta có thể dễ dàng giải quyết những thách thức này
• Rất may là Rails cho phép chúng ta tận dụng tốt cả hai thế giới, và bài viết này sẽ hướng dẫn bạn cách làm điều đó

Ứng dụng thực tế

• Cài đặt python3 và python3-pip vào máy tính của bạn

• Add gem pycall vào Rails App

gem 'pycall', '1.5.1'

• Tiếp theo mình sẽ tạo hai tệp mã nguồn, một cho Ruby và một cho Python, để cho phép chúng tương tác với nhau thông qua gem pycall. Mình sẽ đặt các tệp này trong thư mục "lib"

lib/python/image_generator.py
lib/image_generator.rb

• Mình sẽ định nghĩa một phương thức trong tệp "image_generator.py" và output “Hello world” để kiểm tra hoạt động

def hello_world():
    print("Hello world!")

• Kế tiếp là tệp “image_generator.rb” để gọi python script

require 'pycall/import'

module ImageGenerator
  extend PyCall::Import

  pyimport 'sys'
  sys.path.append File.expand_path('../../lib/python', __FILE__)
  pyfrom 'image_generator', import: :hello_world

  class << self
    def run
      hello_world
    end
  end
end

• Test hoạt động bằng rails console

• Sau đây mình sẽ ví một bài toán nan giải đối với Rails nhưng dễ dàng khi sử dụng Python’s libs: Tạo một hình ảnh có chứa biểu đồ

• Cài đặt các thư viện cần thiết

pip3 install pandas
pip3 install matplotlib

• File image_generator.py

import json
import matplotlib
from matplotlib import pyplot as plt
import pandas as pd

def hello_world():
    print("Hello world!")

def generate_chart_image(info, image_path):
    info = json.load(info)
    matplotlib.style.use('ggplot')

    categories = info.get('categories')
    series = info.get('series')

    if categories and series:
        mapped_data = {entry['name']: entry['values'] for entry in series}
        df = pd.DataFrame(mapped_data, index=categories)

        _, ax = plt.subplots(figsize=(20, 5))

        colors = [['#4c5fcb', '#2196f3'], ['#8bc34a', '#673ab7']]
        stacks = get_stacks_from_data(mapped_data)

        # Plotting the stacked bar chart
        df[stacks[0]].plot.bar(stacked=True, width=0.2, position=1.25, color=colors[0], ax=ax, alpha=1)
        df[stacks[1]].plot.bar(stacked=True, width=0.2, position=-0.25, color=colors[1], ax=ax, alpha=1)

        ax.tick_params(axis='x', rotation=0)
        legend = ax.legend(loc='upper center', ncol=2, bbox_to_anchor=(0.5, 1.15))
        legend.get_frame().set_facecolor('none')
        ax.set_xlim(left=-0.5)
        plt.savefig(image_path, dpi=300, bbox_inches='tight')
        print("Generate image successfully!")

def get_stacks_from_data(mapped_data={}):
    years = []

    for key in mapped_data:
        year, _ = key.split('・')
        years.append(year.strip())

    years = sorted(set(years))
    result = []

    for year in years:
        sub_list = [key for key in mapped_data if key.startswith(year)]
        result.append(sub_list)

    return result

• File image_generator.rb

require 'pycall/import'

module ImageGenerator
  extend PyCall::Import

  pyimport 'sys'
  sys.path.append File.expand_path('../../lib/python', __FILE__)
  pyfrom 'image_generator', import: [:hello_world, :generate_chart_image]

  class << self
    def run
      hello_world
      info = {
        'categories': ["1", "2", "3", "4", "5", "6"],
        'series': [
          {'name': 'CurY.Google', 'values': [1000, 1998, 3323, 1838, 1111, 6666]},
          {'name': 'CurY.GoogleMap', 'values': [1997, 2461, 6232, 1838, 2222, 8888]},
          {'name': 'PrevY.Google', 'values': [1000, 1998, 3323, 1838, 1111, 6666]},
          {'name': 'PrevY.GoogleMap', 'values': [1997, 2461, 6232, 1838, 2222, 8888]}
        ]
      }.to_json
      image_path = 'tmp/chart_image.png'
      generate_chart_image(info, image_path)
    end
  end
end

• Reload rails console và test hoạt động

• Và đây là kết quả

Kết luận

• Có thể thấy nhờ sự hỗ trợ của thư viện và vài dòng code Python đơn giản thì chúng ta đã tạo ra được một hình ảnh với chất lượng nét nèn nẹt
• Hi vọng bài viết của mình sẽ giúp ích được cho các bạn khi có một tính năng nào đó khó khăn và phải cần đến sự trợ giúp của Python

The post Cách Tích Hợp Python Vào Rails App appeared first on Tomoshare.