Trong Ruby, phương thức JSON.parse dùng để parse chuỗi JSON và chuyển đổi nó thành cấu trúc dữ liệu của Ruby, thường là hash hay array. Chúng ta cũng có thể truyền hai tham số là: object_class và symbolize_names.

• object_class: cho phép bạn chỉ định lớp sẽ được sử dụng để khởi tạo đối tượng cho JSON.
• symbolize_names: nếu bạn truyền tham số symbolize_names với giá trị là true thì key của object sau khi parse là symbol chứ không phải string như mặc định

Link code: Gist

Bài viết gốc: thamdavies.com

That’s it. Happy coding 💯

The post Hiểu thêm về JSON trong Ruby appeared first on Tomoshare.

Hãy cùng nhau xem xét cách một hoạt động đọc file blocking được thực hiện trong 3 trường hợp sau:

• Đơn luồng (single-threaded): Chỉ xử lí được 1 công việc một lúc. Khi bắt đầu đọc file A, toàn bộ quy trình sẽ bị “đóng băng” cho đến khi hoàn tất. Lúc đó không thể đọc file B được.
• Đa luồng (multi-threaded): Khi luồng 1 bắt đầu đọc file A, chỉ riêng luồng 1 bị block, còn luồng 2 vẫn đọc được file B đồng thời.
• Đơn luồng với Async-IO (single-threaded with Async-IO): Khi gặp lệnh đọc file A, nó sẽ chuyển sang thread pool thực hiện. Luồng chính tiếp tục đọc file B. Khi xong sẽ trả kết quả về luồng chính bằng callback.

Nhờ đó trang web không bị “đóng băng” khi thực hiện nhiều yêu cầu đồng thời như gọi hàm fetch()

Như vậy, chúng ta đã cùng nhau xét xem cách hoạt động đọc file blocking được thực hiện trong các mô hình đơn luồng, đa luồng và sử dụng thread pool. Việc nắm vững các khái niệm này giúp lập trình viên Javascript xử lý I/O hiệu quả, đảm bảo tính khả dụng và trải nghiệm người dùng. Enjoy coding 😘

Bài viết gốc: https://www.thamdavies.com/blog/async-io-da-luong-va-don-luong-trong-javascript

The post Async-IO, đa luồng và đơn luồng trong Javascript appeared first on Tomoshare.

Hey, bạn Thâm đây

Như tiêu đề bài viết thì trong bài này mình sẽ thử nghiệm các cách để đọc file CSV, rồi chọn ra cách tối ưu nhất ở phương diện tiêu thụ RAM, cũng như tốc độ xử lý. Let’s go

Chuẩn bị file test

require 'csv'
require_relative './helpers'

headers   = ['id', 'name', 'email', 'city', 'street', 'country']

name      = "Tham Davies"
user_name = "boygialaideptraikhongyeuai"
email     = "large-data@csv.com"
city      = "Pleiku"
street    = "Le Duan"
country   = "Viet Nam"

print_memory_usage do
  print_time_spent do
    CSV.open('data.csv', 'w', write_headers: true, headers: headers) do |csv|
      1_000_000.times do |i|
        csv << [i, name, user_name, email, city, street, country]
      end
    end
  end
end

Helpers

Tiếp theo, chúng ta sẽ sử dụng Benchmark để đo thời gian và đo lường việc sử dụng bộ nhớ.

• print_memory_usage sẽ tính toán và in ra lượng bộ nhớ sử dụng trước và sau khi thực hiện các thao tác.
• print_time_spent sẽ tính toán và in ra thời gian thực hiện các thao tác.

require 'benchmark'

def print_memory_usage
  memory_before = `ps -o rss= -p #{Process.pid}`.to_i
  yield
  memory_after = `ps -o rss= -p #{Process.pid}`.to_i

  puts "Memory: #{((memory_after - memory_before) / 1024.0).round(2)} MB"
end

def print_time_spent
  time = Benchmark.realtime do
    yield
  end

  puts "Time: #{time.round(2)} seconds"
end

Sau khi có 2 file trên thì các bạn chạy câu lệnh bên dưới để tiến hành tạo file test

$ ruby generate_csv.rb
Time: 3.61
Memory: 1.67 MB

$ ls -lah data.csv
-rw-r--r--@ 1 tham  tham    85M Nov 22 10:45 data.csv

Kết quả ở trên tuỳ thuộc vào máy, và điểm mấu chốt ở đây là Ruby sử dụng rất ít bộ nhớ (~1.7MB) để generate file CSV có kích thước là 85MB vì cơ chế dọn rác (GC) đã thu hồi lại bộ nhớ đã sử dụng.

Các cách đọc file CSV

1. CSV.read

require_relative './helpers'
require 'csv'

print_memory_usage do
  print_time_spent do
    csv = CSV.read('data.csv', headers: true)
    sum = 0

    csv.each do |row|
      sum += row['id'].to_i
    end
    puts "Sum: #{sum}"
  end
end

Kết quả:

$ ruby parse1.rb
Sum: 499999500000
Time: 20.12
Memory: 894.5 MB

Qoáo, cách này tiêu tốn 900MB RAM, mất 20S để đọc file, hãy thử tưởng tượng file của bạn tầm 10GB thì sẽ như thế nào 😄

Một số bạn sẽ thắc mắc tại sao file chỉ 85MB mà khi đọc file lại chiếm x10 bộ nhớ RAM?

Lý do là vì chúng ta đã đọc toàn bộ file và lưu đối tượng CSV trong bộ nhớ, khi làm như vậy thư viện CSV tạo ra rất nhiều đối tượng String, nên bộ nhớ sử dụng cao hơn nhiều so với kích thước thực tế của file CSV.

2. CSV.parse

require_relative './helpers'
require 'csv'

print_memory_usage do
  print_time_spent do
    content = File.read('data.csv')
    csv = CSV.parse(content, headers: true)
    sum = 0

    csv.each do |row|
      sum += row['id'].to_i
    end

    puts "Sum: #{sum}"
  end
end

Kết quả:

$ ruby parse2.rb
Sum: 499999500000
Time: 14.61
Memory: 1066.35 MB

Cách này thậm chí còn tiêu tốn RAM hơn Cách 1, lý do là mình load toàn bộ dữ liệu từ file lưu vào biến (85MB), sau đó mới bắt đầu thực hiện các thao tác như Cách 1.

3. CSV.new

Bây giờ chúng ta thử cách load toàn bộ file

require_relative './helpers'
require 'csv'

print_memory_usage do
  print_time_spent do
    content = File.read('data.csv')
    csv = CSV.new(content, headers: true)
    sum = 0

    while row = csv.shift
      sum += row['id'].to_i
    end

    puts "Sum: #{sum}"
  end
end

Kết quả:

$ ruby parse3.rb
Sum: 499999500000
Time: 6.7
Memory: 170.19 MB

Từ kết quả ta thấy lượng bộ nhớ sử dụng x2 kích thước của file (85 MB) vì nội dung file đã được nạp vào bộ nhớ. Thời gian xử lý nhanh hơn gấp đôi.

Phương pháp này hữu ích khi chúng ta đã có nội dung mà không cần đọc từ file, chỉ cần duyệt từng dòng. Việc lưu trực tiếp nội dung file vào bộ nhớ cho phép tăng tốc độ xử lý bằng cách loại bỏ quá trình đọc/ghi liên tục từ ổ đĩa.

Cách này được xem là cách tối ưu rồi, nhưng còn cách nào tốt hơn không? Cùng xem ví dụ ở dưới nhé.

4. IO read

Ở đây chúng ta mở file, sau đó đọc từng dòng và parse sang CSV object

require_relative './helpers'
require 'csv'

# cách 1: bằng cơm
print_memory_usage do
  print_time_spent do
    File.open('data.csv', 'r') do |file|
      csv = CSV.new(file, headers: true)
      sum = 0

      while row = csv.shift
        sum += row['id'].to_i
      end

      puts "Sum: #{sum}"
    end
  end
end

# cách 2: dùng built-in của Ruby
print_memory_usage do
  print_time_spent do
    sum = 0

    CSV.foreach('data.csv', headers: true) do |row|
      sum += row['id'].to_i
    end

    puts "Sum: #{sum}"
  end
end

Kết quả:

$ ruby parse4.rb
Sum: 499999500000
Time: 9.57
Memory: 0.72 MB

Á chà chà, cách này tiêu tốn rất ít RAM, nhưng đổi lại là tốc độ xử lý chậm hơn một tẹo Cách 3 vì nhiều thao tác IO hơn.

Lời kết

Trong bài viết này, chúng ta đã thử nghiệm các cách để đọc file CSV và tìm ra cách tối ưu nhất từ góc nhìn tiêu thụ RAM và tốc độ xử lý. Chúng ta đã thấy rằng cách sử dụng CSV.foreach là cách tiết kiệm RAM nhất, dù tốc độ xử lý có chậm hơn so với cách sử dụng CSV.new. Tuy nhiên, tùy thuộc vào yêu cầu và tình huống cụ thể, chúng ta có thể lựa chọn phương pháp phù hợp để đạt được hiệu suất tối ưu.

Nếu chúng ta xử lý file CSV dung lượng lớn thì rõ ràng cách tiêu thụ ít RAM nhất là cách hiệu quả nhất bởi nó sẽ không gây tràn RAM gây crash hệ thống.

The post Cách xử lý CSV hiệu quả trong Ruby appeared first on Tomoshare.

Swap không phải là sự thay thế cho bộ nhớ vật lý, nó là một phần của ổ đĩa, chính vì thế nó có thời gian truy cập chậm hơn bộ nhớ vật lý. Nếu hệ thống của bạn liên tục hết bộ nhớ, bạn nên bổ sung thêm RAM.

Các thao tác của mình được thực hiện trên Ubuntu 20.04

Tạo một Swap File

Tại sao chúng ta cần swap?

Có một tình huống hết sức cảm động như thế này. Bạn đang chạy một hệ thống săn voucher, trong các ngày bình thường thì lượng user truy cập không nhiều vì có voucher đâu mà săn 😛 

Bỗng dưng tới ngày 12.12, hay các ngày số đẹp mà tiki hay lazada hay dụ các bạn vào hệ thống để săn sale ấy, thì lượng truy cập tăng đột biến và đây là cấu hình server của bạn,

• ổ cứng: 40GB
• RAM: 2GB

khiến cho RAM server của bạn ngỏm củ tỏi dẫn tới việc sập hệ thống. Tới đây các bạn đã thấy cảm động chưa 😅

Nguyên nhân sập hệ thống thì đã rõ, là do hết dung lượng RAM, vậy làm sao để giải quyết vấn đề này?

• Mua thêm 2GB RAM → 4GB
• Tận dụng swap space → we are here, chúng ta sẽ mượn của ổ đĩa 2GB để tạo swap space, server sẽ sử dụng dung lượng mình đã swap này khi RAM đạt tới ngưỡng nhất định gọi là swappiness, mình sẽ nói ở phần dưới nhé.

Lưu ý đây là cách giải quyết tạm thời đề phòng server sập thôi nhé, đối với mình thì cách đầu tiên là ngon nhất, vì nó tận dụng tối đa sức mạnh của RAM

Trong bài này, mình sẽ tạo swap file 2GB. Nếu bạn muốn tạo nhiều hơn thì thay 2G thành con số bạn mong muốn.

1. Tạo swap file:

sudo fallocate -l 2G /swapfile

2. Set quyền cho file để user không nằm trong sudo không đọc và ghi file:

sudo chmod 600 /swapfile

3. Thiết lập swapfile dưới dạng vùng hoán đổi Linux:

sudo mkswap /swapfile

Output

Setting up swapspace version 1, size = 2 GiB (2147479552 bytes)
no label, UUID=fde7d2c8-06ea-400a-9027-fd731d8ab4c8

4. Sau khi tạo thì enable nó lên để sử dụng nhé

sudo swapon /swapfile

Để thực hiện thay đổi vĩnh viễn, hãy mở tệp /etc/fstab và thêm dòng sau:

/swapfile swap swap defaults 0 0

5. Xác nhận swap file đã được enable hay chưa:

sudo swapon --show

Output

NAME      TYPE      SIZE  USED PRIO
/swapfile file        2G    0B   -1

sudo free -h

Output

              total        used        free      shared  buff/cache   available
Mem:          981Mi        97Mi        68Mi       0.0Ki       814Mi       735Mi
Swap:         2.0Gi        10Mi       1.9Gi

Điều chỉnh giá trị swap – swappiness

Swappiness cho phép chúng ta thiết lập thông số để Linux sử dụng swap space, trên Ubuntu giá trị này mặc định là 60, bạn kiểm tra bằng lệnh dưới đây:

cat /proc/sys/vm/swappiness

Vậy làm thế nào để sửa?

sudo vim /etc/sysctl.conf
# Sau đó thêm cuối dòng
vm.swappiness=90

# Chạy lệnh dưới đây để reload lại config ở trên nhé
sudo sysctl -p /etc/sysctl.conf

Xoá swap file

sudo swapoff -v /swapfile
sudo rm /swapfile

💌 Lời cảm ơn

Cảm ơn các bạn đã theo dõi hết bài 😍. Trên đây là toàn bộ những gì chưa sẻ về Cách tạo swap file trên Ubuntu hy vọng nó giúp bạn phần nào trong hành trình code của bạn. 💪

The post Cách tạo swap file trên Ubuntu appeared first on Tomoshare.