sudo docker tag 5db5f8471261 rhrn/ubuntu:webdev

Get bash inside runned container

sudo docker exec -i -t 665b4a1e17b6 bash

Clear docker unused images

docker rmi $(docker images -f "dangling=true" -q)

Clear docker exited containers

docker rm $(docker ps -aq -f status=exited)

Clear unused volumes

docker volume ls -qf dangling=true | xargs -r docker volume rm

Sort images by size

docker images --format "{{.ID}}\\t{{.Size}}\\t{{.Repository}}" | sort -k 2 -h

The post Docker tips appeared first on Tomoshare.

AWS CLI Configuration

• VIệc đầu tiên cần kiểm tra xem máy của bạn đã được cấu hình AWS CLI chưa

aws configure list

• Bạn có thể cấu hình một profile mới như sau

aws configure

• Tạo một bucket trên S3

• Chuẩn bị file muốn upload

Use high-level aws s3 commands

• Để dùng high-level command cho multipart upload, có thể chạy lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

• Khi bạn sử dụng lệnh aws s3 cp để tải lên một file vào Amazon S3, AWS CLI có thể tự quyết định xem có nên dùng multipart upload hay không, dựa vào kích thước của file và các cấu hình liên quan

• Tốc độ upload còn phụ thuộc vào tốc độ wifi nhưng nhìn chung là upload khá nhanh

• Để mã hoá file khi upload, có thể dùng lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/ --metadata md5="examplemd5value1234/4Q"

• Để config max concurrent request, có thể chạy lệnh sau (mặc định là 10)

aws configure set default.s3.max_concurrent_requests 20

• Lưu ý: max_concurrent_requests càng nhiều thì trong quá trình upload sẽ tiêu hao nhiều băng thông và tài nguyên của máy chủ hơn

• Để biết thêm thông tin về cách định cấu hình AWS CLI với Amazon S3 thì hãy xem AWS CLI S3 configuration

• Ngoài lệnh copy, bạn cũng có thể sử dụng các lệnh AWS S3 khác liên quan đến việc tải object lên S3 như aws s3 sync hoặc aws s3 mv

• Để xem thêm các options khi copy, có thể dùng lệnh sau

aws s3 cp help

Use low-level aws s3api commands

1. Chia file bạn muốn tải lên thành nhiều phần

• Ubuntu: https://askubuntu.com/questions/54579/how-to-split-larger-files-into-smaller-parts

• MacOS

split -b fileSize path/to/filename

• Mình thử split một file hơn 20MB thì nó sẽ tự động sinh ra 5 files con với tên random như hình minh hoạ

2. Chạy lệnh sau để khởi tạo multipart upload và truy xuất liên kết với một UploadID, kết quả phản hồi có chứa UploadID value

aws s3api create-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key large-test-file

3. Copy UploadID value để dùng cho các bước sau

4. Chạy lệnh sau để upload các files part đã split ở trên, kết quả phản hồi có chứa ETag value

aws s3api upload-part --bucket DOC-EXAMPLE-BUCKET --key large-test-file --part-number 1 --body large-test-file.001 --upload-id UploadID

5.    Copy ETag value để dùng cho bước sau

6. Lặp lại bước 4 & 5 đến khi upload hết các files part

7. Tạo một file fileparts.json với nội dung là ETag value của các part đã upload ở trên

{
  "Parts": [
    {
      "ETag": "example8be9a0268ebfb8b115d4c1fd3",
      "PartNumber":1
    },
    {
        "ETag": "example246e31ab807da6f62802c1ae8",
        "PartNumber":2
    }
  ]
}

8. Chạy lệnh sau để hoàn thành quá trình upload

aws s3api complete-multipart-upload --multipart-upload file://path/to/fileparts.json --bucket DOC-EXAMPLE-BUCKET --key large-test-file --upload-id UploadID

• Kết quả phản hồi sẽ có chứa Location value là url dẫn đến file trên S3 của bạn

{
    "ETag": "exampleae01633ff0af167d925cad279-2",
    "Bucket": "DOC-EXAMPLE-BUCKET",
    "Location": "https://DOC-EXAMPLE BUCKET.s3.amazonaws.com/large-test-file",
   
    "Key": "large-test-file"
}

Resolve upload failures

1. Chạy lệnh sau để xem tất cả multipart-upload chưa hoàn thành

aws s3api list-multipart-uploads --bucket DOC-EXAMPLE-BUCKET

{
  "Uploads": [
    {     
      "Initiator": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      },
      "Initiated": "2016-03-31T06:13:15.000Z",
      "UploadId": "examplevQpHp7eHc_J5s9U.kzM3GAHeOJh1P8wVTmRqEVojxxu...",
      "StorageClass": "STANDARD", 
      "Key": "",
      "Owner": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      }
    }
  ]
}

2. Chạy lệnh sau để remove UploadID chưa hoàn thành

aws s3api abort-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key Key --upload-id UploadID

Tài liệu tham khảo

• https://repost.aws/knowledge-center/s3-multipart-upload-cli

The post Upload File Lên Amazon S3: Dùng Multipart Upload vs AWS CLI appeared first on Tomoshare.

Tại sao lại cần có proxy?

Thay vì kết nối trực tiếp tới server, client gửi request đến proxy để đánh giá và thực hiện những request đó.

• Bảo vệ quyền riêng tư: Proxy có thể được sử dụng để ẩn địa chỉ IP của client, giúp bảo vệ quyền riêng tư của người dùng khỏi các trang web và ứng dụng mà họ truy cập.
• Cân bằng tải (Load balancing): Proxy có thể được sử dụng để phân phối lưu lượng truy cập giữa nhiều server, giúp cải thiện hiệu suất và độ tin cậy của hệ thống.
• Bảo mật (Security): Proxy có thể được sử dụng để lọc lưu lượng truy cập, giúp ngăn chặn các cuộc tấn công mạng.
• Giảm chi phí: Proxy có thể được sử dụng để truy cập các tài nguyên từ xa, giúp giảm chi phí cho doanh nghiệp.

Có 2 loại proxy thường gặp đó là Forward proxy và Reverse proxy.

Forward proxy

• Là một client proxy, hoạt động thay mặt cho các thiết bị clients để gửi yêu cầu đến server.
• Nó nằm giữa clients và Internet, chuyển tiếp các requests của clients đến server thông qua Internet.

Use cases:

• Access control and content filtering: forward proxy kiểm tra các request có hợp lệ hay không để thực hiện forward hoặc block request.
• Log/Monitor request: quản lý và giám sát các request, thường được sử dụng trong môi trường công ty, trường học hay các tổ chức để kiểm soát việc truy cập Internet và bảo vệ khỏi các nội dung độc hại.
• User Privacy: forward proxy nằm giữa client và Internet, nó thay mặt client gửi request đến server qua Internet, có thể che dấu danh tính, địa chỉ IP và bảo vệ quyền riêng tư của người dùng thực.
• Cache responses: giảm độ trễ, tăng performance, tối ưu bandwidth, proxy cache lại response để trả về cho client trong các lần request tiếp theo thay vì request trực tiếp đến server.

Services:

• Squid
• Privoxy
• VPN services
• Cloudflare WARP

Reverse proxy

• Là một server proxy, nằm giữa Internet và server để xử lý các request thay mặt cho server.
• Chúng hoạt động như những servers bình thường. Reverse proxy chuyển tiếp request đến một hoặc nhiều server thật, kết quả sau đó trả về cho client, làm cho client không biết về những server thật nói trên.
• Reverse proxy được cài đặt trong một private network của một hoặc nhiều server, và tất cả lưu lượng truy cập đều phải đi qua proxy này.

Use cases:

• Load Balancing: cân bằng tải, phân bổ lượng truy cập trang web đến các máy chủ khác nhau, nhằm mục đích tăng throughput, giảm letancy, phục vụ số lượng client lớn hơn.
• Security: có thể coi reverse proxy là một Web Application Firewall (WAF), có nhiệm vụ chặn các truy cập khả nghi đến server, làm rate limit, một phần nào đó ngăn chặn tấn công DDoS.
• Cache responses: giảm độ trễ, tăng performance, tối ưu bandwidth, proxy cache lại response để trả về cho client trong các lần request tiếp theo thay vì request trực tiếp đến server.
• SSL encryption/decryption: reverse proxy có thể xử lý việc SSL termination (dừng), giải mã lưu lượng được mã hóa SSL từ client và chuyển tiếp nó đến máy chủ phụ trợ ở dạng không được mã hóa và ngược lại.

Services:

• Nginx
• Apache HTTP
• HAProxy
• CDN services

Điểm khác biệt chính

• Forward proxy:
  • Xử lý request từ client tới Internet.
  • Bảo vệ quyền riêng tư client và lọc nội dung.
• Reverse proxy:
  • Xử lý request từ Internet tới web servers.
  • Performance và security.

Nguồn: https://blog.bytebytego.com

Cảm ơn mọi người đã dành thời gian để đọc 🙇‍♂️

The post Forward proxy vs. Reverse proxy appeared first on Tomoshare.

1. Sử dụng kho lưu trữ Extra Packages for Enterprise Linux (EPEL):

Kho lưu trữ EPEL thường chứa các gói phần mềm bổ sung mà có thể không có sẵn trong các kho lưu trữ mặc định của Amazon Linux.

Đầu tiên, cài đặt kho lưu trữ EPEL:

sudo amazon-linux-extras install epel -y

2. Cài đặt Nginx:

Sau khi thêm kho lưu trữ EPEL, bạn có thể thử cài đặt Nginx bằng yum:

sudo yum install nginx -y

3. Khởi động và Kích hoạt Nginx:

Sau khi cài đặt, khởi động và kích hoạt dịch vụ Nginx:

sudo systemctl start nginx
sudo systemctl enable nginx

4. Kiểm tra Trạng thái Nginx:

Kiểm tra trạng thái của dịch vụ Nginx để xác nhận rằng nó đang chạy:

sudo systemctl status nginx

The post Cài đặt nginx trên Amazon Linux 2 (ECS Optimized) appeared first on Tomoshare.

Logrotate không chỉ giúp giảm kích thước file log một cách tự động mà còn có thể nén file để tiết kiệm không gian lưu trữ

Trong bài viết này, chúng ta sẽ tìm hiểu cách Logrotate được cấu hình để tự động nén và đẩy file lên S3, giúp bạn duy trì hệ thống được sạch sẽ và dễ quản lý hơn

Config

cd /etc/logrotate.d
touch rails_log_rotation

/home/ubuntu/path-to-deploy/current/log/production.log {
  daily
  dateext
  missingok
  rotate 90
  compress
  copytruncate
  lastaction
    aws s3 sync /home/ubuntu/path-to-deploy/current/log/ s3://path-to-bucket-name --exclude "*" --include "production.log*.gz" 2>&1
  endscript
  create 0644 root root
  su root root
}

home/ubuntu/path-to-deploy/current/log/production.log

• Link đến file log cần được quản lý bởi logrotate

daily

• Thực hiện xoay vòng log hàng ngày (được thực hiện bằng cron-job)

• Có nghĩa là file /home/ubuntu/path-to-deploy/current/log/production.log sẽ được làm mới mỗi ngày

• Check cron configuration

cd /etc/
ls | grep cron
cron.d
cron.daily
cron.hourly
cron.monthly
cron.weekly
crontab

dateext

• Thêm ngày vào filename của file log được xoay vòng để đảm bảo không bị trùng tên

missingok

• Cho phép logrotate bỏ qua nếu không tìm thấy file

rotate 90

• Giữ lại tối đa 90 file logs đã quay vòng
• Trong trường hợp này, có thể hiểu là cho phép lưu trữ file logs của 90 ngày gần nhất

compress

• Nén file log đã xoay vòng để tiết kiệm không gian lưu trữ

copytruncate

• Sao chép nội dung từ file cũ vào file mới, sau đó quay lại đầu file cũ và cắt bớt nó. Điều này giúp logrotate có thể xoay vòng mà không làm ảnh hưởng đến ứng dụng đang chạy

lastaction và endscript

• Bọc một đoạn code hoặc command được thực thi sau khi xoay vòng
• Trong trường hợp này, sử dụng AWS CLI để đồng bộ hóa các file logs đã xoay vòng với Amazon S3
• Loại trừ tất cả các files, chỉ bao gồm các file logs đã nén (production.log*.gz)
• Lưu ý
  • Bạn cần thay thế path-to-bucket-name bằng đường dẫn thích hợp đến S3 Bucket của bạn
  • EC2 phải tương tác được với S3 Bucket của bạn (có thể dùng aws configure hoặc attached IAM role đều được)

create 0644 root root

• Tạo một file log mới với quyền truy cập 0644 và chủ sở hữu là root

su root root

• Chuyển quyền sở hữu của file sang root sau khi tạo mới để đảm bảo an toàn và bảo mật

Tóm lại

• Config này giúp bạn quản lý và tự động xoay vòng file production.log mỗi ngày
• Nén file để tiết kiệm không gian và đồng thời sao chép lên Amazon S3 để lưu trữ

Manual test config

sudo logrotate -f /etc/logrotate.conf

The post Logrotate: Compress và push file log lên S3 appeared first on Tomoshare.

Step 2: Click Go to Application in Home page -> Projects

Step 3: Click to Setup Project button in the right Repo you want to setup

Step 4: Select first Radio Button -> Set Up Project

After setup, click Dashboard and display as below

Step 5: Click Project Setting -> SSH Key and check if the ssh key has been linked or not.

Step 6: If you using Git Submodule, please create a Additional SSH Keys

1. Open terminal and run ssh-keygen -t ed25519 -C "Circle CI".
2. Click Add SSH Key and enter

• Hostname: github.com
• Private Key: cat minh_id_ed25519, copy and paste

3. Back to Github, select Repository Shared submodule -> Settings -> Deploy Keys -> Add deploy key
4. Enter Title and Key -> Add Key

Step 7: Back to project setup config CircleCI and Danger

1. Add to Gemfile

gem 'brakeman', require: false
gem 'danger', '9.2.0'
# A Danger plugin to lint Ruby files through danger-brakeman_scanner.</em>
gem 'danger-brakeman_scanner', '0.1.1'
# A Danger plugin to lint Ruby files through rails_best_practices.</em>
gem 'danger-rails_best_practices', '0.1.3'
# A Danger plugin to lint Ruby files through Reek.</em>
gem 'danger-reek', '0.3.0'
# A Danger plugin for running Ruby files through Rubocop.</em>
gem 'danger-rubocop', '0.10.0'
# A Danger plugin to report code coverage generated by SimpleCov in JSON format.</em>
gem 'danger-simplecov_json', '0.3.0'

2. Create file in .circleci/config.yml and paste code

# Best practises:
#   [https://www.netguru.com/blog/top-10-best-practises-to-benefit-more-form-circleci]
#   [https://circleci.com/blog/six-optimization-tips-for-your-config/]
references:
  working_directory: &working_directory ~/quinblog
  images:
    base_image: &base_image
      image: cimg/ruby:3.2.1
      environment:
        TZ: /usr/share/zoneinfo/Asia/Tokyo
        BUNDLE_JOBS: 4
        BUNDLE_RETRY: 3
        BUNDLE_PATH: vendor/bundle
        GEM_PATH: vendor/bundle
        RAILS_ENV: test
    db_image: &db_image
      image: cimg/postgres:14.4
      environment:
        POSTGRES_USER: postgres
        POSTGRES_DB: quinblog_test
        POSTGRES_PASSWORD: postgres
    redis_image: &redis_image
      image: cimg/redis:5.0
    mongodb_image: &mongodb_image
      image: circleci/mongo:3.6
  commands:
    move_database_yml: &move_database_yml
      name: Move database_yml
      command: mv config/database.ci.yml config/database.yml
    move_mongoid_yml: &move_mongoid_yml
      name: Move mongoid_yml
      command: mv config/mongoid.ci.yml config/mongoid.yml
    sync_git_submodule: &sync_git_submodule
      name: Sync git submodule
      command: |
        git submodule sync --recursive --quiet
        git submodule update --init --checkout --recursive --quiet

# Use the latest 2.1 version of CircleCI pipeline process engine.
# See: https://circleci.com/docs/2.0/configuration-reference
version: 2.1

# Orbs are reusable packages of CircleCI configuration that you may share across projects, enabling you to create encapsulated, parameterized commands, jobs, and executors that can be used across multiple projects.
# See: https://circleci.com/docs/2.0/orb-intro/
orbs:
  ruby: circleci/ruby@1.8.0

# Define a job to be invoked later in a workflow.
# See: https://circleci.com/docs/2.0/configuration-reference/#jobs
jobs:
  build:
    working_directory: *working_directory
    resource_class: small
    parallelism: 1
    docker:
      - *base_image
    steps:
      - add_ssh_keys:
          fingerprints:
            - '7c:72:77:4f:79:12:cb:af:c9:84:7b:d1:ab:24:69:41'
      - checkout

      - run: *move_database_yml
      - run: *move_mongoid_yml
      - run: *sync_git_submodule
      - run:
          name: Disabled auto completion
          command: echo 'IRB.conf[:USE_AUTOCOMPLETE] = false' >> ~/.irbrc

      # Restoring and saving cache
      - ruby/install-deps

      - persist_to_workspace:
          root: *working_directory
          paths:
            - ./*

  test:
    working_directory: *working_directory
    resource_class: small
    parallelism: 2
    docker:
      - *base_image
      - *db_image
      - *mongodb_image
      - *redis_image
    steps:
      - attach_workspace:
          at: *working_directory

      - run:
          name: Wait for Postgres DB
          command: dockerize -wait tcp://localhost:5432 -timeout 1m

      - run:
          name: Wait for Mongo DB
          command: dockerize -wait tcp://localhost:27017 -timeout 1m

      - run:
          name: Wait for Redis DB
          command: dockerize -wait tcp://localhost:6379 -timeout 1m

      - run:
          name: Migration DB
          command: |
            bundle exec rails db:schema:load:primary --trace
            bundle exec rails db:create:universal
            bundle exec rails db:schema:load:universal --trace

      - run:
          name: Run rspec
          command: |
            TESTFILES=$(circleci tests glob "spec/**/*_spec.rb" | circleci tests split --split-by=timings --timings-type=classname)
            echo ${TESTFILES}
            bundle exec rspec --profile 10 \
                              --format progress \
                              --format RspecJunitFormatter --out /tmp/test-results/rspec/rspec.xml \
                              ${TESTFILES}

      # Collect test data
      # See: https://circleci.com/docs/collect-test-data
      # See: https://circleci.com/blog/how-to-output-junit-tests-through-circleci-2-0-for-expanded-insights/
      - store_test_results:
          path: /tmp/test-results/rspec/

      - run:
          name: Run danger
          command: bundle exec danger --danger_id=test

  lint:
    working_directory: *working_directory
    resource_class: small
    parallelism: 1
    docker:
      - *base_image
    steps:
      - attach_workspace:
          at: *working_directory

      - run:
          name: Run danger
          command: bundle exec danger --danger_id=lint

# Invoke jobs via workflows
# See: https://circleci.com/docs/2.0/configuration-reference/#workflows
workflows:
  build_and_test:
    jobs:
      - build
      - test:
          context:
            - ctx_renew_api_company
          requires:
            - build
      - lint:
          context:
            - ctx_renew_api_company
          requires:
            - build

Step 8: Config Danger. Create Dangerfile and paste code below:

# frozen_string_literal: true

case ENV.fetch('CIRCLE_JOB', nil)

when 'lint'

  ### for Rubocop ###

  rubocop.lint(force_exclusion: true, inline_comment: true)

  ### for rails_best_practices ###

  # rails_best_practices.lint

  ### for Reek ###

  # reek.lint

  ### for brakeman ###

  brakeman.run('.')

  # Ensure there is a summary for a pr

  failure('Please provide a summary in the Pull Request description') if     github.pr_body.include?('___WRITE_HERE___')

  # Ensure that all prs have an assignee

  failure('This PR does not have any assignees yet.') unless github.pr_json['assignee']

  # Warn really big diffs

  warn('We cannot handle the scale of this PR') if git.lines_of_code > 300

  # Note when a pr cannot be manually merged, which goes away when you can

  warn('This PR cannot be merged yet.', sticky: false) unless github.pr_json['mergeable']

 when 'test'

  ### for SimpleCov ###

  coverage_file = 'coverage/coverage.json'

  simplecov.report(coverage_file, sticky: false)

  simplecov.individual_report(coverage_file, Dir.pwd)

end

Step 9: Back to CircleCI -> Click Organization Settings -> Contexts -> Create Context

Step 10: Enter name Context and click Create Context

Step 11: Click Context Name created and add environment for project such as RAILS_MASTER_KEY, RAILS_ENV, RACK_ENV, DANGER_GITHUB_API_TOKEN

Click Add Environment and enter value as below:

Note:

• RAILS_MASTER_KEY: Open file config/crendentials/test.key on project and copy it.
• RAILS_ENV: test
• RACK_ENV: test

After add 3 environments, it will displayed as below:

Step 12: Create DANGER_GITHUB_API_TOKEN

1. Access https://github.com/settings/tokens and click Generate new token

2. Write Note and Select Expiration, Scope. I choose Expiration 90 days and click repo

3. Click Generate Token and Copy this.

4. Back to Context and Add DANGER_GITHUB_API_TOKEN

Step 12: Push code and runnnnn

The post [ROR] Hướng dẫn setup CircleCI & Code Quality appeared first on Tomoshare.

Đối với các website không yêu cầu nhiều về quản lý CSDL như blog, các dự án cần build môi trường Dev, Staging,… thì bạn có thể giản thiểu chi phí cho việc quản lý CSDL bằng cách cài đặt trực tiếp MySQL lên EC2.

Các bước thực hiện

Step1: Thêm Mysql repository.

Trước tiên, chúng ta cần thêm kho lưu trữ MySQL Yum vào danh sách kho lưu trữ của máy chủ Amazon Linux 2023. Thao tác này chỉ được thực hiện một lần và cung cấp tất cả các kho phiên bản gói MySQL.

Sử dụng wget để tải về repository bằng command.

/* For MySQL 5.7 */
sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

/* For MySQL 8 */
sudo wget https://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm 

Nhập y để confirm tải package.

Dependencies Resolved

======================================================================================================================================================================================================
 Package                                               Arch                               Version                           Repository                                                           Size
======================================================================================================================================================================================================
Installing:
 mysql80-community-release                             noarch                             el7-5                             /mysql80-community-release-el7-5.noarch                             9.1 k

Transaction Summary
======================================================================================================================================================================================================
Install  1 Package

Total size: 9.1 k
Installed size: 9.1 k
Is this ok [y/d/N]: y

Kiểm tra repository đã tải thành công chưa với câu lệnh.

sudo ls -lrt

Output:

[ec2-user@ip-172-31-32-xxx ~]$ sudo ls -lrt
total 12
-rw-r–r–. 1 root root 10534 Jul 25 2022 mysql80-community-release-el9-1.noarch.rpm

Step 2: Cài đặt MySQL.

For MySQL 5.7

/* For MySQL 5.7 */
sudo yum localinstall mysql57-community-release-el7-11.noarch.rpm

Ở bước này nếu bạn gặp lỗi tương tự như bên dưới thì tiếp tục chạy 2 lệnh tiếp theo để fix nhé.

Failing package is: mysql-community-client-5.7.39-1.el7.x86_64
GPG Keys are configured as: file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

sudo yum -y install mysql-community-server

For MySQL 8.

sudo dnf install mysql80-community-release-el9-1.noarch.rpm
dnf repolist enabled | grep "mysql.*-community.*"
sudo dnf install mysql-community-server

Step 3: Sau khi hoàn tất các câu lệnh cài đặt, ta thực hiện start MySQL.

sudo systemctl start mysqld.service

Step 4: Kiểm tra trạng thái của Mysql hiện tại.

sudo systemctl status mysqld.service

Nếu thành công bạn sẽ thấy thông báo MySQL đã running Active: active (running) như bên dưới.

Dec 01 19:02:20 centos-512mb-sfo2-02 systemd[1]: Started MySQL Server.

Thiết lập cấu hình cho Mysql

Đổi mật khẩu cho người dùng root
Như bạn đã biết, từ Mysql 8.0 thì việc sử dụng đăng nhập không dùng mật khẩu với người dùng root đã bị loại bỏ. Vậy để tìm mật khẩu cho người dùng root khi đăng nhập lần đầu ta sẽ tìm trong file log của mysql. Mật khẩu tạm thời được tìm thấy khi thực hiện câu lệnh:

sudo grep 'temporary password' /var/log/mysqld.log

[ec2-user@ip-172-31-32-xxx ~]$ sudo grep ‘temporary password’ /var/log/mysqld.log
2023-07-28T09:06:43.641665Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: D6%=yjkDGnp8

Tiếp theo ta thực hiện đăng nhập vào MySQL và nhập password tạm thời của người dùng root trong câu lệnh bên dưới: (Mật khẩu root: D6%=yjkDGnp8)

sudo mysql_secure_installation -p

Nhập mật khẩu mới cho người dùng root và nhập y cuối mỗi câu để loại bỏ các user test.

Lưu ý khi đặt mật khẩu cần tuân theo quy tắt sau:
+ Chứa ít nhất 1 ký tự in hoa
+ Chứa ít nhất 1 ký tự thường
+ Chứa ít nhất 1 số
+ Chứa ít nhất 1 ký tự đặc biệt
+ Tổng số ký tự phải lớn hơn 8

Securing the MySQL server deployment.


The existing password for the user account root has expired. Please set a new password.

New password: <MẬT KHẨU MỚI>

Re-enter new password: <NHẬP LẠI MẬT KHẨU>
The 'validate_password' component is installed on the server.
The subsequent steps will run with the existing configuration
of the component.
Using existing password for root.

Estimated strength of the password: 100
Change the password for root ? ((Press y|Y for Yes, any other key for No) :

 ... skipping.
By default, a MySQL installation has an anonymous user,
allowing anyone to log into MySQL without having to have
a user account created for them. This is intended only for
testing, and to make the installation go a bit smoother.
You should remove them before moving into a production
environment.

Remove anonymous users? (Press y|Y for Yes, any other key for No) : y
Success.


Normally, root should only be allowed to connect from
'localhost'. This ensures that someone cannot guess at
the root password from the network.

Disallow root login remotely? (Press y|Y for Yes, any other key for No) : y
Success.

By default, MySQL comes with a database named 'test' that
anyone can access. This is also intended only for testing,
and should be removed before moving into a production
environment.


Remove test database and access to it? (Press y|Y for Yes, any other key for No) : y
 - Dropping test database...
Success.

 - Removing privileges on test database...
Success.

Reloading the privilege tables will ensure that all changes
made so far will take effect immediately.

Reload privilege tables now? (Press y|Y for Yes, any other key for No) : y
Success.

All done!

Sau khi hoàn tất bước đổi mật khẩu ở trên, chúng ta có thể thực hiện đăng nhập lại với mật khẩu vừa đổi.

mysql -uroot -pPass_xxxxx

Tạo DB và người dùng cho DB của ứng dụng web

Để tạo một database mới.

create database db_new;

Bước tiếp theo chúng ta sẽ thực hiện tạo một user cho ứng dụng web.

CREATE USER 'user_db'@'localhost' IDENTIFIED BY 'Pass_xxxxx';

Thêm full quyền quản lý DB cho user vừa tạo ở trên

GRANT ALL PRIVILEGES ON db_new.* TO 'user_db'@'localhost';
FLUSH PRIVILEGES;
exit;

Để kiểm tra bước tạo ở trên đã chuẩn chưa thì chúng ta thực hiện đăng nhập lại với user và password vừa tạo:

mysql -uuser_db -ppass_xxxx

Kiểm tra trạng thái của MySQL.

Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; preset: d>
Active: active (running) since Mon 2023-07-31 10:10:56 UTC; 2 weeks 2 days>
Docs: man:mysqld(8)
http://dev.mysql.com/doc/refman/en/using-systemd.html
Main PID: 250921 (mysqld)
Status: "Server is operational"
Tasks: 46 (limit: 2322)
Memory: 575.6M
CPU: 2h 19min 306ms
CGroup: /system.slice/mysqld.service
└─250921 /usr/sbin/mysqld

Đến bước này là chúng ta đã hoàn thành việc cài đặt Mysql server trên Amazon Linux 2023. Ngoài ra để thực hiện import sql có sẵn vào DB vừa tạo thì chúng ta có thể cài đặt PhpMyadmin hoặc sử dụng command import của mysql.

Import và Export Mysql

Để Export Mysql, ở đây ta sẽ sử dụng mysqldump, thực hiện câu lệnh sau tại terminal local:

mysqldump -u user_db -pPass_xxxxx db_export > ./db_backup.sql

Lưu ý để sử dụng được DB và import vào DB mới bạn cần xóa warning của mysqldump trong file db_backup.sql vừa export ra. Tìm dòng sau trong file và xóa:

mysqldump: [Warning] Using a password on the command line interface can be insecure.

Để Import Mysql vào db mới ta thực hiện lệnh:

mysql -u username -p db_export < db_backup.sql

Tổng kết

Trên đây là toàn bộ quá trình cài đặt Mysql trên Amazon Linux 2023. Các bước hướng dẫn trên được tóm gọn dành cho người có kinh nghiệm khi cài đặt server. Nếu bạn có vấn đề gì trong quá trình cài đặt hãy để lại comment hoặc inbox mình sẽ hướng dẫn cho nhé.

Reference:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-lamp-amazon-linux-2023.html

The post Cài đặt MySQL trên Amazon Linux appeared first on Tomoshare.

API Gateway,
Kinesis, 
DynamoDB, 
DynamoDB Streams, 
Elasticsearch, 
S3, 
Firehose, 
Lambda, 
SNS, 
SQS, 
Redshift, 
ES (Elasticsearch Service), 
SES, 
Route53, 
CloudFormation, 
CloudWatch, 
SSM, 
SecretsManager

# docker-compose.yml

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=s3
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

docker-compose up -d

aws configure --profile localstack
 
AWS Access Key ID [****************demo]: dummy
AWS Secret Access Key [****************demo]: dummy
Default region name [ap-northeast-1]: ap-northeast-1
Default output format [json]: json

Or

vi ~/.aws/config

[profile localstack]
output = json
region = ap-northeast-1

vi ~/.aws/credentials

[localstack]
aws_access_key_id = dummy
aws_secret_access_key = dummy

Tạo S3 trong Localstack:

aws --endpoint-url=http://localhost:4566 --profile localstack s3api create-bucket --bucket test-bucket --create-bucket-configuration LocationConstraint=ap-northeast-1

# Kết quả:
{
    "Location": "http://test-bucket.s3.localhost.localstack.cloud:4566/"
}

aws s3 ls --endpoint-url=http://localhost:4566 --profile localstack

# Kết quả:
2023-11-15 10:24:40 test-bucket

# .env

# Cả 2 endpoint đều hoạt động với Localstack ở local.
#S3_ENDPOINT='http://localhost:4566'
S3_ENDPOINT='http://test-bucket.s3.localhost.localstack.cloud:4566/'
S3_AWS_ACCESS_KEY_ID='dummy'
S3_AWS_SECRET_KEY='dummy'
S3_AWS_BUCKET_NAME='test-bucket'

Tạo Dynamodb trong Localstack:

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=dynamodb
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

aws dynamodb create-table \
    --table-name test \
    --key-schema AttributeName=id,KeyType=HASH \
    --attribute-definitions AttributeName=id,AttributeType=S \
    --billing-mode PAY_PER_REQUEST \
    --region ap-northeast-1 \
    --endpoint-url=http://localhost:4566 \
    --profile localstack

# Kết quả:
{
    "TableDescription": {
        "AttributeDefinitions": [
            {
                "AttributeName": "id",
                "AttributeType": "S"
            }
        ],
        "TableName": "test",
        "KeySchema": [
            {
                "AttributeName": "id",
                "KeyType": "HASH"
            }
        ],
        "TableStatus": "ACTIVE",
        "CreationDateTime": "2023-11-15T11:29:05.597000+07:00",
        "ProvisionedThroughput": {
            "LastIncreaseDateTime": "1970-01-01T07:00:00+07:00",
            "LastDecreaseDateTime": "1970-01-01T07:00:00+07:00",
            "NumberOfDecreasesToday": 0,
            "ReadCapacityUnits": 0,
            "WriteCapacityUnits": 0
        },
        "TableSizeBytes": 0,
        "ItemCount": 0,
        "TableArn": "arn:aws:dynamodb:ap-northeast-1:000000000000:table/test",
        "TableId": "fb25d41f-0563-4be9-8b21-75bc3b7006b9",
        "BillingModeSummary": {
            "BillingMode": "PAY_PER_REQUEST",
            "LastUpdateToPayPerRequestDateTime": "2023-11-15T11:29:05.597000+07:00"
        }
    }
}

Bạn muốn sử dụng dịch vụ nào của AWS thì thêm dịch vụ đấy vào SERVICES trong file docker-compose.yml.

Tài liệu tham khảo: https://docs.localstack.cloud/

The post Localstack, giả lập môi trường AWS. appeared first on Tomoshare.

Bước 1: Chuẩn bị nội dung trang web

Trước tiên, bạn cần chuẩn bị nội dung cho trang web tĩnh của mình. Đây có thể là các tệp HTML, CSS, JavaScript, hình ảnh và bất kỳ tài liệu tĩnh nào khác bạn muốn hiển thị trên trang web của mình

Static website template source code: https://github.com/thuc-pt/fe-zing-mp3

Bước 2: Tạo một S3 bucket

• Đăng nhập vào AWS Management Console

• Chuyển đến dịch vụ "S3" bằng cách tìm kiếm trong thanh tìm kiếm hoặc nhấp vào nó trong danh sách các dịch vụ

• Click nút "Create bucket" để tạo mới một bucket

• AWS S3 quy định bucket name là duy nhất trên toàn cầu. Nên đặt tên bucket dạng your-domain-name.com

• Chọn khu vực AWS (Region) mà bạn muốn lưu trữ bucket

• Bỏ qua các cài đặt còn lại (hoặc tuỳ chỉnh theo nhu cầu của bạn) và nhấp vào nút "Create bucket" ở cuối trang để tạo bucket

Bước 3: Upload nội dung trang web

• Chọn bucket bạn đã tạo trong danh sách S3 buckets

• Nhấp vào nút "Upload" và sau đó chọn files bạn muốn tải lên

• Sau khi bạn tải lên nội dung của trang web, hãy đảm bảo rằng tất cả các tệp và thư mục đều có quyền truy cập public để mọi người có thể xem được trang web của bạn. Có thể thực hiện theo các bước sau

• Sau khi "Make public" xong thì tất cả các files trong bucket đều có thể được truy cập từ internet

Bước 4: Cấu hình trang web

• Chọn bucket của bạn và chọn "Properties"

• Sau khi click "Save changes" thì tại block Static website hosting sẽ hiển thị một URL. Đây là đường dẫn đến trang web của bạn
• Click vào URL để kiểm tra hoạt động

Bước 5: Tùy chỉnh tên miền và SSL (optional)

Nếu bạn muốn sử dụng tên miền tùy chỉnh và cài đặt SSL cho trang web của bạn, bạn có thể sử dụng dịch vụ như Amazon CloudFront hoặc AWS Amplify

Bài viết này đã hướng dẫn cách triển khai trang web tĩnh bằng AWS S3. Bằng cách làm theo các bước trên, bạn có thể đưa trang web của mình lên internet một cách dễ dàng và tiết kiệm chi phí. Chúc các bạn thành công!

The post Các bước triển khai trang web tĩnh bằng AWS S3 appeared first on Tomoshare.

Ở bài viết này, mình sẽ hướng dẫn các bạn setup New Relic với máy chủ sử dụng dịch vụ AWS Beanstalk và ứng dụng đc viết bằng Java Spring Boot. Bắt đầu thôiiii.

1. Đăng kí tài khoản New Relic

Đăng kí tài khoản New Relic rất dễ dàng tại link sau: https://newrelic.com/signup

Sau khi đăng kí thằng công, màn hình hiển thị trang dashboard của hệ thống và chúng ta có thể bắt đầu setup

2. Tạo ứng dụng Java và cài đặt

2.1. Thông tin ứng dụng

Trên bảng stack, chọn ứng dụng Java và tiếp tục, sau đó chọn Don’t have access the host và chọn Java tại mục Connect your applications.

Ở bài viết này chúng ta đang thực hiện trên máy chủ AWS Beanstalk nên tôi sẽ chọn On a host. Sau đó nhập tên ứng dụng và làm các bước theo hướng dẫn.

Ở bước Tell us about your environment, tôi chọn running on Linux và framework là Spring Boot.

2.2. Cài đặt gói thư viện

Bước tiếp theo chúng ta cần tiến hành cài đặt gói thư viện. Bởi vì dùng AWS Beanstalk nên tôi sẽ thực hiện việc cài đặt trong folder .ebextension

Tạo file newrelic.config trong thư mục .ebextensions

commands:
  01-download-java-agent:
    command: "curl -O https://download.newrelic.com/newrelic/java-agent/newrelic-agent/current/newrelic-java.zip && mv newrelic-java.zip /var/newrelic-java.zip"
  02-unzip-java-agent:
    command: "unzip -o /var/newrelic-java.zip -d /var/"
  03-give-permissions-to-newrelic:
    command: "chmod a+rwx /var/newrelic"
  04-replace-license-key:
    command: "sed -i 's/<%= license_key %>/your_application_license_key/g' /var/newrelic/newrelic.yml"
  05-replace-application-name:
    command: "sed -i 's/My Application/your_application_license_key/g' /var/newrelic/newrelic.yml"
  06-enable-infras-and-logs-metric:
       command: "your_application_cmd_curl_infra"

Trong đó:

• your_application_license_key: license_key của bạn.
• your_application_license_key: Application name mà bạn đã đăng kí vơi new relic.
• your_application_cmd_curl_infra: Command bạn nhận đc ở bước Connect your logs and infrastructure.

Nếu bạn chỉ muốn giám sát ứng dụng mà ko muốn giám sát Infras, bạn có thể bỏ qua bước 06-enable-infras-and-logs-metric. Nếu cài đặt hãy disable option Automatically answer “yes” to all install prompts. We’ll stop the installer if there’s an error. trên dashboard NewRelic

3. Deploy với CodeBuild và CodePipeline

Chúng ta cần tạo file Procfile trong folder root của source code để định nghĩa câu lệnh chạy ứng dụng java kèm theo NewRelic

Procfile:

web: java -javaagent:/var/newrelic/newrelic.jar -jar app.jar

Config sẽ không chạy nếu folder .ebextensions không được deploy lên Beanstalk. Dưới đây là file Buildspec của tôi

version: 0.2

phases:
  install:
    runtime-versions:
      java: corretto11
  build:
    commands:
      - mvn install
      - mv target/*.jar app.jar
artifacts:
  files:
    - Procfile
    - app.jar
    - .ebextensions/**/*

Cuối cùng sau khi deploy thành công, thực hiện Test Connection trên NewRelic để tạo ứng dụng:

4. Tổng kết

Còn 1 phần quan trọng mình chưa đến đó là chi phí, theo mình tìm hiểu NewRelic sẽ tính phía dựa trên dung lượng sử dụng trên hệ thống, chúng ta sẽ được miễn phí với 100GB/tháng

Trên đây là tổng hợp các bước setup NewRelic với ứng dụng Java chạy trên AWS Beanstalk của mình, hi vọng giúp ích mọi người.

Về những thông số và giá trị đem lại anh em hãy tự trải nghiệm và tận hưởng nheeeeeeeeé

The post Setup New Relic for monitoring AWS Beanstalk and Java Spring Boot appeared first on Tomoshare.