AWS CLI Configuration

• VIệc đầu tiên cần kiểm tra xem máy của bạn đã được cấu hình AWS CLI chưa

aws configure list

• Bạn có thể cấu hình một profile mới như sau

aws configure

• Tạo một bucket trên S3

• Chuẩn bị file muốn upload

Use high-level aws s3 commands

• Để dùng high-level command cho multipart upload, có thể chạy lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

• Khi bạn sử dụng lệnh aws s3 cp để tải lên một file vào Amazon S3, AWS CLI có thể tự quyết định xem có nên dùng multipart upload hay không, dựa vào kích thước của file và các cấu hình liên quan

• Tốc độ upload còn phụ thuộc vào tốc độ wifi nhưng nhìn chung là upload khá nhanh

• Để mã hoá file khi upload, có thể dùng lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/ --metadata md5="examplemd5value1234/4Q"

• Để config max concurrent request, có thể chạy lệnh sau (mặc định là 10)

aws configure set default.s3.max_concurrent_requests 20

• Lưu ý: max_concurrent_requests càng nhiều thì trong quá trình upload sẽ tiêu hao nhiều băng thông và tài nguyên của máy chủ hơn

• Để biết thêm thông tin về cách định cấu hình AWS CLI với Amazon S3 thì hãy xem AWS CLI S3 configuration

• Ngoài lệnh copy, bạn cũng có thể sử dụng các lệnh AWS S3 khác liên quan đến việc tải object lên S3 như aws s3 sync hoặc aws s3 mv

• Để xem thêm các options khi copy, có thể dùng lệnh sau

aws s3 cp help

Use low-level aws s3api commands

1. Chia file bạn muốn tải lên thành nhiều phần

• Ubuntu: https://askubuntu.com/questions/54579/how-to-split-larger-files-into-smaller-parts

• MacOS

split -b fileSize path/to/filename

• Mình thử split một file hơn 20MB thì nó sẽ tự động sinh ra 5 files con với tên random như hình minh hoạ

2. Chạy lệnh sau để khởi tạo multipart upload và truy xuất liên kết với một UploadID, kết quả phản hồi có chứa UploadID value

aws s3api create-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key large-test-file

3. Copy UploadID value để dùng cho các bước sau

4. Chạy lệnh sau để upload các files part đã split ở trên, kết quả phản hồi có chứa ETag value

aws s3api upload-part --bucket DOC-EXAMPLE-BUCKET --key large-test-file --part-number 1 --body large-test-file.001 --upload-id UploadID

5.    Copy ETag value để dùng cho bước sau

6. Lặp lại bước 4 & 5 đến khi upload hết các files part

7. Tạo một file fileparts.json với nội dung là ETag value của các part đã upload ở trên

{
  "Parts": [
    {
      "ETag": "example8be9a0268ebfb8b115d4c1fd3",
      "PartNumber":1
    },
    {
        "ETag": "example246e31ab807da6f62802c1ae8",
        "PartNumber":2
    }
  ]
}

8. Chạy lệnh sau để hoàn thành quá trình upload

aws s3api complete-multipart-upload --multipart-upload file://path/to/fileparts.json --bucket DOC-EXAMPLE-BUCKET --key large-test-file --upload-id UploadID

• Kết quả phản hồi sẽ có chứa Location value là url dẫn đến file trên S3 của bạn

{
    "ETag": "exampleae01633ff0af167d925cad279-2",
    "Bucket": "DOC-EXAMPLE-BUCKET",
    "Location": "https://DOC-EXAMPLE BUCKET.s3.amazonaws.com/large-test-file",
   
    "Key": "large-test-file"
}

Resolve upload failures

1. Chạy lệnh sau để xem tất cả multipart-upload chưa hoàn thành

aws s3api list-multipart-uploads --bucket DOC-EXAMPLE-BUCKET

{
  "Uploads": [
    {     
      "Initiator": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      },
      "Initiated": "2016-03-31T06:13:15.000Z",
      "UploadId": "examplevQpHp7eHc_J5s9U.kzM3GAHeOJh1P8wVTmRqEVojxxu...",
      "StorageClass": "STANDARD", 
      "Key": "",
      "Owner": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      }
    }
  ]
}

2. Chạy lệnh sau để remove UploadID chưa hoàn thành

aws s3api abort-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key Key --upload-id UploadID

Tài liệu tham khảo

• https://repost.aws/knowledge-center/s3-multipart-upload-cli

The post Upload File Lên Amazon S3: Dùng Multipart Upload vs AWS CLI appeared first on Tomoshare.

1. Sử dụng kho lưu trữ Extra Packages for Enterprise Linux (EPEL):

Kho lưu trữ EPEL thường chứa các gói phần mềm bổ sung mà có thể không có sẵn trong các kho lưu trữ mặc định của Amazon Linux.

Đầu tiên, cài đặt kho lưu trữ EPEL:

sudo amazon-linux-extras install epel -y

2. Cài đặt Nginx:

Sau khi thêm kho lưu trữ EPEL, bạn có thể thử cài đặt Nginx bằng yum:

sudo yum install nginx -y

3. Khởi động và Kích hoạt Nginx:

Sau khi cài đặt, khởi động và kích hoạt dịch vụ Nginx:

sudo systemctl start nginx
sudo systemctl enable nginx

4. Kiểm tra Trạng thái Nginx:

Kiểm tra trạng thái của dịch vụ Nginx để xác nhận rằng nó đang chạy:

sudo systemctl status nginx

The post Cài đặt nginx trên Amazon Linux 2 (ECS Optimized) appeared first on Tomoshare.

Đối với các website không yêu cầu nhiều về quản lý CSDL như blog, các dự án cần build môi trường Dev, Staging,… thì bạn có thể giản thiểu chi phí cho việc quản lý CSDL bằng cách cài đặt trực tiếp MySQL lên EC2.

Các bước thực hiện

Step1: Thêm Mysql repository.

Trước tiên, chúng ta cần thêm kho lưu trữ MySQL Yum vào danh sách kho lưu trữ của máy chủ Amazon Linux 2023. Thao tác này chỉ được thực hiện một lần và cung cấp tất cả các kho phiên bản gói MySQL.

Sử dụng wget để tải về repository bằng command.

/* For MySQL 5.7 */
sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

/* For MySQL 8 */
sudo wget https://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm 

Nhập y để confirm tải package.

Dependencies Resolved

======================================================================================================================================================================================================
 Package                                               Arch                               Version                           Repository                                                           Size
======================================================================================================================================================================================================
Installing:
 mysql80-community-release                             noarch                             el7-5                             /mysql80-community-release-el7-5.noarch                             9.1 k

Transaction Summary
======================================================================================================================================================================================================
Install  1 Package

Total size: 9.1 k
Installed size: 9.1 k
Is this ok [y/d/N]: y

Kiểm tra repository đã tải thành công chưa với câu lệnh.

sudo ls -lrt

Output:

[ec2-user@ip-172-31-32-xxx ~]$ sudo ls -lrt
total 12
-rw-r–r–. 1 root root 10534 Jul 25 2022 mysql80-community-release-el9-1.noarch.rpm

Step 2: Cài đặt MySQL.

For MySQL 5.7

/* For MySQL 5.7 */
sudo yum localinstall mysql57-community-release-el7-11.noarch.rpm

Ở bước này nếu bạn gặp lỗi tương tự như bên dưới thì tiếp tục chạy 2 lệnh tiếp theo để fix nhé.

Failing package is: mysql-community-client-5.7.39-1.el7.x86_64
GPG Keys are configured as: file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

sudo yum -y install mysql-community-server

For MySQL 8.

sudo dnf install mysql80-community-release-el9-1.noarch.rpm
dnf repolist enabled | grep "mysql.*-community.*"
sudo dnf install mysql-community-server

Step 3: Sau khi hoàn tất các câu lệnh cài đặt, ta thực hiện start MySQL.

sudo systemctl start mysqld.service

Step 4: Kiểm tra trạng thái của Mysql hiện tại.

sudo systemctl status mysqld.service

Nếu thành công bạn sẽ thấy thông báo MySQL đã running Active: active (running) như bên dưới.

Dec 01 19:02:20 centos-512mb-sfo2-02 systemd[1]: Started MySQL Server.

Thiết lập cấu hình cho Mysql

Đổi mật khẩu cho người dùng root
Như bạn đã biết, từ Mysql 8.0 thì việc sử dụng đăng nhập không dùng mật khẩu với người dùng root đã bị loại bỏ. Vậy để tìm mật khẩu cho người dùng root khi đăng nhập lần đầu ta sẽ tìm trong file log của mysql. Mật khẩu tạm thời được tìm thấy khi thực hiện câu lệnh:

sudo grep 'temporary password' /var/log/mysqld.log

[ec2-user@ip-172-31-32-xxx ~]$ sudo grep ‘temporary password’ /var/log/mysqld.log
2023-07-28T09:06:43.641665Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: D6%=yjkDGnp8

Tiếp theo ta thực hiện đăng nhập vào MySQL và nhập password tạm thời của người dùng root trong câu lệnh bên dưới: (Mật khẩu root: D6%=yjkDGnp8)

sudo mysql_secure_installation -p

Nhập mật khẩu mới cho người dùng root và nhập y cuối mỗi câu để loại bỏ các user test.

Lưu ý khi đặt mật khẩu cần tuân theo quy tắt sau:
+ Chứa ít nhất 1 ký tự in hoa
+ Chứa ít nhất 1 ký tự thường
+ Chứa ít nhất 1 số
+ Chứa ít nhất 1 ký tự đặc biệt
+ Tổng số ký tự phải lớn hơn 8

Securing the MySQL server deployment.


The existing password for the user account root has expired. Please set a new password.

New password: <MẬT KHẨU MỚI>

Re-enter new password: <NHẬP LẠI MẬT KHẨU>
The 'validate_password' component is installed on the server.
The subsequent steps will run with the existing configuration
of the component.
Using existing password for root.

Estimated strength of the password: 100
Change the password for root ? ((Press y|Y for Yes, any other key for No) :

 ... skipping.
By default, a MySQL installation has an anonymous user,
allowing anyone to log into MySQL without having to have
a user account created for them. This is intended only for
testing, and to make the installation go a bit smoother.
You should remove them before moving into a production
environment.

Remove anonymous users? (Press y|Y for Yes, any other key for No) : y
Success.


Normally, root should only be allowed to connect from
'localhost'. This ensures that someone cannot guess at
the root password from the network.

Disallow root login remotely? (Press y|Y for Yes, any other key for No) : y
Success.

By default, MySQL comes with a database named 'test' that
anyone can access. This is also intended only for testing,
and should be removed before moving into a production
environment.


Remove test database and access to it? (Press y|Y for Yes, any other key for No) : y
 - Dropping test database...
Success.

 - Removing privileges on test database...
Success.

Reloading the privilege tables will ensure that all changes
made so far will take effect immediately.

Reload privilege tables now? (Press y|Y for Yes, any other key for No) : y
Success.

All done!

Sau khi hoàn tất bước đổi mật khẩu ở trên, chúng ta có thể thực hiện đăng nhập lại với mật khẩu vừa đổi.

mysql -uroot -pPass_xxxxx

Tạo DB và người dùng cho DB của ứng dụng web

Để tạo một database mới.

create database db_new;

Bước tiếp theo chúng ta sẽ thực hiện tạo một user cho ứng dụng web.

CREATE USER 'user_db'@'localhost' IDENTIFIED BY 'Pass_xxxxx';

Thêm full quyền quản lý DB cho user vừa tạo ở trên

GRANT ALL PRIVILEGES ON db_new.* TO 'user_db'@'localhost';
FLUSH PRIVILEGES;
exit;

Để kiểm tra bước tạo ở trên đã chuẩn chưa thì chúng ta thực hiện đăng nhập lại với user và password vừa tạo:

mysql -uuser_db -ppass_xxxx

Kiểm tra trạng thái của MySQL.

Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; preset: d>
Active: active (running) since Mon 2023-07-31 10:10:56 UTC; 2 weeks 2 days>
Docs: man:mysqld(8)
http://dev.mysql.com/doc/refman/en/using-systemd.html
Main PID: 250921 (mysqld)
Status: "Server is operational"
Tasks: 46 (limit: 2322)
Memory: 575.6M
CPU: 2h 19min 306ms
CGroup: /system.slice/mysqld.service
└─250921 /usr/sbin/mysqld

Đến bước này là chúng ta đã hoàn thành việc cài đặt Mysql server trên Amazon Linux 2023. Ngoài ra để thực hiện import sql có sẵn vào DB vừa tạo thì chúng ta có thể cài đặt PhpMyadmin hoặc sử dụng command import của mysql.

Import và Export Mysql

Để Export Mysql, ở đây ta sẽ sử dụng mysqldump, thực hiện câu lệnh sau tại terminal local:

mysqldump -u user_db -pPass_xxxxx db_export > ./db_backup.sql

Lưu ý để sử dụng được DB và import vào DB mới bạn cần xóa warning của mysqldump trong file db_backup.sql vừa export ra. Tìm dòng sau trong file và xóa:

mysqldump: [Warning] Using a password on the command line interface can be insecure.

Để Import Mysql vào db mới ta thực hiện lệnh:

mysql -u username -p db_export < db_backup.sql

Tổng kết

Trên đây là toàn bộ quá trình cài đặt Mysql trên Amazon Linux 2023. Các bước hướng dẫn trên được tóm gọn dành cho người có kinh nghiệm khi cài đặt server. Nếu bạn có vấn đề gì trong quá trình cài đặt hãy để lại comment hoặc inbox mình sẽ hướng dẫn cho nhé.

Reference:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-lamp-amazon-linux-2023.html

The post Cài đặt MySQL trên Amazon Linux appeared first on Tomoshare.

API Gateway,
Kinesis, 
DynamoDB, 
DynamoDB Streams, 
Elasticsearch, 
S3, 
Firehose, 
Lambda, 
SNS, 
SQS, 
Redshift, 
ES (Elasticsearch Service), 
SES, 
Route53, 
CloudFormation, 
CloudWatch, 
SSM, 
SecretsManager

# docker-compose.yml

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=s3
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

docker-compose up -d

aws configure --profile localstack
 
AWS Access Key ID [****************demo]: dummy
AWS Secret Access Key [****************demo]: dummy
Default region name [ap-northeast-1]: ap-northeast-1
Default output format [json]: json

Or

vi ~/.aws/config

[profile localstack]
output = json
region = ap-northeast-1

vi ~/.aws/credentials

[localstack]
aws_access_key_id = dummy
aws_secret_access_key = dummy

Tạo S3 trong Localstack:

aws --endpoint-url=http://localhost:4566 --profile localstack s3api create-bucket --bucket test-bucket --create-bucket-configuration LocationConstraint=ap-northeast-1

# Kết quả:
{
    "Location": "http://test-bucket.s3.localhost.localstack.cloud:4566/"
}

aws s3 ls --endpoint-url=http://localhost:4566 --profile localstack

# Kết quả:
2023-11-15 10:24:40 test-bucket

# .env

# Cả 2 endpoint đều hoạt động với Localstack ở local.
#S3_ENDPOINT='http://localhost:4566'
S3_ENDPOINT='http://test-bucket.s3.localhost.localstack.cloud:4566/'
S3_AWS_ACCESS_KEY_ID='dummy'
S3_AWS_SECRET_KEY='dummy'
S3_AWS_BUCKET_NAME='test-bucket'

Tạo Dynamodb trong Localstack:

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=dynamodb
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

aws dynamodb create-table \
    --table-name test \
    --key-schema AttributeName=id,KeyType=HASH \
    --attribute-definitions AttributeName=id,AttributeType=S \
    --billing-mode PAY_PER_REQUEST \
    --region ap-northeast-1 \
    --endpoint-url=http://localhost:4566 \
    --profile localstack

# Kết quả:
{
    "TableDescription": {
        "AttributeDefinitions": [
            {
                "AttributeName": "id",
                "AttributeType": "S"
            }
        ],
        "TableName": "test",
        "KeySchema": [
            {
                "AttributeName": "id",
                "KeyType": "HASH"
            }
        ],
        "TableStatus": "ACTIVE",
        "CreationDateTime": "2023-11-15T11:29:05.597000+07:00",
        "ProvisionedThroughput": {
            "LastIncreaseDateTime": "1970-01-01T07:00:00+07:00",
            "LastDecreaseDateTime": "1970-01-01T07:00:00+07:00",
            "NumberOfDecreasesToday": 0,
            "ReadCapacityUnits": 0,
            "WriteCapacityUnits": 0
        },
        "TableSizeBytes": 0,
        "ItemCount": 0,
        "TableArn": "arn:aws:dynamodb:ap-northeast-1:000000000000:table/test",
        "TableId": "fb25d41f-0563-4be9-8b21-75bc3b7006b9",
        "BillingModeSummary": {
            "BillingMode": "PAY_PER_REQUEST",
            "LastUpdateToPayPerRequestDateTime": "2023-11-15T11:29:05.597000+07:00"
        }
    }
}

Bạn muốn sử dụng dịch vụ nào của AWS thì thêm dịch vụ đấy vào SERVICES trong file docker-compose.yml.

Tài liệu tham khảo: https://docs.localstack.cloud/

The post Localstack, giả lập môi trường AWS. appeared first on Tomoshare.

Bước 1: Chuẩn bị nội dung trang web

Trước tiên, bạn cần chuẩn bị nội dung cho trang web tĩnh của mình. Đây có thể là các tệp HTML, CSS, JavaScript, hình ảnh và bất kỳ tài liệu tĩnh nào khác bạn muốn hiển thị trên trang web của mình

Static website template source code: https://github.com/thuc-pt/fe-zing-mp3

Bước 2: Tạo một S3 bucket

• Đăng nhập vào AWS Management Console

• Chuyển đến dịch vụ "S3" bằng cách tìm kiếm trong thanh tìm kiếm hoặc nhấp vào nó trong danh sách các dịch vụ

• Click nút "Create bucket" để tạo mới một bucket

• AWS S3 quy định bucket name là duy nhất trên toàn cầu. Nên đặt tên bucket dạng your-domain-name.com

• Chọn khu vực AWS (Region) mà bạn muốn lưu trữ bucket

• Bỏ qua các cài đặt còn lại (hoặc tuỳ chỉnh theo nhu cầu của bạn) và nhấp vào nút "Create bucket" ở cuối trang để tạo bucket

Bước 3: Upload nội dung trang web

• Chọn bucket bạn đã tạo trong danh sách S3 buckets

• Nhấp vào nút "Upload" và sau đó chọn files bạn muốn tải lên

• Sau khi bạn tải lên nội dung của trang web, hãy đảm bảo rằng tất cả các tệp và thư mục đều có quyền truy cập public để mọi người có thể xem được trang web của bạn. Có thể thực hiện theo các bước sau

• Sau khi "Make public" xong thì tất cả các files trong bucket đều có thể được truy cập từ internet

Bước 4: Cấu hình trang web

• Chọn bucket của bạn và chọn "Properties"

• Sau khi click "Save changes" thì tại block Static website hosting sẽ hiển thị một URL. Đây là đường dẫn đến trang web của bạn
• Click vào URL để kiểm tra hoạt động

Bước 5: Tùy chỉnh tên miền và SSL (optional)

Nếu bạn muốn sử dụng tên miền tùy chỉnh và cài đặt SSL cho trang web của bạn, bạn có thể sử dụng dịch vụ như Amazon CloudFront hoặc AWS Amplify

Bài viết này đã hướng dẫn cách triển khai trang web tĩnh bằng AWS S3. Bằng cách làm theo các bước trên, bạn có thể đưa trang web của mình lên internet một cách dễ dàng và tiết kiệm chi phí. Chúc các bạn thành công!

The post Các bước triển khai trang web tĩnh bằng AWS S3 appeared first on Tomoshare.

Ở bài viết này, mình sẽ hướng dẫn các bạn setup New Relic với máy chủ sử dụng dịch vụ AWS Beanstalk và ứng dụng đc viết bằng Java Spring Boot. Bắt đầu thôiiii.

1. Đăng kí tài khoản New Relic

Đăng kí tài khoản New Relic rất dễ dàng tại link sau: https://newrelic.com/signup

Sau khi đăng kí thằng công, màn hình hiển thị trang dashboard của hệ thống và chúng ta có thể bắt đầu setup

2. Tạo ứng dụng Java và cài đặt

2.1. Thông tin ứng dụng

Trên bảng stack, chọn ứng dụng Java và tiếp tục, sau đó chọn Don’t have access the host và chọn Java tại mục Connect your applications.

Ở bài viết này chúng ta đang thực hiện trên máy chủ AWS Beanstalk nên tôi sẽ chọn On a host. Sau đó nhập tên ứng dụng và làm các bước theo hướng dẫn.

Ở bước Tell us about your environment, tôi chọn running on Linux và framework là Spring Boot.

2.2. Cài đặt gói thư viện

Bước tiếp theo chúng ta cần tiến hành cài đặt gói thư viện. Bởi vì dùng AWS Beanstalk nên tôi sẽ thực hiện việc cài đặt trong folder .ebextension

Tạo file newrelic.config trong thư mục .ebextensions

commands:
  01-download-java-agent:
    command: "curl -O https://download.newrelic.com/newrelic/java-agent/newrelic-agent/current/newrelic-java.zip && mv newrelic-java.zip /var/newrelic-java.zip"
  02-unzip-java-agent:
    command: "unzip -o /var/newrelic-java.zip -d /var/"
  03-give-permissions-to-newrelic:
    command: "chmod a+rwx /var/newrelic"
  04-replace-license-key:
    command: "sed -i 's/<%= license_key %>/your_application_license_key/g' /var/newrelic/newrelic.yml"
  05-replace-application-name:
    command: "sed -i 's/My Application/your_application_license_key/g' /var/newrelic/newrelic.yml"
  06-enable-infras-and-logs-metric:
       command: "your_application_cmd_curl_infra"

Trong đó:

• your_application_license_key: license_key của bạn.
• your_application_license_key: Application name mà bạn đã đăng kí vơi new relic.
• your_application_cmd_curl_infra: Command bạn nhận đc ở bước Connect your logs and infrastructure.

Nếu bạn chỉ muốn giám sát ứng dụng mà ko muốn giám sát Infras, bạn có thể bỏ qua bước 06-enable-infras-and-logs-metric. Nếu cài đặt hãy disable option Automatically answer “yes” to all install prompts. We’ll stop the installer if there’s an error. trên dashboard NewRelic

3. Deploy với CodeBuild và CodePipeline

Chúng ta cần tạo file Procfile trong folder root của source code để định nghĩa câu lệnh chạy ứng dụng java kèm theo NewRelic

Procfile:

web: java -javaagent:/var/newrelic/newrelic.jar -jar app.jar

Config sẽ không chạy nếu folder .ebextensions không được deploy lên Beanstalk. Dưới đây là file Buildspec của tôi

version: 0.2

phases:
  install:
    runtime-versions:
      java: corretto11
  build:
    commands:
      - mvn install
      - mv target/*.jar app.jar
artifacts:
  files:
    - Procfile
    - app.jar
    - .ebextensions/**/*

Cuối cùng sau khi deploy thành công, thực hiện Test Connection trên NewRelic để tạo ứng dụng:

4. Tổng kết

Còn 1 phần quan trọng mình chưa đến đó là chi phí, theo mình tìm hiểu NewRelic sẽ tính phía dựa trên dung lượng sử dụng trên hệ thống, chúng ta sẽ được miễn phí với 100GB/tháng

Trên đây là tổng hợp các bước setup NewRelic với ứng dụng Java chạy trên AWS Beanstalk của mình, hi vọng giúp ích mọi người.

Về những thông số và giá trị đem lại anh em hãy tự trải nghiệm và tận hưởng nheeeeeeeeé

The post Setup New Relic for monitoring AWS Beanstalk and Java Spring Boot appeared first on Tomoshare.

Amazon Simple Email Service (Amazon SES) là một dịch vụ có quy mô cực kỳ linh hoạt và tiết kiệm chi phí dùng để gửi và nhận email. Amazon SES loại bỏ sự phức tạp cũng như chi phí của việc xây dựng một giải pháp email nội bộ hoặc việc cấp phép, cài đặt và vận hành một giải pháp email của bên thứ ba.

1. Giới thiệu về Amazon SES.

Amazon Simple Email Service (Amazon SES) là dịch vụ gửi email trên nền tảng đám mây được thiết kế để giúp các chuyên gia marketing kỹ thuật số và nhà phát triển ứng dụng gửi email marketing, thông báo và giao dịch. Đây là dịch vụ tin cậy, tiết kiệm chi phí dành cho các doanh nghiệp thuộc đủ mọi quy mô sử dụng email để giữ liên lạc với khách hàng của mình.

Bạn có thể sử dụng giao diện SMTP hoặc một trong các SDK của AWS để tích hợp Amazon SES trực tiếp vào các ứng dụng hiện có của bạn. Bạn cũng có thể tích hợp tính năng gửi email của Amazon SES vào trang web đang sử dụng.

2. Configuration

Đầu tiên, chúng ta sẽ xác thực email.

Ở màn hình trang chủ của Amazon SES, các bạn nhấn vào nút Create Identity để bắt đầu xác thực nhé.

Tiếp theo chúng ta chọn loại xác thực, có 2 loại là Email Address (xác thực một địa chỉ email) và Domain (xác thực một tên miền). Nếu các bạn có tên miền rồi và muốn gửi email có dạng no-reply@example.com thì bạn chọn Domain. Còn nếu bạn chưa có tên miền và muốn dùng địa chỉ email của gmail như hoangnhat1020023@gmail.com thì chọn Email Address nhé.

Tiếp theo thì AWS sẽ gửi một email đến địa chỉ email bạn vừa nhập, vào email đó và nhấn vào link xác thực để được verify nhé.

Tiếp theo, chúng ta cấu hình IAM để cấp quyền truy cập vào AWS SES

IAM là viết tắt của Identity and Access Management. Đây là một dịch vụ của AWS giúp chúng ta quản lý các tài khoản, quyền truy cập của các tài khoản đó vào các dịch vụ khác của AWS.

Để cấp quyền các bạn làm như sau:

• Vào ô tìm kiếm của AWS gõ từ khóa IAM để tìm dịch vụ IAM
• Chọn Access Management bên sidebar bên phải -> Users -> Add users
• Điền tên cho user và nhấn Next để qua step 2

Chọn Attach policies directly -> tìm và chọn AmazonSESFullAccess -> nhấn Next để qua step 3

• Review lại và nhấn Create user để tạo user
• Tiếp tục click vào user vừa tạo, chọn tab là Security credentials, scroll xuống dưới phần Access keys, chọn Create access key để tạo access key

Chọn Security credentials

Click vào Create access key

• Ở Step 1 thì anh em chọn option là Application running outside AWS và nhấn Next

• Ở Step 2 thì anh em có thể điền mô tả cho cái key này hoặc không, optional mà. Nhấn Next
• Ở Step 3 lưu ý là anh em nên download cái file CSV chứa access key và secret key này về máy để dùng sau này nhé. Nhấn Download .csv file và Done để hoàn thành.

Key của chúng ta sẽ gồm 2 phần là Access key và Secret access key.

3. Gửi email với Amazon SES và Spring Boot

Bước 1: Thêm Dependency vào Maven POM

Đầu tiên, chúng ta cần thêm các dependency cần thiết vào tệp pom.xml của dự án Spring Boot của bạn. Điều này bao gồm dependency cho Spring Boot Mail Starter và AWS SDK for SES.

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-mail</artifactId>
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-ses</artifactId>
    <version>1.11.1003</version> <!-- Phiên bản cụ thể có thể thay đổi -->
</dependency>

Bước 2: Cấu hình AWS Credentials

Tiếp theo, bạn cần cấu hình AWS Credentials (Access Key và Secret Key) và cài đặt các thuộc tính email trong tệp application.properties hoặc application.yml.

spring.mail.host=smtp.example.com
spring.mail.port=587
spring.mail.username=your-email@example.com
spring.mail.password=your-email-password
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true

# AWS SES Configuration
aws.accessKey=YOUR_AWS_ACCESS_KEY
aws.secretKey=YOUR_AWS_SECRET_KEY
aws.region=us-east-1

Bước 3: Tạo Bean cho Amazon SES

Trong ứng dụng Spring Boot của bạn, bạn cần tạo một bean để sử dụng Amazon SES. Bean này sẽ được sử dụng để gửi email qua SES.

import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.simpleemail.AmazonSimpleEmailService;
import com.amazonaws.services.simpleemail.AmazonSimpleEmailServiceClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class AwsConfig {

    @Value("${aws.accessKey}")
    private String awsAccessKey;

    @Value("${aws.secretKey}")
    private String awsSecretKey;

    @Bean
    public AmazonSimpleEmailService amazonSimpleEmailService() {
        BasicAWSCredentials awsCredentials = new BasicAWSCredentials(awsAccessKey, awsSecretKey);
        return AmazonSimpleEmailServiceClient.builder()
                .withCredentials(new AWSStaticCredentialsProvider(awsCredentials))
                .build();
    }
}

Bước 4: Gửi Email từ Ứng dụng của bạn

Giờ đây, bạn có thể sử dụng JavaMailSender để gửi email qua SES trong ứng dụng Spring Boot của bạn. Dưới đây là ví dụ về cách gửi email từ ứng dụng của bạn:

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.mail.SimpleMailMessage;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.stereotype.Service;

@Service
public class EmailService {

    @Autowired
    private JavaMailSender javaMailSender;

    public void sendEmail(String from ,String to, String subject, String body) {
        SimpleMailMessage message = new SimpleMailMessage();
        message.setTo(to);
        message.setFrom(from);
        message.setSubject(subject);
        message.setText(body);
        javaMailSender.send(message);
    }
}

Sử dụng EmailService để gửi email:

@Service
public class MyService {

    @Autowired
    private EmailService emailService;

    public void sendEmail() {
        String to = "recipient@example.com";
        String from = "hoangnhat102003@gmail.com";
        String subject = "Test Email";
        String body = "This is a test email sent via AWS SES and Spring Boot.";
        emailService.sendEmail(from ,to, subject, body);
    }
}

4. Tổng kết

Trên đây là hướng dẫn cách sử dụng AWS SES để gửi email, tất nhiên là nó không thể nào nói hết được tất cả những thứ liên quan đến AWS SES, nhưng mình đã cố gắng đơn giản hết sức cho mọi người có thể đọc xong là làm được ngay luôn, còn mấy thứ khác thì có thời gian chúng ta sẽ học sau. Đúng không nào 😁

The post Gửi email với Amazon Simple Email Service và Spring boot appeared first on Tomoshare.

LocalStack ?

LocalStack là một nền tảng mã nguồn mở cho phép bạn chạy và giả lập các dịch vụ AWS ở local. LocalStack hỗ trợ nhiều dịch vụ AWS khác nhau : S3, Lambda, SNS, ES, SES, API Gateway, …. Dịch vụ cần quan tâm của chúng ta là S3.

Start LocalStack bằng docker ?

Chúng ta có thể setup LocalStack trực tiếp trên máy thông qua pip:

pip install localstack

Nhưng bây giờ là thời đại của containerization, chúng ta mà không sử dụng docker là bị sếp nói là lạc hậu đấy ! Để chạy localstack với docker compose cho S3, anh em có thể sử dụng docker-compose.yml file dưới đây:

version: '3.9'
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_s3_demo
    environment:
      SERVICES: s3
    ports:
      - '127.0.0.1:4566:4566'

Start LocalStack container để sử dụng nào:

docker-compose up -d

Tạo mới một s3 bucket với tên “bucket-demo“:

docker exec -it localstack_s3_demo awslocal s3 mb s3://bucket-demo

Upload file to S3 ?

Để demo việc upload lên file tới S3 tôi sử dụng package @aws-sdk/client-s3 cho gần gũi với đại chúng anh em coder, anh em có thể tham khảo đoạn code dưới đây:

import { S3Client, PutObjectCommand } from "@aws-sdk/client-s3";
import fs from "fs";

const S3_AWS_ACCESS_KEY_ID = "dummy";
const S3_AWS_SECRET_KEY = "dummy";
const S3_AWS_BUCKET_NAME = "bucket-demo";
const useLocal = true; // false if not using LocalStack

const client = new S3Client({
  region: "us-east-1",
  endpoint: useLocal ? "http://127.0.0.1:4566" : undefined,
  credentials: {
    accessKeyId: S3_AWS_ACCESS_KEY_ID,
    secretAccessKey: S3_AWS_SECRET_KEY,
  },
});

const params = {
  Bucket: S3_AWS_BUCKET_NAME,
  Key: "example.jpg",
  ContentType: "image/jpeg",
  Body: fs.readFileSync("./example.jpg"),
  s3ForcePathStyle: true,
};

const command = new PutObjectCommand(params);

try {
  const response = await client.send(command);
  console.log(response);
  console.log("File uploaded successfully!");
} catch (error) {
  console.error(error);
}

Start upload file :

 > node upload.js
 
{
  '$metadata': {
    httpStatusCode: 200,
    requestId: 'CE5CQBpI8HEwPsSI4pChERwgSYOvFLIjv5xTPbO9Zg1GLEEp80vN',
    extendedRequestId: 'MzRISOwyjmnupAC6A5B7CD242F7B57/JypPGXLh0OVFGcJaaO3KW/hRAqKOpIEEp',
    cfId: undefined,
    attempts: 1,
    totalRetryDelay: 0
  },
  ETag: '"2067c44cf823bd1b9c2cb66ba8f407e2"'
}
File uploaded successfully!
 

Sử dụng package@aws-sdk/s3-request-presignerđể lấy presigned URL:

// getSignedUrl.js

import { S3Client, GetObjectCommand } from "@aws-sdk/client-s3";
import { getSignedUrl } from "@aws-sdk/s3-request-presigner";

const S3_AWS_ACCESS_KEY_ID = "dummy";
const S3_AWS_SECRET_KEY = "dummy";
const S3_AWS_BUCKET_NAME = "bucket-demo";
const useLocal = true;

const client = new S3Client({
  region: "us-east-1",
  endpoint: useLocal ? "http://127.0.0.1:4566" : undefined,
  credentials: {
    accessKeyId: S3_AWS_ACCESS_KEY_ID,
    secretAccessKey: S3_AWS_SECRET_KEY,
  },
});

const params = {
  Bucket: S3_AWS_BUCKET_NAME,
  Key: "example.jpg",
  Expires: 3600, // The URL will expire in 3600 seconds.
};

const command = new GetObjectCommand(params);

try {
  const url = await getSignedUrl(client, command);
  console.log(url);
} catch (error) {
  console.error(error);
}

Get presigned URL:

> node getSignedUrl.js

http://127.0.0.1:4566/bucket-demo/example.jpg?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=dummy%2F20231008%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20231008T100241Z&X-Amz-Expires=900&X-Amz-Signature=73d10095729f1d47feee9926aa0c0d31d086c979206f93b475265bee2dc4cd4f&X-Amz-SignedHeaders=host&x-id=GetObject

Đơn giản thực sự đúng không anh em ! Nếu các đồng chí có bất kỳ thắc mắc hay chạy các đoạn script trên có bất cứ bug nào hãy comment cho mình được biết nha ! Cảm ơn các đồng dâm ! Thân ái và hẹn gặp lại !

The post Sử dụng localstack để giả lập upload file s3 appeared first on Tomoshare.