Nhờ tư vấn cách xử lý lưu log dữ liệu

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
Các bác cho em hỏi có cách nào tối ưu xử lý lưu log không ạ. Hiện tại em đang dùng cách là đẩy dữ liệu vào redis rồi sau đó dùng job đọc ra để lưu. Nhưng bị 1 cái là khi nhiều người vào quá thì lượng connect vào redis tăng lên cao. Em đang định chuyển qua dùng Sqs của amazon nhưng thử thì không thấy hiệu quả hơn. :surrender:

Bác nào có cách gì hay thì bày cho em với ạ :chaymau:
 

thrall

New Member
Joined
Sep 28, 2017
Messages
68
Reaction score
0
Thường nếu logs mà nhiều nên stream vào cloudwatch, xong có job đọc ra lưu vào redshift hoặc đâu đó
 

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
thrall said:
Thường nếu logs mà nhiều nên stream vào cloudwatch, xong có job đọc ra lưu vào redshift hoặc đâu đó
bác nó rõ hơn chút được không ạ. Cái cloudwatch em tưởng là để monitor hệ thống chứ ạ :chaymau:
 

FinalDevil

New Member
Joined
Sep 28, 2017
Messages
343
Reaction score
0
Có nhiều loại log không hiểu thớt đang hỏi log thể loại nào? Tốc độ, lưu lượng ra sao?

Được gửi từ iPhone 6s Plus - vozForums
 

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
FinalDevil said:
Có nhiều loại log không hiểu thớt đang hỏi log thể loại nào? Tốc độ, lưu lượng ra sao?

Được gửi từ iPhone 6s Plus - vozForums
Dạ, em đang xử lý log login ạ. User cứ đăng nhập vào là lưu bác ạ, nếu lượng của nó cũng nhiều ạ
 

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
Trên là em đang hỏi về log dữ liệu nhé các bác, không phải log lỗi đâu ạ :sosad:
 

RPG29

New Member
Joined
Sep 27, 2017
Messages
513
Reaction score
1
Nếu vấn đề là có quá nhiều connection vào Redis Server thì bạn thử xem client mà ngôn ngữ bạn đang dùng có hỗ trợ connection pool không?

Không có thì thử tìm có open source project nào hỗ trợ connection pool không? Search sơ sơ thì thấy có thằng twemproxy https://github.com/twitter/twemproxy
 

ass no hoa

New Member
Joined
Oct 2, 2017
Messages
49
Reaction score
0
chủ thớt đang lưu session vào redis à? có lý do gì mà phải lưu vào redis vậy?
 

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
ass no hoa said:
chủ thớt đang lưu session vào redis à? có lý do gì mà phải lưu vào redis vậy?
Dạ, em đẩy vào redis queue rồi sau đó có 1 job đọc từ redis queue ra để lưu bác ạ. Kiểu chạy background
 

boydepdai92

New Member
Joined
Sep 28, 2017
Messages
750
Reaction score
0
RPG29 said:
Nếu vấn đề là có quá nhiều connection vào Redis Server thì bạn thử xem client mà ngôn ngữ bạn đang dùng có hỗ trợ connection pool không?

Không có thì thử tìm có open source project nào hỗ trợ connection pool không? Search sơ sơ thì thấy có thằng twemproxy https://github.com/twitter/twemproxy
Cám ơn bác, để em tìm thử xem sao. Hiện em đang dùng PHP ạ
 
Top