Sử lý database quá lớn

Cung cấp host Unlimited giá 800K/năm
Thông báo tuyển sinh lớp học PHP trực tuyến trên PHPVN

[diepdo_us]

mình dùng mysql và php nhưng giờ đây dữ liệu của mình quá nhiều.load trang web rất chậm.ai có cách nào giúp mình với.code thì mình đã tối ưu ok rồi.nhưng giờ muốn sử lý ở data mong các ban giúp mình nghĩ hướng giải quyết.thank các bạn trước.à quên với điều kiện không đập database đi

[nothing1306]

Mình nghe nói dùng cache sẽ nhanh hơn, nhưng không hiểu có cache và không có cache khoảng cách chênh lệch là bao nhiêu?
Mong bà con giúp đỡ...

[Neexare]

Nếu nói về Mysql thì có nhiều cách tối ưu lám. Bạn có thể dùng "index" ví dụ, hay là "Query cache", hay denormalization. Mysql rất là lẹ, database cũa bạn lớn tới cở nào mà lại chậm đi vậy?

[cmxq]

Tớ thì chơi theo cách khác: Với 1 website có DB lớn và thời gian cập nhật dữ liệu không đến nỗi liên tục thì tớ tạo ra một bảng cache và kết hợp với 1 thư viện xử lý bảng cache đó tương tự như memcache. Tớ xử lý theo quy tắc: Những cái nào ít thay đổi và thường xuyên phải hiển thị thì sẽ xử lý hoàn tất và lưu mã HTML vào bảng cache, lúc nào cần dùng thì lôi luôn từ bảng cache ra. Một website với hơn 400 ngàn bản ghi, hơn 200 ngàn lượt truy cập 1 ngày mà vẫn chạy ầm ầm.

[thienha20]

nếu code bạn dùng mysql_connect trong thì bạn nên chuyển qua dùng adodb thằng này nó tôi ưu việc kết nối database hơn. Nếu dữ liệu quá nhiều trong 1 table nào đó thì bạn chia table đó ra thành nhiều table con việc này đòi hỏi phải sửa lại code. Đồng thời nên tối ưu lại câu lện truy vấn trong code của bạn. Những câu lện truy vấn mốc database lên dư thừa rồi join với 1 số dòng thôi như thế cũng làm chậm đi quá trình truy vấn

[billythekids]

mình đồng ý với thienha20 về phần sau tức chia nhỏ db ra. Bên mysql mình kông rõ nó có làm dc ko nhưng ben mssql ta có thể tối ưu hoá bằng cách chia ra thành nhiều table rồi mỗi table nằm trên một ndf secondary database file chỉ cái chình chứa một số dữ liệu qua trong thì nằm trên table chính thôi.
Ví dụ thê này nhé:
Mình cần chứa bài viết của toàn bộ users
Vay thì chia ra thành 2 table
Table 1 ( chính ) chứa: postID, userID, tile, datePost
Table 2 (phụ) : chứa postID, content
Như vậy việc linking chứa 2 table sẽ nhẹ hơn rất nhiều khi cần thao tác search ngày post, tiêu đề, hay người post. còn khi kiếm nội dung thì chỉ cần query lại vào thằng table 2 để kiếm và lấy lại postID nó sẽ nhanh hơn.

[datgs]

Quan trọng là dữ liệu của bạn cỡ bao nhiêu records trong bảng, câu query phức tạp cỡ nào (bao nhiêu WHERE conditions, join bao nhiêu bảng, bao nhiêu sub query)... Bạn hỏi chung chung thế thì tất nhiên là càng dễ trả lời nhưng càng khó để bạn đạt được mục đích.

Tập chung vào MySQL, nếu bạn không muốn đập phá database đi thì:

1) Phải phân tích các show queries (mysql có lưu các slow query ở đâu đó)
2) Không có thì phải lấy được các queries ra, dùng tính năng EXPLAIN để phân tích câu query.
3) Sau khi explain, quyết định đánh INDEX vào các trường cần thiết.
...
 
Nếu số lượng người dùng rất lớn thì bạn phân tích xem số lượng query đọc (SELECT) và query ghi (INSERT/UPDATE/DELETE) trên database của bạn cái nào nhiều hơn.

4) Nếu SELECT nhiều hơn, bạn nên sử dụng REPLICATION, với SLAVE DB toàn là bảng MyISAM.
5) Nếu INSERT/UPDATE/DELETE nhiều hơn bạn nên chuyển MASTER DB sang InnoDB
5.1) Ngoài ra bạn có thể phân tích xem, nhưng câu INSERT/UPDATE/DELETE nào không cần phát huy tác dụng ngay tức thì, bạn có thể sử dụng DELAY param

Sau khi các cách trên không hiệu quả lớn (chắc chắn là hiệu quả nhưng nếu chưa đạt yêu cầu) thì

6) Sử dụng cache

...

7) Ngoài ra sử dụng DbEngine hợp lý (ngoài InnoDB và MyISAM) cũng rất hiệu quả.