Multi-fidelity Bayesian optimization for targeted design space exploration

Summary

The aim of this thesis is to explore the application of Multi-Fidelity Bayesian Optimization (MFBO) for targeted design space exploration, specifically focusing on identifying high-performing Covalent Organic Frameworks (COFs) for methane storage. The primary challenge addressed in this work is the efficient navigation of a vast and complex design space with constrained computational resources. To achieve this, a two-step MFBO approach was employed, combining high-fidelity simulations with low-fidelity approximations. This method significantly reduces the number of expensive high-fidelity evaluations required by leveraging correlations between different fidelity levels. The stopping criteria for the optimization process included a predefined iteration limit and an expected improvement threshold, ensuring an optimal balance between exploration, exploitation, and resource utilization.

The results demonstrate that the MFBO method outperforms traditional random sampling techniques, effectively identifying the top 100 COFs with the highest methane uptake. Kernel Density Estimates (KDE) and Principal Component Analysis (PCA) were used to visualize the optimization process, highlighting the efficiency of MFBO in focusing on high-potential regions of the design space. The findings of this research offer a systematic and cost-effective approach to exploring large and complex design spaces. This methodology can be extended to other material classes and optimized further by integrating advanced machine learning techniques.

Περίληψη

Στόχος αυτής της διπλωματικής εργασίας είναι η διερεύνηση της εφαρμογής ενός προγράμματος Multi-Fidelity Bayesian Optimization (MFBO) για στοχευμένη εξερεύνηση του σχεδιαστικού χώρου, με έμφαση στον εντοπισμό περιοχων υψηλου ενδιαφεροντος. Συγκεκριμενα μελετηθηκαν COF υψηλής απόδοσης για την αποθήκευση μεθανίου. Η κύρια πρόκληση που αντιμετωπίζεται σε αυτή την εργασία είναι η αποτελεσματική πλοήγηση σε έναν τεράστιο και πολύπλοκο χώρο σχεδιασμού με περιορισμένους υπολογιστικούς πόρους. Για να επιτευχθεί αυτό, χρησιμοποιήθηκε μια προσέγγιση MFBO δύο σταδίων, η οποία συνδυάζει προσομοιώσεις υψηλής και χαμηλής ακρίβειας. Αυτή η μέθοδος μειώνει σημαντικά τον αριθμό των ακριβών προσομοιώσεων υψηλής ακρίβειας που απαιτούνται, μέσω της αξιοποίησης των συσχετισμών μεταξύ διαφορετικών επιπέδων προσομοιώσεων. Τα κριτήρια διακοπής της εξερεύνησης του χώρου για τη διαδικασία εύρεσης του βέλτιστου COF περιελάμβαναν ένα προκαθορισμένο όριο επαναλήψεων και ένα αναμενόμενο όριο βελτίωσης, διασφαλίζοντας τη βέλτιστη ισορροπία μεταξύ εξερεύνησης, εκμετάλλευσης (exploitation) και χρήσης πόρων.

Τα αποτελέσματα καταδεικνύουν ότι η μέθοδος MFBO υπερέχει των παραδοσιακών τεχνικών τυχαίας δειγματοληψίας, εντοπίζοντας αποτελεσματικά την περιοχή ενδιαφέροντος του χώρου σχεδίασης και προσδιορίζοντας με αξιοπιστία την περιοχη χωρου με τα COF υψηλής απόδοσης, καθώς και ένα μεγάλο ποσοστό από τα κορυφαία 100 COF. Η Εκτίμηση Πυκνότητας Πυρήνα (KDE) και η Ανάλυση Κύριου Στοιχείου (PCA) χρησιμοποιήθηκαν για την οπτικοποίηση της διαδικασίας βελτιστοποίησης, υπογραμμίζοντας την αποτελεσματικότητα του MFBO στην εστίαση σε περιοχές υψηλού ενδιαφέροντος του σχεδιαστικού χώρου. Τα ευρήματα αυτής της έρευνας προσφέρουν μια συστηματική και οικονομικά αποδοτική προσέγγιση για την εξερεύνηση μεγάλων και πολύπλοκων σχεδιαστικών χώρων. Αυτή η μεθοδολογία μπορεί να επεκταθεί σε άλλες κατηγορίες υλικών και να βελτιστοποιηθεί περαιτέρω με την ενσωμάτωση προηγμένων τεχνικών μηχανικής μάθησης.