この記事では、LLM（大規模言語モデル）の記憶に関する科学的研究を進めるために開発されたオープンソースのモデルスイート「ハッブル」について説明しています。ハッブルのモデルには、標準モデルと改変モデルがあり、前者は大規模な英語コーパスで事前学習され、後者は特定のテキストを挿入して記憶リスクを模倣するように訓練されています。リリースされた8つのモデルはいずれも、トレーニングコーパスに対する敏感データの頻度が記憶リスクを決定することを示しています。また、異なる事前学習段階で挿入されたモデルのデータも含まれており、繰り返し露出しない敏感データは忘れられることが確認されました。これにより、記憶リスクに対処するためのベストプラクティスが提案され、様々なメモリ研究の基盤が提供されています。