カーリルと次世代の図書館システムを開発する「Project Next-L」では、OPAC（蔵書検索システム）の評価手法を検討するワーキンググループを立ち上げます。このワーキンググループでは、図書館向けの蔵書検索システムの評価手法について実践的な検討と可視化ツールの開発を進めます。
各図書館が提供しているWeb-OPACの品質は、図書館が作成した書誌データと検索システムの設計や実装に依存するため、客観的な評価が難しいのが現状です。また、ミドルウェアのアップデートにより、内部仕様が変更された結果、一部の書誌が検索できなくなるなどの運用障害もたびたび発生しています。
ワーキンググループでは、評価用の書誌データセットと、クエリおよび正解データを整備することにより、検索システムの「評価」と「テスト」の自動化に取り組みます。また、これまで感覚的だったシステム間での検索結果の違いを可視化することで、容易に比較できるようにします。
当面は、カーリルが開発する「COVID-19 : 学校図書館支援プログラム」向けの検索システムと、「Next-L Enju」の検索結果を用いて評価ツールの設計を進める予定です。カーリルでは、開発した評価ツールを開発過程の自動プロセスに組み込むことで、製品の性能を継続的に維持、向上することを目指しています。
長期的にはこれらのデータセットや評価ツールが、システム調達時の性能評価の指標として活用されることに期待しています。このプロジェクトは、オープンソースプロジェクトとして進められるため、誰でも開発に参加することができます。グループでのコミュニケーションは、Code4Lib JAPANのSlackチャンネル「#opac」にて進めます。このプロジェクトに興味があるシステム開発企業や図書館の方はぜひご参加ください。