開発者の生産性向上だけではなく職場満足度向上にも大きな効果、トライアルでの評価を経て開発現場全体に GitHub Copilot を導入

システム本部全体への導入に先立ち、投資効果を評価するためのトライアルを実施

1997 年に創業して以来、日々の暮らしに役立つさまざまなインターネット サービスを展開し続けている株式会社カカクコム (以下、カカクコム)。現在では、購買支援サイト「価格.com」や、レストラン検索・予約サービス「食べログ」、求人情報の一括検索サービス「求人ボックス」などの Web メディアに加え、グループ会社において保険代理店事業や旅行予約プラットフォーム事業なども手掛けています。これらのサービスを構築し改善するため、日々数多くのエンジニアが開発業務に従事。その生産性を高めるツールとして活用されているのが「GitHub Copilot」です。

「GitHub Copilot には、登場する前から注目していました」と語るのは、カカクコム システム本部で本部長を務める安藤 賢司 氏。その後も先行導入したスタートアップの知り合いなどからの情報収集の中で、導入費用を上回る効果が期待できるだろうと予測していたと言います。「そのため当社でも GitHub Copilot をシステム本部全体に適用すべきだと考えていましたが、カカクコムのシステム本部は組織が大きく、GitHub Copilot のような新規技術の導入にはそれなりのコストがかかってしまいます。本格的な導入を進める際には自社にとってどのような効果が見込めるのかを、具体的に証明しておく必要があると考えました」。

カカクコムのシステム本部は当初、サービスごとに分かれた部門構成になっており、使っている開発言語やツールが部門それぞれで異なっていました。このような差を縮小させ、開発者体験を全体として高めていくために、2023 年 4 月にシステム本部で 8 部門目となる「デベロッパーエクスペリエンス室」を設置。その主導によって GitHub Copilot の社内検証がスタートします。

「まず法務確認や情報セキュリティ確認を行ったうえで、2023 年 6 月にトライアル担当者を募集しました」と語るのは、カカクコム システム本部 デベロッパーエクスペリエンス室で室長を務める加藤 真史 氏。デベロッパーエクスペリエンス室を含む全 8 部門から、合計 22 名が参加することになったと振り返ります。「トライアル メンバーの選定では、全部門からまんべんなく参加してもらうことに留意しました。特定の部門に偏ったトライアルにしてしまうと、その部門特有の使い方での効果測定になってしまい、全体としての効果を確認できないからです」。

また、実際に使ったうえできちんとフィードバックすること、トライアルの感想を「カカクコムTechBlog (開発者による技術ブログ)」で記事にすることも、トライアル メンバー選定の際の条件にしたと加藤 氏。さらに「トライアルのための検証」にならないよう、現場の開発業務で使ってもらうことも重視したと言います。

2023 年 7 月にはトライアルをスタート。約 2 か月間のトライアル利用を経て、9 月上旬に最初のトライアル評価が行われています。

特に大きいと評価された単体テストでの効果、不慣れな言語への心理的ハードルも低下

その 1 つとして実施されたのが、トライアル メンバーからの定性的なコメントの収集と分析です。コメント内容を「時間短縮/効率化」「楽になった/便利になった」「相談相手ができた/学びができた」「ミスが減った」「テスト観点」の 5 カテゴリーにマッピングし、可視化しているのです。

「定性的なコメントでまず注目したのは、テスト観点での評価コメントに『作業がかなり軽減』『かなりの時間短縮」『非常に優秀』『効果が最もあると感じた』など、『かなり』『非常に』『最も』といった強調が見られたことです」と加藤 氏。そのため「単体テストでの利用効果は著しい」という評価が可能だと指摘します。「またこの他にも、不慣れな言語を触る際の精神的なハードルが下がった、生成 AI に相談することによりペアプログラミング感覚で開発を進められるなど、さまざまな効果があることがわかりました」。

「私もトライアルに参加して GitHub Copilot を使いましたが、あまり日常的に使っていない言語でコーディングを行う際に、プロンプトでコードが生成されるのはとても助かりました」と言うのは、カカクコム システム本部 デベロッパーエクスペリエンス室でマネージャーを務める三谷 健人 氏です。普段行っている業務は開発者向け環境の整備や管理であるため、日常的には PowerShell を使用しています。そのため以前は、他の言語を使わなければならないときは時間がかかっていたと言います。「PowerShell 以外の言語で書くものは使い捨てコードのケースが多いのですが、GitHub Copilot なら日本語のプロンプトで手っ取り早く作成できます。これによって、不慣れな言語を使う際の心理的ハードルが一気に低くなりました」。

また、以前は C# によるコーディングも行っており、今でも時おり C# でコードを作成することもあると三谷 氏。しかし作成から 数か月以上経過したコードは、自分でも内容を思い出すのに時間がかかることがあったと言います。「以前は気合を入れて解読していましたが、GitHub Copilot を使えばどのような内容なのかを説明してくれます。また『カカクコムTechBlog』は Markdown で記述しているのですが、これも要点を書き始めるだけで GitHub Copilot が続きを推測して書いてくれるため、記事作成の時間も短縮できました」。

もちろん、GitHub Copilot が提案したコードがすべて受け入れられているわけではありません。トライアルでの受け入れ率は 27.45%。これについて「受入率が高すぎると生成 AI の提案を丸のみしていることになって品質上の懸念があり、低すぎると生産性に貢献できていないことになります」と加藤 氏は語ります。さらに「この数字をどう判断していくかは、さらなる検証が必要だと考えています」とも言及。なお、GitHub Copilot の活用によって人間が作らずに済んだソースコードは約 6 万行に達しており、これだけでも「一定の生産性向上の効果がある」と評価できそうです。

SPACE フレームワークでもポジティブな結果、職場の選定基準や離職防止につながるという評価も

その一方で、「SPACE フレームワーク」による効果測定も行われています。これは GitHub とビクトリア大学、Microsoft Research のメンバーによって提唱された、開発者の生産性を多面的に評価するためのフレームワークであり、「満足度と幸福」「パフォーマンス」「アクティビティ」「コミュニケーションとコラボレーション」「効率とフロー」という 5 つの観点から、開発者の生産性を定量化します。このうちカカクコムの社内検証では、「満足度と幸福」「効率とフロー」という 2 つの観点から評価が行われています (図 1)。

「いずれもポジティブな反応が非常に多くあり、開発者の満足度と生産性に良い影響を与えていると評価できます」と加藤 氏。この他にも eNPS (Employee Net Promoter Score：職場の推奨度を数値化したもの) でも満足度を計測していますが、GitHub Copilot の eNPS スコアは -14 になっていると言います。「これは一見すると低く見えますが、日本の eNPS 平均スコアは -61.1 であるため、かなり高い推奨度だと評価できます」。

そしてもう 1 つ注目したいのが、「GitHub Copilot は職場の選定基準になりうるか?」という設問に対する回答です。トライアル メンバーのうち 73% が「GitHub Copilot は職場の選定基準や離職防止につながる」と回答。「GitHub Copilot が利用可能な環境から禁止されている環境に異動、転職した場合には、かなりの抵抗感がある」というコメントもあったのです。

このようなトライアル結果を受け、2023 年 9 月中旬にはシステム本部全体に導入する方針を決定。10 月には全開発者への権限付与が行われています。

一方で、GitHub Copilot の活用度や習熟度を高めていくため、GitHub 社の公式トレーニングにシステム本部全体で取り組んでいます。加えて、Microsoft Teams による社内オンライン会議において、開発現場のエンジニアによる GitHub Copilot 活用方法共有の場「Lightning Talk 会 (LT 会)」も開催。トップダウンとボトムアップの両輪で活用を盛り上げていくと共に、ノウハウの蓄積と集約も進められています。そして導入から半年後には「本部全体で使った結果どうだったのか」という効果検証も行われる予定になっています。

「もはや生成 AI を使わないという選択肢はありません」と安藤 氏。これからは使うか使わないかではなく、どう使って効果を出していくのか、という議論が不可欠になると語ります。

「既に開発者の採用は難しい時代に入っており、今いる開発者に効率よく、気持ちよく働いてもらえる環境を整えることは欠かせません。GitHub Copilot による開発支援は、そのための重要な基盤だと言えます。自分たちが提供するサービスをより良くするという、開発者本来の仕事に集中してもらううえでも、このような生成 AI の活用は必須条件になると考えています」 (安藤 氏)。