【本紹介】AIソフトウェアのテスト 答えのない答え合わせ［４つの手法］

　AI系の教育用の本として入手。企業でAIソフトウェアを導入するには、「研究開発で精度が上がって良かったね」、といった時代は過ぎ、テスト、品質保証は当たり前の流れとして各メンバーに理解してもらい、方法を考えてもらう時代に突入しているため、こういった話は避けて通れない。

　これまでのロジック型ソフトウェアでは、プログラムを開発し、そして使ってもらう前に、テストを行い、品質保証をするのは「当たり前」。

　ではその「当たり前」は、AIを活用したプログラムの場合、どうすればよいのか？

分かりやすい例としてまず示されているのが、年齢層により傾斜で変わる入場料。

ルールがあって普通にロジック組んでプログラムし、きちんと限界値テストすれば、間違った結果を出すプログラムを提供するリスクは極めて低いだろう。ではそれを、「入場料と年齢との履歴を教師データとして与えて、年齢を入力として入場料を出力とする」AI（ロジックは不明）にした場合、正しい出力は得られるのか？　どうテストすればよいのか？

　AIでは、限界値テストができない。同じ入力で同じ出力が出るとは限らない。人間なら、今日の考えをよりブラッシュアップしたものが明日ふと思いつくかもしれないのは良いことだろう。だが、特に業務に特化したAIは、今日の出力と明日の出力が変わることを許容できるのか。変わる理由をヒトは説明できるか。

　ディープラーニングの登場等で、AIは人間とは異なる思考パターンで結果を出すことがある程度許容されているとはいえ、同じ細胞の画像を入力して、昨日は末期のガン、今日は全く元気、といったガン判定システムは許されないだろう。

　ではまだ発展途上ともいえるAIソフトウェアの世界で、どのように「正しい答えを出している」テストを行うか。

　この本では、その「答えのない答え合わせ」をするための考え方が、いくつかの例に基づいて示されている。実行環境はPython3.6.8。Windowsユーザ向けのインストール方法、tensorflow、keras等のライブラリインストール方法も書かれている。テスト用ツールやデータは出版社のサイトからダウンロードできる。

　まずは良く使われる数字画像認識モデル、住宅価格予測モデルの動作確認から。そのあたりは既に実践済みの人をターゲットとし、メインは、テストの考え方や実践方法。論理式、数式を用いてしっかりと解説されている。ある程度のAI知識がないと論理部分はかなり難しい。

　メタモルフィックテスティング、ニューロンカバレッジテスティング等、検証方法の考え方、検証ツールの実行例等が丁寧に解説されている。例えば、MNIST（数字画像データ認識）の方法として、画像データを５度回しても同じ結果になるか、ぼかして同じ結果になるか、といった考え方、実践方法は特に分かりやすい。住宅価格予測モデルだと、「この部屋の広さでこの値段はあり得ない」といった必ず守っておきたい条件を使う方法が示されている。

　ある程度もうAIに十二分に触れて中の仕組みも分かっており実践もしている人が、結果の説明を求められたり、精度を少しでも上げる方法の検討を求められたり、既に動いているシステムのVersionUp時に同じような出力が出せるのかの検証など、実践・活用の一歩先を考える必要が生じた場合に手に取りたい一冊。

AIソフトウェアのテストーー答のない答え合わせ [4つの手法] [ 佐藤 直人 ] 価格:3,080円 (2021/8/15 18:50時点)

慶應義塾大学理工学部創立80年記念イベント（2019/6/26）感想等 -AI編（午前）-

【関連記事】

• 概要：https://techinfo4dog.blogspot.com/2019/07/802019626.html
• 量子コンピュータ編（午後）：https://techinfo4dog.blogspot.com/2019/07/802019626_27.html

＊＊＊＊＊＊＊＊

文系・理系を超えたAI（人工知能）活用最前線（午前）

挨拶（慶應義塾大学 理工学部長　岡田英史氏）

• 理系文系ともにAIすることとなった。文系理系越えた形での初期教育、今後の発展に結び付ける。新しい教育の在り方について話をする。

世界のAI研究と慶応のAI研究（慶應義塾大学 理工学部 管理工学科 教授　山口高平氏）

• AIブームはもう３回目。知識駆動型AIとデータ駆動型AI。エキスパートシステムは当時１０個くらい作ったが限界あり。
• IBMのワトソン、Project Debaterが知識駆動型最新。（ディベートを行う）
• ワトソンは社内ベンチャーで結構な売り上げを立てている。Project Debaterはディベートの例として「宇宙探索を助成すべきである」について準備１５分、立論４分、反論４分、最終弁論２分。人間の地区チャンピョンと戦う。地区のチャンピョンくらいにはAIが勝てるが全米には勝てないレベルまで。オントロジー。意味リンクでのネットワークを構成。
• 研究室ではWikipediaで意味ネットワーク作成。ヒト型ロボットで小学生の疑問に答える、老人への体操指導等。（Kinectで動作確認。）哲学者　「神様は存在しますか？」に対して「神と存在は関係ない」と答えた。（リンクが無かっただけ。）ただ哲学者に対しては面白かったとか。
• Deep Learningによる画像認識コンテスト（ILSVRC）では人間のエラー率５％を超え、2.3%へ。150層近くのレイヤーを持つ。畳み込み型ニューラルネットワーク。認識系。
• Word2Vec。言語処理系。Google。かなり精度が高い。
• GAN。生成系。山の写真とモネの絵画から、モネが描きそうな山の絵画を。
• Waymo（Googleからのスピンオフ）で８ｋｍ７ドル料金でウェイモワン有料タクシー開始。
• 事故はテスラ、ウーバーで発生。法律上どうするかは課題。
• 自動運転解除レポートによる比較だと、１８０００ｋｍくらいは自動運転できる。（自動運転が難しいと言われ人に変わるまでの平均距離。）現在ほぼアメリカが強いが、中国が延びている。Top10のうち3社中国。日産は３００ｋｍ。Apple社が特許No1だが、停止条件が違うからかランキング外。（レポート：https://www.yutainvest.com/google-waymo-proceed-on-the-way-to-selfdriving-car/　か？）
• ロボットを小学校に出して実験。ロボットから議論に加わると子供たちは盛り上がる。聞いて答えるのは当たり前の時代。
• 慶応の学園祭でロボットカフェ実施。接客をPepper、ジュースをロボットアーム。クレープに似顔絵を描く。
• 質疑応答
  • データ精査の効率化は？
    • データハンドリング専用システムの統合が必要。データハンドリング研究はされている。90%がデータハンドリング。数年前から「大学はそこに関わらない」と言われ、準備中。
  • 専門家からみて教育をどうすべき？
    • 小学校からも講演依頼が来る。AIスピーカが数千円で変えるので、１日喋ってみると良い。体験が大事。AIの限界が分かる。

文系理系を問わず社会が求めるAI人財とは（KPMGコンサルティング株式会社 執行役員パートナー（理工学部 訪問教授）椎名茂氏）

• コンソーシアム構想段階から参加している。NECでAI研究。LISPでごりごり書いていた。そこからPwC、KPMG。理工学部訪問教授へ。KPMGはAIコンサルティング。スタートアップの支援も。
• Alpha Goは過去データを学ばず、ルールだけ教えると、3日で人間最強の騎士の水準を越え、４０日で既存のAIの能力を超えた。Alpha Goだけで対戦することで、人の変な癖を学ばずに済んだのでは。
• 家電にAIが付くと終わる感じがある。そろそろ4次ブームが来るのでは。
• AIプロジェクトの始まり：社長が言う、研究しろと言われる。いいカモ。実験するがなかなか形になるものはない。
• IT系はプロジェクト組んで複数でやらないとうまくいかない。一人の天才が進めるのでもない。AIプロジェクトはまずチーム発足。まずデータを集めるのが先。データにアノテーションが一番時間がかかるところ。PDCA。プロジェクトを回せる人がAI人財。
• 高校でも確率統計に加えて行列等AI、データサイエンス理解に不可欠な数学を学べる検討を進めている。大学ではすべての学生がAI、数理、データサイエンスの基本的な素養を身に着ける。
• 基礎知識として、理論、PG言語、ツール、データ分析、ビジネスモデル考案、PM、企業立案。まずPGできないとおもちゃPGもできない。Python、Unity。
• 学生の就職先希望でコンサルが増えている。講師としてはコンサルは実働企業が無いと動けないので実働企業側への希望を延ばしたいが。研究職希望はあまり多くはない。AIベンチャーを立ち上げたいかに対して半数がYes。
• 理系文系関係なく、発想力、ものつくり、適材適所。データの意味を考えられる人。手が動く人間は必要。AI＝社中協力。みんな仲良く総力戦で。

「AI・高度プログラミングコンソーシアム」の紹介（慶應義塾大学 理工学部 物理情報工学科 教授　コンソーシアム代表　伊藤公平氏）

• 学生たちを早くからそだてるためのAI高度プログラミングコンソーシアム。産学共同で取り組む枠組み。１，２年生が学ぶ日吉キャンパスにAI講座、サーバルームを設けた。コーディネータも雇用。
• 適塾モデル。企画、運営を塾生が担う。コンソーシアム、サークル活動みたいなもの。法人会員９名。見学してアドバイス、実社会における活動の照会、現場見学会、AIコンテスト等。企業としては優秀な塾生との出会いの場。
• 学生による運営は、Webサイトで公募。相談員、サーバ管理者も。シラバスを作って応募し、コーディネータが書類面接。学生によりさまざまなレベルの授業が準備できる。講義を準備してみると定員をはるかに上回る応募。単位にならないのに応募が多い。ニーズがあり学生の意識が高い。Unityは学部二年生が教えていたりする。欠席した者にもアシスタントが教えたり。競技プログラミングに向けた勉強とかも。
• 競技プログラミングの例として、画像認識ポーカー。ルールや概要から2週間でプログラム提出。森とか海とかにトランプがばらまかれておりそれからポーカーの手を作る。５チームが提出したが、チャレンジ数はもっと多い。
• 自らが望んで学び、自らが教えたい学生でできている。Webサイトでいろいろと公開。メンバー企業としてはいつでも参加できる。
• 全員に初級教育はかなり難しい。（政府戦略で全大学生に初級教育。）サーバ、場所、そもそも講師が足りない。

コンソーシアム法人会員による5分間プレゼンテーション「企業でのAI活用例と求められる人財」（各５分程度）

• 日産総合研究所　高松吉郎氏
  • 日産はIntelligent Mobility。Driving、Power、Integration。
  • 車の中でAIグラスをかけてARつかって表示。車の外の人がアバターとして乗り込んで会話。
  • 今年の秋でProPilot2.0。高速道路での支援。
  • 横浜みなとみらい実証実験。Easy Ride。
  • 学んでほしいことは、ITリテラシー（防具）、IT武器、AI×○○、IT×○○。AIを学ぶだけでなく何に使うか、何をするか。
• 三井住友銀行　オハラ氏
  • コンサルとして日本総合研究所を持つ。Fintechが花盛り。Watsonをコールセンターに全席導入し、先回りして回答させる。離職率が下がっている。
  • AIを買う超下企業の業績状況変化検知システム、提供。個人向け株式提案サービス。
  • 人材としては、業務に通じている、技術力がある、構想力・デザイン・思考力。DIやDXを企画・手動できる。
• 伊藤忠商事　人事総務部　ノト氏
  • 次世代HRタスクフォース。人材とビジネスの面から。
  • Dole事業では、ドローンによりバナナ、パイナップル生育状況を把握、データの有効活用で生産効率の向上。伊藤忠としては自ら作成というより他のものを有効活用。
  • ファミマプラスチックの需要予測でコスト削減。配属の最適化。
  • 学んでほしいこと：幅広いテーマに興味、様々な人の話を聞いて視野を広げる。疑問を持ち物事を深く洞察。
  • AIや先端テクノロジー仕組みや特徴を把握。事業機会を想像できるトランスレータ。課題を見直し業務効率化を通じた生産性向上。必要に応じてテクノロジーを活用。今後の変化を予測。
• カシオ計算機　人事部　中村氏
  • AI活用として、コンピュータ診断支援（医用画像）。皮膚疾患診断サポート。大学病院ドクターとの共同開発。スマートWatchでランナー向けAIコーチング。ランニングフォームの解析、アドバイス、コーチング。デジカメや腕時計で培われたノウハウをAI技術とMixさせて新しい事業分野へ挑戦。
  • 人材像：PG、AIスキル、想像力、コミュニケーション、リテラシー、ビジネススキル。にしっかり勉強、たくさん遊ぶ、会話、興味を持つ、日経よく読む。
• ジック　SICK　シブヤ氏
  • 産業用センサのグローバルリーダ。ヨーロッパ第一位のシェア。４００００種のセンサ。
  • レーザを出して降ることで３Dで形状が取れる。車を１３種類に分類。適切なルートに案内、交通量コントロール。空港での荷物あずけでトランクかそれ以外かを見分ける。９５％は見分けられる。現場レベルで実用となるとまだスタートしたばかり。
  • 求める人材は、技術＋マインドセット＋社会の仕組み。AIネイティブとして啓蒙、変革を促し、AIファースト社会をリード。社会の仕組み：AI効果予測、権利関係。新しい技術には新しい仕組み。今の学生はAIネイティブ第一世代。
• SOMPOホールディングス　デジタル戦略部　長谷川氏
  • 安心・安全・健康のテーマパークを目指す。
  • 生活習慣病リスク予測AI。東芝の解析技術と組んで実装。個人のQOL、医療費増加改善。台風被害推定AI。被災地対応準備と、防災予測モデル。こちらは今進行中。台風予想から建物被害件数。
  • 人材：知識、探究心、動機づけ、オープンマインド。自分なりのAI人材に。既存事業への応用と新たなビジネスモデル。いろいろな観点を踏まえてAIの本質を。
• パーソルキャリア　サイトウ氏
  • PERSOL。テンプスタッフ、an、LINEバイト、doda。売上高一兆円の総合人材グループ。
  • 企業求人票自動作成、マッチング、キャリアカウンセリング音声分析、HR×ブロックチェーン。動画×感情推測。対面×生体計測。AIを用いてより希望に沿った転職支援。ルールベースのマッチングから、機械学習と分散処理で、圧倒的な精度向上。
  • 人材：Business Problem Solving、Data Engineering、Data Science。データサイエンティスト協会が提唱するものと同じ。はたらくを自分のものにする力を。いかに発想できるか。精度だけではなくビジネスの課題をとらえてどう解決するか。AIだけではなく周辺知識も。
• 東京海上ホールディングス　ワダ氏
  • いざというときにお役にたちたい、をコンセプト。創業１４０年。
  • 色々なデータと向き合う。いろいろなことが幅広くできる。海外展開。
  • 大規模災害への対応として、人工衛星で被害地データを取得、各種外部データと合わせてAIにより浸水エリアと水深を把握。スピーディな自動支払い。
  • 専用ドライブレコーダを２２万代以上に普及。運転データや事故動画で日本最大級。事故時に自動で通報、通話、運転注意喚起等。保険会社への事故報告を不要に。事故状況図を生成、過失割合判定。２年前から自動車保険特約としてレコーダつけることにしてある。事故の瞬間からさかのぼってまでとっている。命もすくっている。後々は自動車会社が付けるようになれば後方サービスを。
  • 人材：挑戦。社会的課題を解決して世の中をよりよくしたいという志を原動力に、真の変革に挑める人材。
• 富士ゼロックス　根本氏
  • Document CompanyからSmart Work Innovationへ。
  • ミドルキャストのコミュニケーション。（Narrow、Broadと比較してMiddle。Business志向。）顧客の業務プロセスを理解しモデル化、知識DB活用、特定の文書業務に向くAIを。法規制文書、設計文書、申請文書等、客固有のデータの活用。分析に必要なデータは多くないので知識駆動型も組み合わせてドキュメントプロセス透明化。
  • 人材：効率的、創造的、快適な働き方を実現し、企業、組織を強くする。コアコンピテンシーはオントロジー、文生成、テキスト読解、情報推薦、マイニング、人間科学。Innovationを起こすためのQとP（Question、Passion）。AI/IT人材像はデータサイエンティスト協会と同じく。

慶應義塾大学理工学部創立80年記念イベント（2019/6/26）感想等 -概要編-

概要

慶應義塾大学理工学部創立80年記念イベントシンポジウムの一つ。AIや量子コンピュータの企業利用がどの程度進んでいるのか、学生はどのような形で学んでいるのかについて聞ける珍しい機会だったので行ってみた。

午前：http://www.kll.keio.ac.jp/event/ai.html

午後：http://www.kll.keio.ac.jp/event/quantum.html

　午前のAIは、大学でAIの講座をどのように開催しているか、協賛企業が問題解決でどうAIを使っているか、企業として学生に何を求めるか、が中心。各塾生（慶応大学は学生と言わず塾生と言うのか？）が自ら講義に参加し、そして講師まで担う、「適塾スタイル」（と言うらしい）が普通に回っていることに驚き。二年生くらいでシラバスを持って講師役に応募する塾生が居るとか。競技プログラミングは課題を与えられてから二週間でアルゴリズムの検討、プログラム開発から応募まで終わらせる。全体的にかなりレベルが高い感じを受け、今後AIの技術だけでなくビジネススキル、コミュニケーション、企画力等が高い学生が市場に出てきて活躍するのかと思うと、期待できそうでかつ少し恐ろしくもある。文系理系問わず学生にAI教育を行うとの指針が国から出ているそうだが、大学ごとの差は大きそうな感じがある。

　午後の量子コンピュータは、IBM　Qにアジアで唯一接続できるのが慶応大学とのことで、日本、アジアから人、ノウハウが慶応に集約されている様子が語られる。古典コンピュータ（現在の形のコンピュータ）でシミュレーションを行うスタイルから、直接、まだ開発・進化中のQにつなぎ、Hardwareと共にSoftware、Use Caseも成長させる。Quantum Ready、その後Quantum Advantage、Quantum Businessへと進み、現在のコンピュータの不得意分野を補うところから、本格的な量子コンピュータの時代に入る。それまでに開発・利用のノウハウを構築しておかないと世界に乗り遅れる。AIはまだ手持ちでなんとかなるレベルだが、量子コンピュータはまだまだハードが限られており、こういうハードと共に成長する組織と共同研究する価値は非常に大きいのだろう。今後ハードまでCommodity化するかどうかあたりの話は聞けなかった。まだIBM Qに関しては、実機がニューヨークにあり、アジアの唯一のHubとして慶応がある、レベル。Hubという組織ができて１年で、量子コンピュータのビジネス利用における課題がかなり明らかになった様子。１年で組織形成から論文共著まで行くのはメンバーにとっても結構速いことだったとか。

　コンソーシアムはあと１年だがメンバー企業も募集中とのこと。

【関連記事】

• AI編（午前）：https://techinfo4dog.blogspot.com/2019/07/802019626-ai.html
• 量子コンピュータ編（午後）：https://techinfo4dog.blogspot.com/2019/07/802019626_27.html