iOS 10.3のベータ版ではiCloud内のデータをSiriやその他スマート機能の改善のために利用することを許可するか否かを聞かれるようです（Apple to iPhone users: We want your iCloud photos, emails, contacts to improve Siri, AI）。おそらくiOS 10.3の正式版にもこの機能は搭載されるでしょう。ユーザーはAppleのサービスの改善のため、自身のデータを差し出すかどうかを迫られます。
プライバシーは保護される（はず）
Appleは利用するデータとしてiCloud内の写真やメモ、メール、連絡先、カレンダーなどが含まれるとされます。ただこれらのデータはプライバシーに配慮した形で収集されると説明されており、写真やメールの内容がAppleに直接送信されるようなことはないはずです。また情報が共有されることが気になる人はこの機能をOFFにすることも当然可能となっています。
世界中に大量に存在するiPhoneユーザーから膨大な情報が集まれば、より精度の高いSiriが実現するはずです。9to5Macのアンケートでは約8割の回答者がiCloud内のデータを提供することに肯定的（6割が位置情報を含めて提供してもよい、2割は位置情報以外を提供してもよい）という結果が出ています。Siriがより便利になることに対してユーザーも協力的なのかもしれません。
データの用途は？
iCloud内のデータはSiriの改善に使うと説明されていますが、実際にはどのように使われるのでしょうか。プライバシーに配慮した形でのデータ収集であるため、直接的なデータを使うわけではなさそうです。iCloud内の写真に写っている「顔」の数値データを収集して、次世代iPhoneに搭載される顔認証の精度向上に利用というのはすぐに考えつく用途です。
またカレンダーに入っている予定を集計して、この地域の人は何時どんな予定が多くなっているかを数値として保持して、Siriへの質問に対してより動的な回答を用意できるようになるかもしれません。「写真」に付属する位置情報も重要なデータになるでしょう。用途はかなりの範囲に及ぶ可能性があります。Siriが賢くなりすぎるのも少し気持ち悪い気もしますが、世界中の人々のデータを吸い上げて賢くなる人口知能ってのも今っぽくて面白いです。