Pembelajaran Mesin Untuk Model Peringkat

Pembelajaran Mesin di Google

Paten Google ini adalah tentang melatih model pembelajaran mesin untuk menentukan peringkat dokumen sebagai tanggapan atas permintaan pencarian.

Mesin pencari online seperti Google memberi peringkat dokumen sebagai tanggapan atas permintaan pencarian untuk menyajikan hasil pencarian yang diisi dengan dokumen yang responsif terhadap permintaan pencarian.

Mesin pencari biasanya menampilkan hasil pencarian dalam urutan yang ditentukan oleh peringkat.

Mesin pencari memberi peringkat dokumen menggunakan berbagai faktor dengan berbagai teknik peringkat.

Mesin pencari dapat memberi peringkat dokumen berdasarkan model pembelajaran mesin peringkat yang menerima fitur dokumen input dan, mungkin, permintaan pencarian yang diterima dan kemudian akan menghasilkan skor peringkat untuk dokumen input.

Paten ini menjelaskan pelatihan model pembelajaran mesin peringkat.

Menggunakan Pembelajaran Mesin untuk melatih model peringkat

Paten mulai hari ini diberikan pada 29 April 2021. Paten ini berfokus pada penerimaan data pelatihan untuk model pembelajaran mesin peringkat guna memberi peringkat dokumen sebagai tanggapan atas kueri penelusuran.

Data pelatihan termasuk contoh pelatihan. Setiap contoh pelatihan mencakup identifikasi data:

• Permintaan pencarian
• Dokumen hasil dari daftar hasil untuk kueri penelusuran
• Dokumen hasil yang dipilih oleh pencari dari daftar hasil dokumen hasil

Paten adalah tentang menerima data posisi untuk setiap contoh pelatihan dalam data pelatihan.

Data posisi tersebut mengidentifikasi posisi dokumen hasil yang dipilih dalam SERPs untuk kueri penelusuran dalam contoh pelatihan.

Menentukan, untuk setiap data posisi contoh pelatihan dan nilai bias pemilihan yang mewakili di mana hasil tersebut akan berdampak pada pemilihan dokumen hasil

Menentukan nilai urgensi masing-masing untuk setiap contoh pelatihan dari nilai bias pemilihan untuk contoh pelatihan, nilai urgensi menentukan seberapa penting contoh pelatihan dalam melatih model pembelajaran mesin pemeringkatan.

Juga, proses yang dipatenkan dapat mencakup kombinasi fitur berikut:

• Menerima data eksperimen yang mengidentifikasi banyak kueri penelusuran eksperimen yang masing-masing mengisi posisi masing-masing dalam daftar hasil eksperimen dokumen hasil eksperimen untuk kueri penelusuran eksperimen dokumen hasil eksperimen yang dipilih oleh penelusur, di mana posisi dokumen hasil eksperimen dalam daftar hasil eksperimen secara acak diubah sebelum disajikan kepada pencari
• Menentukan untuk setiap posisi, jumlah masing-masing pilihan dokumen hasil eksperimen pada posisi oleh pencari sebagai tanggapan atas jumlah kueri pencarian eksperimen dalam data eksperimen; dan menentukan, untuk masing-masing pluralitas posisi, nilai bias posisi masing-masing untuk posisi berdasarkan hitungan masing-masing pilihan untuk posisi
• Menetapkan nilai bias posisi masing-masing yang sesuai dengan posisi dokumen hasil yang dipilih dalam daftar hasil dokumen hasil untuk contoh pelatihan menjadi nilai bias pemilihan untuk contoh pelatihan

Di mana kueri penelusuran eksperimen dalam jumlah kueri penelusuran eksperimen masing-masing milik kelas kueri masing-masing dari sejumlah kelas kueri, metode ini mencakup, untuk setiap pluralitas kelas kueri:

• Menentukan, untuk setiap jumlah posisi, jumlah pilihan dokumen hasil eksperimen pada posisi oleh pencari yang menanggapi kueri penelusuran eksperimen yang termasuk dalam kelas kueri dalam data eksperimen
• Menentukan, untuk setiap pluralitas posisi, nilai bias posisi khusus kelas masing-masing untuk posisi berdasarkan hitungan pilihan masing-masing untuk posisi
• Memperoleh data yang mengidentifikasi kelas kueri tempat kueri penelusuran untuk contoh pelatihan berada
• Menetapkan nilai bias posisi khusus kelas untuk kelas kueri yang menjadi milik kueri penelusuran
• Sesuai dengan posisi dokumen hasil yang dipilih untuk contoh pelatihan dalam daftar hasil dokumen hasil menjadi nilai bias pemilihan untuk contoh pelatihan
• Memperoleh vektor fitur masing-masing untuk setiap kueri penelusuran eksperimen, menghasilkan data pelatihan untuk melatih pengklasifikasi yang menerima vektor fitur masing-masing untuk kueri penelusuran input dan mengeluarkan nilai bias posisi spesifik kueri masing-masing untuk masing-masing sejumlah posisi untuk penelusuran input kueri, dan melatih pengklasifikasi pada data pelatihan
• Mendapatkan vektor fitur untuk kueri pencarian dalam contoh pelatihan
• Memproses vektor fitur menggunakan pengklasifikasi terlatih untuk menghasilkan nilai bias posisi spesifik kueri masing-masing untuk setiap pluralitas posisi untuk kueri penelusuran dalam contoh pelatihan
• Menetapkan nilai bias posisi khusus kueri yang sesuai dengan posisi dokumen hasil yang dipilih untuk contoh pelatihan dalam daftar hasil dokumen hasil untuk kueri penelusuran menjadi nilai bias pemilihan untuk contoh pelatihan
• Memberi label pada kueri penelusuran eksperimen sebagai contoh positif untuk posisi dalam daftar hasil eksperimen dari dokumen hasil untuk kueri penelusuran eksperimen dari hasil penelusuran eksperimen yang dipilih oleh penelusur, dan melabeli kueri penelusuran eksperimen sebagai contoh negatif untuk posisi lain dari pluralitas posisi
• Melatih model pembelajaran mesin peringkat pada data pelatihan menggunakan nilai kepentingan masing-masing untuk pluralitas contoh pelatihan dalam data pelatihan
• Menentukan, untuk setiap contoh pelatihan dari sejumlah contoh pelatihan dalam data pelatihan, kerugian masing-masing untuk contoh pelatihan
• Menyesuaikan, untuk setiap contoh pelatihan dari pluralitas contoh pelatihan dalam data pelatihan, kerugian untuk contoh pelatihan berdasarkan nilai pentingnya untuk contoh pelatihan untuk menghasilkan kerugian yang disesuaikan
• Melatih model pembelajaran mesin menggunakan kerugian yang disesuaikan untuk sejumlah contoh pelatihan dalam data pelatihan

Metode tersebut mencakup pelatihan model pembelajaran mesin dengan meminimalkan jumlah kerugian yang disesuaikan untuk pluralitas data pelatihan.

Keuntungan Mengikuti Model Peringkat Pembelajaran Mesin ini

Model data klik-tayang konvensional dapat memperkirakan relevansi untuk masing-masing pasangan kueri-dokumen dalam konteks penelusuran web.

Model data klik-tayang konvensional tersebut biasanya memerlukan banyak klik untuk setiap pasangan kueri individual dan dokumen hasil. Hal ini membuat model data klik-tayang sulit diterapkan di mana data klik sangat jarang karena kebutuhan korpora dan informasi yang dipersonalisasi, misalnya, pencarian pribadi.

Dibandingkan dengan model data klik-tayang konvensional, sistem yang menggunakan bias seleksi untuk berbagai posisi daftar hasil saat melatih model peringkat dapat lebih efektif memanfaatkan data klik jarang sekaligus mengurangi atau menghilangkan efek bias seleksi pada skor peringkat yang dihasilkan oleh yang terlatih. model.

Ini berarti bahwa model yang terlatih dapat memberikan skor peringkat yang akurat bahkan ketika data klik sangat jarang, yang berarti bahwa hasil pencarian lebih memuaskan kebutuhan informasi pencari.

Paten ini dapat ditemukan di:

Melatih Model Peringkat
Nomor Paten: US20210125108
Penemu Donald Arthur Metzler, Jr., Xuanhui Wang, Marc Alexander Najork, dan Michael Bendersky
Pelamar Google LLC
Tanggal Diberikan: 29 April 2021
Tanggal Diarsipkan 24 Oktober 2016

Abstrak

Metode, sistem, dan peralatan, termasuk program komputer yang dikodekan pada media penyimpanan komputer, untuk melatih model pembelajaran mesin peringkat. Dalam satu aspek, metode mencakup tindakan menerima data pelatihan untuk model pembelajaran mesin peringkat, data pelatihan termasuk contoh pelatihan, dan setiap contoh pelatihan termasuk pengidentifikasian data: kueri penelusuran, hasil dokumen dari daftar hasil untuk kueri penelusuran , dan dokumen hasil yang dipilih oleh pencari dari daftar hasil, menerima data posisi untuk setiap contoh pelatihan dalam data pelatihan, data posisi yang mengidentifikasi posisi masing-masing dari dokumen hasil yang dipilih dalam daftar hasil untuk kueri pencarian di contoh pelatihan; menentukan, untuk setiap contoh pelatihan dalam data pelatihan, nilai bias seleksi masing-masing; dan menentukan nilai kepentingan masing-masing untuk setiap contoh pelatihan dari nilai bias pemilihan untuk contoh pelatihan, nilai pentingnya.

Contoh sistem pencarian pembelajaran mesin

Seorang pencari dapat berinteraksi dengan sistem pencarian melalui perangkat pencari.

Perangkat pencari dapat berupa komputer yang digabungkan ke sistem pencarian melalui jaringan komunikasi data, misalnya jaringan area lokal (LAN) atau jaringan area luas (WAN), misalnya Internet, atau kombinasi jaringan.

Dalam beberapa kasus, sistem pencarian dapat diimplementasikan pada perangkat pencari jika pencari menginstal aplikasi yang melakukan pencarian pada perangkat pencari.

Perangkat pencari umumnya akan menyertakan memori, misalnya, memori akses acak (RAM), untuk menyimpan instruksi dan data dan prosesor untuk mengeksekusi instruksi yang disimpan. Memori dapat mencakup memori hanya-baca dan dapat ditulis.

Umumnya, sistem pencarian dapat dikonfigurasi untuk mencari kumpulan dokumen tertentu yang terkait dengan pencari perangkat pencari.

Istilah "dokumen" akan digunakan secara luas untuk mencakup produk kerja yang dapat dibaca mesin dan disimpan oleh mesin.

Dokumen mungkin termasuk:

• Surel
• File
• Gabungan file
• Satu atau lebih file dengan tautan tersemat ke file lain
• Sebuah posting grup berita
• Sebuah blog
• Sebuah daftar bisnis
• Versi elektronik dari teks cetak
• Sebuah iklan web
• Dll.

Kumpulan dokumen yang dikonfigurasi sistem pencarian untuk mencari dapat dikirim melalui email dalam akun email pencari, data aplikasi seluler yang terkait dengan akun pencari, misalnya, preferensi aplikasi seluler atau riwayat penggunaan aplikasi seluler , file yang terkait dengan pencari di akun penyimpanan dokumen cloud, misalnya file yang diunggah oleh pencari atau file yang dibagikan dengan pencari oleh pencari lain, atau kumpulan dokumen khusus pencari yang berbeda.

Seorang pencari dapat mengirimkan permintaan pencarian ke sistem pencarian menggunakan perangkat pencari. Ketika pencari mengirimkan permintaan pencarian, permintaan pencarian ditransmisikan melalui jaringan ke sistem pencarian.

Ketika sistem pencarian menerima permintaan pencarian, mesin pencari dalam sistem pencarian mengidentifikasi dokumen dalam kumpulan dokumen yang memenuhi permintaan pencarian dan menanggapi permintaan dengan menghasilkan hasil pencarian yang masing-masing mengidentifikasi dokumen terkait yang memenuhi pencarian dan dikirimkan melalui /jaringan ke perangkat pencari untuk disajikan kepada pencari, yaitu dalam bentuk yang dapat disajikan kepada pencari.

Mesin pencari mungkin termasuk mesin pengindeksan dan mesin peringkat. Mesin pengindeksan mengindeks dokumen dalam kumpulan dokumen dan menambahkan dokumen yang diindeks ke database indeks. Mesin peringkat menghasilkan skor masing-masing untuk dokumen dalam database indeks yang memenuhi permintaan pencarian dan memberi peringkat dokumen berdasarkan skor masing-masing.

Umumnya, hasil pencarian ditampilkan kepada pencari; daftar hasil diurutkan sesuai dengan skor peringkat yang dihasilkan oleh mesin peringkat untuk dokumen yang diidentifikasi oleh hasil pencarian 128. Sebagai contoh, selanjutnya, hasil pencarian yang mengidentifikasi dokumen dengan skor lebih tinggi dapat ditampilkan di posisi yang lebih tinggi dalam hasil list daripada hasil pencarian yang mengidentifikasi dokumen dengan skor yang relatif lebih rendah.

Mesin peringkat menghasilkan skor peringkat untuk dokumen menggunakan model pembelajaran mesin peringkat.

Model pembelajaran mesin peringkat adalah model pembelajaran mesin yang dilatih untuk menerima fitur atau data lain yang mengkarakterisasi dokumen input dan, opsional, data yang mengkarakterisasi kueri pencarian dan untuk menghasilkan skor peringkat untuk dokumen input.

Model pembelajaran mesin peringkat dapat menggunakan berbagai model pembelajaran mesin.

Model pembelajaran mesin peringkat dapat menjadi model pembelajaran mesin yang mendalam, misalnya, jaringan saraf, yang mencakup beberapa lapisan operasi non-linier.

Atau model pembelajaran mesin peringkat dapat berupa model pembelajaran mesin yang dangkal, misalnya, model linier umum.

Bergantung pada bagaimana model pembelajaran mesin peringkat telah dilatih, skor peringkat dapat memprediksi relevansi dokumen masukan dengan kueri penelusuran atau dapat mempertimbangkan relevansi dokumen masukan dan kualitas dokumen masukan yang tidak bergantung pada kueri.

Dalam beberapa implementasi, mesin peringkat memodifikasi skor peringkat yang dihasilkan oleh model pembelajaran mesin peringkat berdasarkan faktor lain dan peringkat dokumen menggunakan skor peringkat yang dimodifikasi.

Untuk melatih model pembelajaran mesin pemeringkatan sehingga model tersebut dapat digunakan dalam dokumen peringkat sebagai tanggapan atas permintaan pencarian yang diterima, sistem pencarian juga menyertakan mesin pelatihan.

Mesin pelatihan melatih model pembelajaran mesin peringkat pada data pelatihan yang mencakup beberapa contoh pelatihan.

Setiap contoh pelatihan mengidentifikasi

• (i) permintaan pencarian
• (ii) dokumen hasil dari daftar hasil untuk permintaan pencarian
• (iii) dokumen hasil yang dipilih oleh pencari dari daftar hasil dokumen hasil untuk permintaan pencarian

Seperti yang dijelaskan dalam paten ini, pemilihan dokumen hasil sebagai tanggapan atas permintaan pencarian adalah memilih hasil pencarian yang mengidentifikasi dokumen hasil dari daftar hasil hasil pencarian yang disajikan sebagai tanggapan atas pengajuan permintaan oleh seorang pencari. SERPs adalah dokumen yang diidentifikasi oleh hasil pencarian dalam daftar hasil.

Untuk meningkatkan kualitas skor peringkat dari model pembelajaran mesin peringkat setelah dilatih, mesin pelatihan melatih dengan cara yang memperhitungkan daftar hasil dari hasil pencarian yang dipilih oleh pencari.

Mesin pelatihan menentukan nilai kepentingan masing-masing untuk setiap contoh pelatihan berdasarkan posisi dalam daftar hasil dari hasil pencarian yang dipilih pencari sebagai tanggapan atas permintaan pencarian dalam contoh pelatihan.

Dengan melatih model pembelajaran mesin dengan cara ini, mesin pelatihan mengurangi atau menghilangkan dampak bias posisi pada skor peringkat yang dihasilkan oleh model pembelajaran mesin peringkat setelah model dilatih.

Menentukan nilai kepentingan masing-masing untuk setiap contoh pelatihan dalam data pelatihan

Sistem menerima data posisi, yang mengidentifikasi posisi masing-masing dalam daftar hasil untuk permintaan pencarian yang dipilih pencari sebagai tanggapan atas permintaan pencarian, yaitu, hasil pencarian yang dipilih pencari dari daftar hasil yang dihasilkan sebagai tanggapan atas permintaan pencarian .

Sistem menentukan nilai bias pemilihan masing-masing, yang mewakili sejauh mana posisi dokumen hasil yang dipilih dalam daftar hasil untuk kueri penelusuran dalam contoh pelatihan memengaruhi pemilihan dokumen hasil.

Nilai bias seleksi dapat ditentukan dengan banyak cara.

Sistem menentukan, untuk setiap contoh pelatihan dalam data pelatihan, nilai penting masing-masing.

Nilai pentingnya untuk contoh pelatihan yang diberikan menentukan seberapa penting contoh pelatihan dalam melatih model pembelajaran mesin peringkat.

Nilai kepentingan masing-masing untuk setiap contoh pelatihan dalam data pelatihan dapat ditentukan berdasarkan nilai bias pemilihan masing-masing untuk contoh pelatihan.

Misalnya, nilai kepentingan untuk contoh pelatihan tertentu dapat menjadi kebalikan dari nilai bias seleksi untuk contoh pelatihan atau, lebih umum, berbanding terbalik dengan nilai bias seleksi untuk contoh pelatihan.

Setelah sistem menentukan nilai urgensi masing-masing untuk data latih data latih, sistem melatih model pembelajaran mesin peringkat pada data latih menggunakan nilai urgensi.

Menentukan nilai bias seleksi masing-masing untuk setiap contoh pelatihan dalam data pelatihan

Sistem menerima data eksperimen yang mengidentifikasi kueri penelusuran eksperimen. Untuk setiap kueri penelusuran eksperimen, posisi masing-masing dalam daftar hasil eksperimen dari dokumen hasil eksperimen untuk kueri penelusuran eksperimen dari hasil eksperimen dalam dokumen yang dipilih oleh seorang pencari.

Daftar hasil posisi dokumen hasil eksperimen diubah secara acak sebelum daftar hasil eksperimen disajikan kepada pencari.

Dengan demikian, dokumen hasil eksperimen yang dipilih oleh penelusur dari daftar hasil yang diberikan memiliki kemungkinan yang sama untuk ditetapkan ke salah satu posisi daftar hasil eksperimen.

Untuk setiap posisi dalam daftar hasil eksperimen, sistem menentukan jumlah masing-masing pilihan dokumen hasil eksperimen pada posisi oleh pencari sebagai tanggapan atas kueri pencarian eksperimen dalam data eksperimen.

Misalnya, sistem dapat menentukan jumlah pilihan masing-masing untuk posisi N teratas dalam daftar hasil eksperimen, di mana N adalah bilangan bulat yang lebih besar dari 1, misalnya empat, lima, atau sepuluh, atau untuk setiap posisi dalam daftar hasil eksperimen.

Misalnya, saat sistem menerima data eksperimen termasuk 10 daftar hasil eksperimen jika penelusur memilih posisi pertama untuk 7 daftar hasil eksperimen, posisi kedua untuk 2 daftar hasil eksperimen. Dengan demikian, posisi ketiga untuk 1 daftar hasil percobaan, jumlah pilihan untuk posisi pertama dapat menjadi 7, jumlah pilihan untuk posisi kedua dapat menjadi 2, dan jumlah pilihan untuk posisi ketiga dapat 1.

Untuk masing-masing posisi, sistem menentukan nilai bias posisi masing-masing untuk posisi berdasarkan hitungan pilihan masing-masing untuk posisi tersebut.

Nilai bias posisi menunjukkan sejauh mana dokumen hasil eksperimen yang dipilih dalam daftar hasil eksperimen untuk kueri penelusuran eksperimen dalam data eksperimen memengaruhi pemilihan dokumen hasil eksperimen.

Dalam beberapa implementasi, nilai bias posisi masing-masing posisi dapat proporsional dengan hitungan pilihan masing-masing untuk posisi tersebut. Dalam beberapa penerapan, nilai bias posisi masing-masing untuk setiap posisi dapat dihitung dengan membagi jumlah pilihan pada posisi dengan memilih pilihan pada setiap posisi posisi dalam daftar hasil eksperimen.

Untuk setiap contoh pelatihan dalam data pelatihan, sistem menetapkan nilai bias posisi yang sesuai dengan posisi dokumen hasil yang dipilih dalam daftar hasil dokumen hasil untuk contoh pelatihan menjadi nilai bias pemilihan untuk contoh pelatihan.

Misalnya, dimana sistem menentukan nilai bias posisi b 1 untuk posisi pertama menggunakan hitungan pilihan dokumen hasil eksperimen di posisi pertama jika posisi pertama adalah posisi dokumen hasil yang dipilih pencari dalam daftar hasil untuk contoh pelatihan dalam data pelatihan, sistem menentukan bahwa nilai bias posisi 1 adalah nilai bias pemilihan untuk contoh pelatihan.

Menentukan nilai bias seleksi masing-masing untuk setiap contoh pelatihan dalam data pelatihan

Dalam contoh ini, setiap kueri penelusuran eksperimen dalam kueri penelusuran eksperimen telah diklasifikasikan sebagai milik kelas kueri masing-masing dari kumpulan kelas kueri yang telah ditentukan sebelumnya. Kemudian, sistem melakukan proses untuk setiap kelas dalam kumpulan kelas kueri yang telah ditentukan.

Untuk kelas kueri tertentu, sistem menerima data eksperimen yang mengidentifikasi kueri penelusuran eksperimen yang diklasifikasikan sebagai milik kelas kueri tertentu dan, untuk setiap kueri penelusuran eksperimen ini, posisi masing-masing dalam daftar hasil eksperimen dokumen hasil untuk penelusuran eksperimen kueri dokumen hasil eksperimen yang dipilih oleh penelusur.

Untuk kelas kueri yang diberikan, sistem menentukan, untuk setiap beberapa atau semua posisi dalam daftar hasil eksperimen, jumlah masing-masing pilihan dokumen hasil eksperimen pada posisi oleh pencari sebagai tanggapan atas kueri penelusuran eksperimen milik kueri kelas dalam data percobaan. Jadi, misalnya, sistem dapat menentukan jumlah pilihan masing-masing untuk posisi N teratas dalam daftar hasil eksperimen.

Untuk kelas kueri yang diberikan, sistem menentukan nilai bias posisi khusus kelas masing-masing untuk posisi berdasarkan jumlah pilihan masing-masing untuk posisi untuk masing-masing posisi. Dalam beberapa implementasi, nilai bias posisi masing-masing posisi dapat proporsional dengan hitungan pilihan masing-masing untuk posisi tersebut.

Untuk setiap contoh pelatihan dalam data pelatihan, sistem memperoleh data yang mengidentifikasi kelas kueri tempat kueri penelusuran untuk contoh pelatihan berada.

Sistem menetapkan, untuk setiap contoh pelatihan dalam data pelatihan, nilai bias posisi spesifik kelas untuk kelas kueri tempat kueri penelusuran berada dan sesuai dengan posisi dokumen hasil yang dipilih dalam daftar hasil dokumen hasil untuk pelatihan contoh menjadi nilai bias seleksi untuk contoh pelatihan.

Misalnya, di mana kueri pencarian Q milik kelas kueri t dan sistem menentukan bit nilai bias posisi kelas tertentu untuk posisi pertama menggunakan hitungan pilihan dokumen hasil eksperimen di posisi pertama, jika posisi pertama adalah posisi dokumen hasil yang dipilih pencari dalam daftar hasil untuk contoh pelatihan dalam data pelatihan, sistem menentukan bahwa nilai bias posisi spesifik kelas b 1 t adalah nilai bias pemilihan untuk contoh pelatihan.

Contoh proses untuk menentukan nilai bias seleksi masing-masing untuk setiap contoh pelatihan dalam data pelatihan

Sistem menerima data eksperimen yang mengidentifikasi kueri penelusuran eksperimen. Untuk setiap kueri penelusuran eksperimen, posisi masing-masing dalam daftar hasil eksperimen dari dokumen hasil untuk kueri penelusuran eksperimen dari dokumen hasil eksperimen yang dipilih oleh penelusur.

Sistem memperoleh vektor fitur masing-masing untuk setiap kueri penelusuran eksperimen dari kueri penelusuran eksperimen. Vektor fitur dapat spesifik kueri atau spesifik pencari. Misalnya, fitur kueri dapat mencakup jumlah kata dalam kueri, kelas kueri, atau bahasa yang disukai pencari.

Sistem menghasilkan data pelatihan untuk melatih pengklasifikasi. Pengklasifikasi dilatih untuk menerima masing-masing vektor fitur untuk kueri penelusuran masukan dan mengeluarkan nilai bias posisi spesifik kueri masing-masing untuk setiap posisi kueri penelusuran masukan.

Data pelatihan dapat menyertakan contoh positif kueri penelusuran eksperimen dan contoh negatif kueri penelusuran eksperimen. Misalnya, sistem dapat melabeli kueri penelusuran eksperimen sebagai contoh positif untuk daftar hasil eksperimen dari dokumen hasil untuk kueri penelusuran eksperimen dari hasil penelusuran eksperimen yang dipilih oleh penelusur. Sistem dapat melabeli kueri penelusuran eksperimen sebagai contoh negatif untuk posisi posisi yang tidak dipilih dalam daftar hasil eksperimen dari dokumen hasil.

Sistem melatih classifier pada data pelatihan. Melatih classifier dapat menjadi proses pembelajaran mesin yang mempelajari bobot masing-masing untuk diterapkan ke setiap vektor fitur input. Secara khusus, pengklasifikasi dilatih menggunakan proses pelatihan pembelajaran mesin berulang konvensional yang menentukan bobot terlatih untuk setiap posisi daftar hasil. Berdasarkan bobot awal yang ditetapkan untuk setiap posisi daftar hasil, proses iteratif mencoba menemukan bobot optimal. Misalnya, nilai bias posisi spesifik kueri bi Q untuk posisi tertentu i untuk kueri penelusuran tertentu Q dapat diberikan menggunakan rumus berikut:

i menunjukkan bobot terlatih untuk posisi i, dan v(Q) menunjukkan vektor fitur untuk kueri pencarian Q.

Pengklasifikasi mungkin merupakan model regresi logistik. Pengklasifikasi lain yang sesuai dapat digunakan dalam implementasi lain, termasuk naive Bayes, pohon keputusan, entropi maksimum, jaringan saraf, atau mendukung pengklasifikasi berbasis mesin vektor.

Untuk setiap contoh pelatihan dalam data pelatihan, sistem memperoleh vektor fitur untuk kueri pencarian dalam contoh pelatihan.

Untuk setiap contoh pelatihan dalam data pelatihan, sistem memproses vektor fitur menggunakan pengklasifikasi terlatih untuk menghasilkan nilai bias posisi spesifik kueri masing-masing untuk setiap posisi untuk kueri penelusuran dalam contoh pelatihan. Pertama, classifier terlatih menerima vektor fitur sebagai input. Kemudian, ini mengeluarkan nilai bias posisi spesifik kueri masing-masing untuk setiap posisi dalam daftar hasil untuk kueri penelusuran dalam contoh pelatihan.

Untuk setiap contoh pelatihan dalam data pelatihan, sistem menetapkan nilai bias posisi spesifik kueri yang sesuai dengan posisi dokumen hasil yang dipilih untuk contoh pelatihan dalam daftar hasil dokumen hasil untuk kueri penelusuran menjadi nilai bias pemilihan untuk contoh pelatihan.

Misalnya, di mana sistem menentukan nilai bias posisi spesifik kueri b 1 Q untuk posisi pertama menggunakan pengklasifikasi terlatih jika posisi pertama adalah posisi dokumen hasil yang dipilih pencari dalam daftar hasil untuk contoh pelatihan di data pelatihan, sistem menentukan bahwa nilai bias posisi spesifik kueri b 1 Q adalah nilai bias pemilihan untuk contoh pelatihan.