evaluasi

Kenapa Evaluasi ?
Ingatlah:
• Pengguna dan tugas-tugas mereka diidentifikasi
• Kebutuhan dan persyaratan yang ditentukan
• Antarmuka dirancang, dibangun prototipe
• Tapi apakah itu ada gunanya? Apakah sistem
mendukung pengguna dalam tugas-tugas mereka? Apakah
lebih baik dari apa yang ada sebelumnya (jika
apa-apa)?

Jenis Evaluasi

• Interpretasi dan prediktif

pengingat)

- Heuristik evaluasi, kognitif
walkthrough, etnografi ...

• Sumatif vs Formatif

- Apa yang harus mereka, lagi?

Sekarang Dengan Pengguna Terlibat

• Interpretasi (naturalistik) vs
empiris:

• Naturalistik

- Dalam pengaturan realistis, biasanya
mencakup beberapa terpisah
observasi, hati-hati
pengguna

• empiris

- Orang penggunaan sistem, memanipulasi
variabel independen dan
mengamati yang tergantung

Mengapa Mengumpulkan Data?

• Desain percobaan untuk
mengumpulkan data untuk menguji
hipotesis untuk mengevaluasi
antarmuka untuk menyempurnakan desain

• Informasi yang dikumpulkan dapat berupa:
objektif atau subjektif
• Informasi juga dapat:
kualitatif atau kuantitatif

Melakukan Percobaan

• Menentukan TUGAS yang
• Menentukan kinerja
langkah-langkah
• Mengembangkan percobaan
• BPPK persetujuan
• Merekrut peserta
• Kumpulkan data
• Periksa & menganalisis data
• Menarik kesimpulan untuk menyelesaikan desain
masalah
• Mendesain ulang dan melaksanakan
revisi antarmuka

Tugas

• Acuan tugas - mengumpulkan kuantitatif
data
• Perwakilan tugas - menambah luasnya,
dapat membantu memahami proses
• Katakan kepada mereka apa yang harus dilakukan, bukan bagaimana melakukannya
• Isu:

- Lab pengujian vs bidang pengujian
- Validitas - pengguna khas; tugas khas;
pengaturan khas?
- Jalankan versi percontohan untuk mengguncang keluar bug

"Benchmark" Tugas

• Spesifik tugas, jelas dinyatakan untuk
pengguna untuk melakukan
• Contoh: Email handler

- "Cari pesan dari Maria
dan membalas dengan respon dari
"Selasa pagi pukul 11​​."

• Pengguna melakukan ini di bawah
berbagai kondisi dan Anda
ukuran kinerja

mendefinisikan Kinerja

• Berdasarkan tugas
• Spesifik, tujuan
tindakan / metrik
• Contoh:

- Kecepatan (waktu reaksi, waktu untuk
menyelesaikan)
- Akurasi (kesalahan, hits / misses)
- Produksi (jumlah file
diolah)
- Skor (jumlah poin yang diterima)
- lainnya ...

Jenis-jenis Variabel

• Independen

- Apa yang Anda belajar, apa yang Anda
sengaja bervariasi (misalnya, antarmuka
fitur, perangkat interaksi,
pemilihan teknik)

Tergantung •

- Kinerja mengukur Anda
merekam atau memeriksa (misalnya, waktu,
jumlah kesalahan)

"Mengendalikan" Variabel

• Mencegah variabel dari mempengaruhi
hasil secara sistematis
• Metode untuk mengendalikan
variabel:

- Jangan memungkinkan untuk bervariasi

• misalnya, semua laki-laki

- Memungkinkan untuk bervariasi secara acak

• misalnya, secara acak menetapkan peserta untuk
kelompok yang berbeda

- Counterbalance - sistematis bervariasi itu

• misalnya nomor, sama laki-laki, perempuan dalam
setiap kelompok

- Pilihan yang tepat tergantung pada
keadaan

hipotesis

• Apa yang memprediksi akan terjadi
• Lebih khusus, cara Anda
memprediksi variabel dependen (yaitu,
akurasi) akan tergantung pada
independen variabel (s)
• "Null" hipotesis (H o)

- Menyatakan bahwa tidak akan berpengaruh
- Misalnya, "Tidak akan ada perbedaan dalam
kinerja antara dua kelompok "
- Data yang digunakan untuk mencoba untuk menyangkal nol ini
hipotesa

contoh

• Apakah orang-orang menyelesaikan operasi
lebih cepat dengan hitam-putih
menampilkan atau warna satu?

- Independen - jenis tampilan (warna atau
b / b)
- Dependent - waktu untuk menyelesaikan tugas
(menit)
- Variabel Terkendali - sama jumlah
pria dan wanita dalam setiap kelompok
- Hipotesis: Waktu untuk menyelesaikan tugas
akan lebih singkat untuk pengguna dengan warna
menampilkan

- Ho: Timecolor = Timeb / b

- Catatan: Di dalam / antara masalah desain,
berikutnya

Dalam Desain Subjek

• Lebih efisien:

- Setiap mata pelajaran memberi Anda lebih banyak data -
mereka menyelesaikan lebih "blok" atau
"Sesi"

• Lebih statistik "kekuatan":

- Setiap orang adalah kontrol mereka sendiri

• Oleh karena itu, dapat memerlukan lebih sedikit
peserta
• Dapat berarti lebih rumit
merancang untuk menghindari "efek order"

- Misalnya melihat warna maka b / w mungkin
berbeda dari melihat b / w kemudian warna

Antara Desain Subjek

• Lebih sedikit efek untuk

- Peserta dapat belajar dari pertama
kondisi
- Kelelahan mungkin membuat kedua
kinerja buruk

• Simpler desain & analisis
• Lebih mudah untuk merekrut peserta
(hanya satu sesi)
• Kurang efisien

 IRB, Peserta, & Etika

• Institutional Review Board (IRB)

- http://www.osp.gatech.edu/compliance.htm

• Ulasan semua penelitian yang melibatkan (manusia atau
hewan) peserta
• Menjaga peserta, dan
sehingga peneliti dan universitas
• Tidak kajian ilmu (yakni, tidak asess
Anda ide-ide penelitian); keamanan saja & etika
• Lengkapi formulir berbasis web, submit
penelitian ringkasan, persetujuan sampel
bentuk, dll
• Semua penguji harus menyelesaikan NIH
sejarah ke media online / kursus etika sebelum
mengirimkan

merekrut Peserta

• Berbagai "subjek kolam"

- Relawan
- Dibayar peserta
- Siswa (misalnya, psikologi undergrads) untuk kursus
kredit
- Teman, kenalan, keluarga, anggota laboratorium
- "Ruang publik" peserta - misalnya, mengamati
orang berjalan melalui museum

• Harus sesuai populasi pengguna (validitas)
• Motivasi adalah faktor besar - bukan hanya $ $ tapi
juga menjelaskan pentingnya
penelitian
• Catatan: Etika, BPPK, Persetujuan berlaku untuk * semua *
peserta, termasuk teman & "percontohan
subjek "

etika

• Pengujian bisa sulit
• Setiap peserta harus
persetujuan untuk menjadi dalam percobaan
(informal atau formal)

- Tahu apa percobaan melibatkan,
apa yang diharapkan, apa yang
potensi risiko yang

• Harus dapat berhenti tanpa
bahaya atau hukuman
• Semua peserta harus diperlakukan
dengan hormat

persetujuan

• Mengapa penting?

- Orang bisa peka tentang hal ini
proses dan masalah
- Kesalahan mungkin akan dibuat, peserta
mungkin merasa tidak memadai
- Mungkin mental atau fisik
berat

• Apa saja risiko potensial (ada
selalu risiko)?

- Contoh?

• "Rentan" populasi perlu
khusus perawatan & pertimbangan (& BPPK
ulasan)

- Anak-anak; cacat; hamil; siswa
(mengapa?)

Teori Atribusi

• Studi mengapa orang percaya
bahwa mereka berhasil atau gagal -
diri sendiri atau faktor luar
(jenis kelamin, perbedaan umur)

• Jelaskan bagaimana kesalahan atau kegagalan
tidak masalah peserta ---
tempat di mana antarmuka perlu
ditingkatkan

Evaluasi adalah Pekerjaan Detektif

• Tujuan: mengumpulkan bukti yang dapat
membantu Anda menentukan apakah
hipotesis Anda sudah benar atau
tidak.
• Bukti (data) harus:

- relevan
- Diagnostik
- Kredibel
- menguatkan

Data sebagai Bukti

• relevan

- Yang tepat untuk mengatasi hipotesis

• misalnya, Apakah mengukur "jumlah kesalahan"
memberikan informasi tentang efektif baru Anda
lalu lintas udara sistem kontrol mendukung
tugas pengguna?

• Diagnostik

- Data tegas memberikan bukti
salah satu cara atau yang lain

• misalnya, Apakah meminta pilihan pengguna
jelas memberitahu Anda jika sistem melakukan
lebih baik? (Mungkin)

• Kredibel

- Apakah data dapat dipercaya?

• Mengumpulkan data hati-hati; mengumpulkan
cukup data

• dikuatkan

- Apakah lebih dari satu sumber
bukti dukungan
hipotesis?

• misalnya, Kedua akurasi dan user
pendapat menunjukkan bahwa baru
sistem lebih baik dari sebelumnya
sistem. Tapi bagaimana jika waktu penyelesaian
lebih lambat?

Rekomendasi Umum

• Sertakan baik Tujuan &
Data subjektif

- Misalnya, "penyelesaian waktu" dan "preferensi"

• Gunakan tindakan beberapa, dalam
jenis

- Misalnya, "waktu reaksi" dan "akurasi"

• Gunakan ukuran kuantitatif
mana mungkin

-

Catatan: Hanya mengumpulkan data yang dibutuhkan;
melakukannya dengan min. gangguan,
kerumitan, waktu, dll

misalnya, preferensi skor (pada skala 1-7)

Jenis Data untuk Kumpulkan

• "Demografi"

- Info tentang peserta, yang digunakan untuk pengelompokan atau
untuk korelasi dengan langkah-langkah lain

• misalnya, wenangan, umur, pertama / bahasa terbaik;
SAT skor
• Catatan: Kumpulkan jika relevan. Tidak harus
menjadi yang dilaporkan sendiri: Anda dapat menggunakan tes
(misalnya, Edinburgh wenangan)

• Data kuantitatif

- Apa yang Anda mengukur

• misalnya, waktu reaksi, jumlah menguap

• Data Kualitatif

- Deskripsi, pengamatan yang tidak
dihitung

• misalnya, berbagai macam cara memegang mouse;
pendekatan untuk memecahkan masalah; kesulitan
memahami instruksi

Merencanakan Pengumpulan Data

• Data apa untuk mengumpulkan?

- Tergantung pada tugas dan setiap
benchmark

• Bagaimana untuk mengumpulkan data?

- Interpretasi, alam, empiris,
prediksi?

• Kriteria apa yang penting?

- Sukses pada tugas? Skor?
Kepuasan? ...

• Sumber daya apa yang tersedia?

- Peserta, prototipe, evaluator,
fasilitas, tim pengetahuan
(pemrograman, statistik, dll)

pengumpulan Data

• Menangkap Sidang

Pengamatan & Catatan pengambilan
Audio dan video recording
Diinstrumentasi antarmuka pengguna
software log
Berpikir-keras protokol - dapat sangat membantu
Insiden penebangan kritis - positif & negatif

• Pasca sesi kegiatan

- Terstruktur wawancara; pembekalan

• "Apa yang Anda sukai terbaik / paling tidak?"; "Bagaimana Anda
berubah ..? "

- Kuesioner, komentar, dan skala penilaian
- Post-hoc pengkodean video / Peringkat oleh eksperimen

mengamati Pengguna

• Tidak semudah yang Anda pikirkan
• Salah satu cara terbaik untuk mengumpulkan
umpan balik tentang antarmuka Anda
• Perhatikan, dengarkan, dan belajar sebagai
orang berinteraksi dengan Anda
sistem

pengamatan

• langsung

- Di ruangan yang sama
- Bisa
membosankan
- User yang menyadari
Anda kehadiran
- Hanya melihatnya satu
waktu
- Dapat menggunakan 1-arah
cermin untuk
menurunkan
intrusi
- Murah, lebih cepat
untuk mengatur dan
menganalisa

• Tidak Langsung

- Video
rekaman
- Mengurangi
intrusi, tetapi
tidak
menghilangkannya
- Kamera
berfokus pada
layar, wajah &
Keyboard
- Memberikan arsip
catatan, tapi bisa
menghabiskan banyak
waktu mereka
itu

lokasi

• Pengamatan mungkin

- Di laboratorium - Mungkin dibangun khusus
kegunaan laboratorium

• Lebih mudah untuk mengontrol
• Dapat memiliki pengguna mengatur lengkap
tugas

- Di lapangan

• Perhatikan tindakan mereka sehari-hari
• Lebih realistis
• Sulit untuk mengendalikan faktor-faktor lain

Tantangan

• Dalam pengamatan sederhana, Anda
mengamati tindakan tetapi tidak tahu
apa yang terjadi di kepala mereka

• Sering menggunakan beberapa bentuk
lisan protokol di mana pengguna
menggambarkan pikiran mereka

menantang

Verbal Protokol

• Salah satu teknik: Berpikir-keras

- Buku ini menjelaskan secara lisan apa
s / dia berpikir saat melakukan
tugas

• Apa yang mereka percaya yang terjadi
• Mengapa mereka mengambil tindakan
• Apa yang mereka coba lakukan

• Sangat banyak digunakan teknik, berguna
• Memungkinkan Anda untuk memahami pengguna
pikiran memproses lebih baik
• Potensi masalah:

- Bisa canggung untuk peserta
- Berpikir keras dapat memodifikasi pengguna jalan
melakukan tugas

tim

• Teknik lain: Co-
penemuan pembelajaran
(Interaksi konstruktif)

- Join pasang peserta bekerja
bersama
- Gunakan berpikir keras
- Mungkin satu orang telah menjadi
semi-ahli (pelatih) dan satu menjadi
orang baru
- Lebih alami (seperti percakapan)
sehingga menghilangkan kecanggungan beberapa
individu berpikir keras

alternatif

• Bagaimana jika berpikir keras selama
sesi akan terlalu mengganggu?
• Dapat menggunakan pasca-acara protokol

- Buku melakukan sesi, lalu memandang
video dan menjelaskan apa s / dia
pikir
- Kadang-kadang sulit untuk mengingat
- Membuka pintu interpretasi

sejarah Rekam

• Dalam mengamati pengguna, bagaimana Anda
menangkap peristiwa dalam sesi
untuk analisis nanti?

Menangkap Sesi sebuah

1. Kertas & pensil

- Dapat menjadi lambat
- Dapat kehilangan sesuatu
- Apakah pasti murah dan mudah

2. Rekaman (audio dan / atau
video)

- Baik untuk bicara lantang
- Sulit untuk mengikat ke antarmuka
- Beberapa kamera mungkin
dibutuhkan
- Baik catatan, kaya sesi
- Dapat mengganggu
- Bisa sangat nyeri untuk menuliskan
dan menganalisis

3. software penebangan

- Modifikasi perangkat lunak untuk login pengguna
tindakan
- Dapat memberikan waktu dicap
menekan tombol atau mouse event
- Dua masalah:

•

Terlalu tingkat rendah, ingin lebih tinggi
peristiwa
Sejumlah besar data, perlu
alat analisis

subyektif data

• Kepuasan adalah penting
faktor dalam kinerja dari waktu ke waktu
• Belajar apa orang lebih suka yang
Data yang berharga untuk mengumpulkan

metode

• Cara mengumpulkan data subjektif

- Kuesioner
- Wawancara
- Pondok Daun (misalnya, pameran dagang)
- Call-in produk panas-line
Dukungan Lapangan pekerja -
• (Fokus pada pertama dua)

kuesioner

• Persiapan adalah mahal, tapi
administrasi yang murah
• Oral vs ditulis

- Advs Oral: Dapatkah bertanya pertanyaan-pertanyaan lanjutan
- Oral disadvs: Mahal, memakan waktu

• Formulir dapat memberikan lebih kuantitatif
data
• Isu

Hanya sebagai baik sebagai pertanyaan yang Anda ajukan
Menetapkan Tujuan dari kuesioner
Jangan tanya hal-hal yang Anda tidak akan menggunakan
Siapa audiens Anda?
Bagaimana Anda memberikan dan mengumpulkan
kuesioner?

kuesioner Topik

• Dapat mengumpulkan data demografi
dan data tentang antarmuka
sedang dipelajari
• Demografi data:

- Usia, jenis kelamin
- Tugas keahlian
- Motivasi
- Frekuensi penggunaan
- Pendidikan / melek

data Interface

• Dapat mengumpulkan data tentang

- layar
- Desain grafis
- terminologi
- kemampuan
- belajar
- Kesan keseluruhan
- ...

Tertutup Format• Tertutup Format- Jawaban terbatas pada serangkaian pilihan- Biasanya sangat kuantitatif- Berbagai gaya• Skala Likert- Skala Khas menggunakan pilihan 5, 7 atau 9- Di atas yang sulit untuk membedakan- Melakukan ganjil memberikannetral pilihan di tengah- Anda mungkin tidak ingin memberikan netralpilihanKarakter di layar adalah:sulit untuk membaca12345mudah dibaca67Pemantapan, kajian difusiInteraksi Manusia KomputerLain GayaYang pengolah katasistem yang Anda gunakan?Peringkat dari1 - Sangat membantu2 - ambivalen3 - Tidak membantu0 - belum digunakanLaTeXKataFrameMaker___ Tutorial___ On-line membantu___ DokumentasiWordPerfectPemantapan, kajian difusiInteraksi Manusia KomputerBuka Format• Meminta pendapat unprompted• Baik untuk umum, informasi subjektif,tetapi sulit untuk menganalisis ketat• Dapat membantu dengan ide-ide desain- "Bisakah Anda menyarankan perbaikan iniantarmuka? "Tertutup Format• Keuntungan- Memperjelas alternatif- Mudah dihitung- Menghilangkan bergunamenjawab• Kekurangan- Harus menutupi seluruhjarak- Semua harusmemiliki kemungkinan yang sama- Janganmenarik,"Berbeda"reaksiPemantapan, kajian difusiInteraksi Manusia KomputerKuesioner Masalah• Pertanyaan spesifisitas- "Apakah Anda memiliki komputer?"• Bahasa- Waspadalah terminologi, jargon- "Seberapa efektif sistem?" (Ambigu)• Memimpin pertanyaan- Dapat diutarakan baik positif atau negatif• Prestige bias - (survei seks Inggris)- Orang-orang menjawab dengan cara tertentu karena merekaingin kau berpikir seperti itu tentang mereka• Memalukan pertanyaan- "Apa Anda memiliki masalah yang paling dengan?"• Hipotesis pertanyaan• "Halo efek- Ketika memperkirakan satu fitur mempengaruhi estimasilain (misalnya, kecerdasan / terlihat)- Estetika & kegunaan, salah satu contoh dalam HCIPemantapan, kajian difusiInteraksi Manusia KomputerPenyebaran• Langkah-langkah- Diskusikan pertanyaan di antara tim- Administer secara lisan / tertulis kebeberapa orang (pilot). Secara verbalpertanyaan tentang pemikiran tentangpertanyaan- Administer tes akhir- Gunakan komputer berbasis input jikamungkin- Memiliki data pra-diproses,disortir, diatur untuk kemudian di analisiswaktu yang dikumpulkanPemantapan, kajian difusiInteraksi Manusia KomputerWawancara• Dapatkan sudut pandang pengguna langsung, tapi jelaspandangan yang subjektif• Keuntungan:- Dapat bervariasi tingkat rincian sebagai masalah muncul- Baik untuk pertanyaan jenis yang lebih eksploratifyang dapat menyebabkan membantu, konstruktifsaran• Kekurangan- View Subyektif- Pewawancara (s) dapat Bias wawancara- Masalah antar-penilai atau antar-eksperimenkeandalan (istilah statistik kesepakatan makna)- Buku mungkin tidak tepat mengkarakterisasipemakaian- Waktu memakan- Sulit untuk mengukurPemantapan, kajian difusiInteraksi Manusia KomputerWawancara Proses• Cara efektif- Rencanakan sejumlah pertanyaan (memberikanuntuk konsistensi tertentu)- Jangan mengajukan pertanyaan terkemuka• "Apakah Anda berpikir penggunaan ikonada benar-benar baik? "• Dapat dilakukan dalam kelompok- Dapatkan konsensus, mendapatkan hidupdiskusi akanPemantapan, kajian difusiInteraksi Manusia KomputerData Inspeksi• Lihatlah hasilnya• Pertama melihat setiap pesertadata- Apakah ada outlier, orang yangtertidur, siapa pun yang mencobamengacaukan studi, dll?• Kemudian melihat agregathasil dan deskriptifStatistikPemantapan, kajian difusiInteraksi Manusia KomputerMemeriksa Data Anda• "Apa yang terjadi dalam penelitian ini?"• Perlu diingat tujuan danhipotesis Anda miliki padaawal• Pertanyaan:- Secara keseluruhan, bagaimana orang lakukan?- "5 W" (Di mana, apa, mengapa,kapan, dan untuk siapa adalahmasalah?)Pemantapan, kajian difusiInteraksi Manusia KomputerDeskriptif Statistik• Untuk semua variabel, bisa merasakanhasil:• Total nilai, waktu, peringkat,dan lain-lain• Minimum, maksimum• Rata-rata, median, rentang, dllApav misalnya "Dua puluh pesertaperbedaanselesai kedua sesi (10 laki-laki, antara10 perempuan; usia rata-rata 22,4, jangkauanberarti &18-37 tahun). "rata-rata?v misalnya "Median waktu untuk menyelesaikan Mengapa menggunakantugas pada kelompok tikus-masukansatu atau yangadalah 34,5 s (min = 19,2, max = 305 s). "lain?Pemantapan, kajian difusiInteraksi Manusia KomputerSubkelompok Statistik• Lihatlah statistik deskriptif(Berarti, median, rentang, dll)untuk setiap subkelompok- Misalnya "Tingkat rata-rata kesalahan untukmouse-masukan kelompok adalah 3,4%.Tingkat rata-rata kesalahan untukkelompok Keyboard adalah 5,6%. "- Misalnya "Penyelesaian medianwaktu (dalam detik) untuk tigakelompok adalah: pemula: 4.4,moderat pengguna: 4,6, danahli: 2,6 ".Pemantapan, kajian difusiInteraksi Manusia KomputerPlot Data• Carilah tren grafisPemantapan, kajian difusiInteraksi Manusia KomputerLain Presentasi MetodeKotak petakPlot pencarTengah 50%tinggiUsiaBerarti20Waktu dalam detik.Pemantapan, kajian difusiInteraksi Manusia KomputerEksperimental Hasil• Bagaimana seseorang mengetahui apakah sebuahHasil percobaan yang berartisesuatu atau mengkonfirmasi setiapkeyakinan?• Contoh: 40 orangberpartisipasi,28 pilihan antarmuka 1,12 pilihan antarmuka 2• Apa yang Anda simpulkan?Pemantapan, kajian difusiInteraksi Manusia KomputerInferensial (Diagnostik) Statistik• Tes untuk menentukan apakah apa yang Anda lihat dalamdata (misalnya, perbedaan dalam cara) adalahdapat diandalkan (ditiru), dan jika mereka cenderungdisebabkan oleh variabel independen,dan bukan karena efek acak- Misalnya, t-test untuk membandingkan dua alat- Misalnya, ANOVA (Analisis Varians) untukmembandingkan beberapa cara- Misalnya, uji "tingkat signifikansi" dari korelasiantara dua variabelBerarti Tidak Selalu SempurnaPercobaan 1Kelompok 2Berarti: 103,6,21Percobaan 2Kelompok 1Berarti: 76,7,8Kelompok 2Berarti: 108,11,11Pemantapan, kajian difusiInteraksi Manusia KomputerInferensial Statistik dan Data• Ajukan pertanyaan diagnostik tentangApakah ini benar-benardataberbeda? Apamenghendaki agarartinya?Pemantapan, kajian difusiInteraksi Manusia KomputerPengujian Hipotesis• Ingat: Kami membuat sebuah null "hipotesis "- Misalnya, tidak boleh adaperbedaan antarapenyelesaian kali dari tigakelompok- Atau, H 0: TimeNovice = TimeModerate= TimeExpert• Hipotesis kami adalah nyata, katakanlah,bahwa para ahli harus melakukanlebih cepat dari pemulaPemantapan, kajian difusiInteraksi Manusia KomputerPengujian Hipotesis• "Signifikansi level" (p):- Probabilitas bahwa Anda nolhipotesis yang salah, cukup dengankesempatan- Bisa juga menganggap ini sebagai probabilitasbahwa Anda "nyata" hipotesis (bukannull), adalah salah- Tingkat cutoff atau ambang p("Alpha" tingkat) sering dipasang pada 0,05, atau5% dari waktu Anda akan mendapatkan hasil yang Andamelihat, hanya secara kebetulan- Misalnya Jika statistik t-test (pengujianperbedaan antara dua cara)mengembalikan t-nilai t = 4,5, dan p-nilai p = .01 perbedaan antarasarana secara statistik signifikanPemantapan, kajian difusiInteraksi Manusia KomputerKesalahan• Kesalahan dalam analisis memang terjadi• Utama Jenis:- Tipe I / positif Salah - Andamenyimpulkan ada perbedaan,padahal sebenarnya tidak ada- Tipe II / Salah negatif - Andamenyimpulkan tidak ada perbedaanketika ada- Menakutkan Tipe IIIPemantapan, kajian difusiInteraksi Manusia KomputerMenggambar Kesimpulan• Membuat kesimpulan Anda berdasarkandeskriptif statistik, tetapi kembali merekadengan statistik inferensial- Misalnya, "dilakukan Kelompok ahlilebih cepat dari kelompok pemula t (1,34) =4,6, p> .01. "• Terjemahkan statistik ke dalam kata-kata yangorang-orang biasa dapat memahami- Misalnya, "Dengan demikian, mereka yang memiliki komputerpengalaman akan dapat melakukanlebih baik, langsung dari awal ... "Pemantapan, kajian difusiInteraksi Manusia KomputerFeeding Kembali Ke Desain• studi Anda, dirancang untuk menghasilkaninformasi dapat Anda gunakan untuk mendesain ulang Andaantarmuka• Apa kesimpulan Anda tercapai?• Bagaimana Anda dapat memperbaiki desain?• Apa manfaat kuantitatif darimendesain ulang?- Misalnya, 2 menit disimpan per transaksi, yangberarti peningkatan 24% dalam produksi, atau$ 45.000.000 per tahun laba meningkat• Apa kualitatif, kurang nyataManfaat (s)?- Misalnya, pekerja akan kurang bosan, kurang lelah,dan karena itu lebih tertarik -> Cust lebih baik.layananPemantapan, kajian difusiInteraksi Manusia KomputerUsability Spesifikasi"Apakah cukup baik ...... Untuk berhenti bekerja di atasnya?... Untuk mendapatkan bayaran? "• tujuan kegunaan kuantitatif, digunakan pedomanuntuk mengetahui kapan interface adalah "baikcukup "• Harus ditetapkan pada awalmungkin- Umumnya sebagian besar dariPersyaratan Specifications dalampusat kontrak desain- Evaluasi sering digunakan untukmenunjukkan desain memenuhi tertentupersyaratan (sehinggadesainer / pengembang harus dibayar)- Sering didorong oleh kegunaan kompetisi,fitur, atau kinerjaPemantapan, kajian difusiInteraksi Manusia KomputerPengukuran Proses• "Jika Anda tidak dapat mengukurnya,Anda tidak bisa mengelolanya "• Perlu untuk menyimpan data pada pertemuansetiap evaluasi dan iteratifperbaikan• Bandingkan tugas patokankinerja ke tingkat yang ditentukan• Tahu kapan untuk mendapatkannya keluar pintu!Pemantapan, kajian difusiInteraksi Manusia KomputerApa yang Termasuk?• Atribut kegunaan umum yangsering ditangkap dalam kegunaanspesifikasi:Awal kinerjaKinerja jangka panjangLearnabilityRetainabilityLanjutan fitur penggunaanPertama kesanJangka panjang kepuasan penggunaPemantapan, kajian difusiInteraksi Manusia KomputerPenilaian TeknikBagaimana Anda akan menilai apakah Anda desainmemenuhi kriteria?MengukurNilai untukSekarang TerburukBerencanainstrum.menjadi penguku. tingkatPerf. tingkat target tingkatBenchmk Panjang15 detik 30 detik20 detiktugaswaktu untuk(Manual)berhasilmenambahkan janjipada sidang pertama-2 .. 2??00.75Pemantapan, kajian difusiInteraksi Manusia KomputerBidang• Mengukur Instrumen- Kuesioner, benchmark tugas• Nilai yang akan diukurWaktu untuk menyelesaikan tugasJumlah persentase kesalahanPersen tugas selesai pada waktu tertentuRasio keberhasilan kegagalanJumlah perintah yang digunakanFrekuensi penggunaan bantuan• Target tingkat- Sering kali didirikan dibandingkan denganbersaing sistem atau non-komputer berbasistugasPemantapan, kajian difusiInteraksi Manusia KomputerRingkasan• spesifikasi Usability dapat bergunadalam pelacakan efektivitasmendesain ulang upaya• Mereka sering bagian darikontrak• Desainer dapat mengatur sendirikegunaan spesifikasi, bahkan jikaproyek tidak menentukan merekadi muka• Tahu kapan itu cukup baik,dan yakin untuk beralih keproyek berikutnya   

sumber : https://docs.google.com/viewer?a=v&q=cache:XW0VOLATLngJ:tavipia.staff.gunadarma.ac.id/Downloads/files/4962/IMK08-Evaluasi.pdf+&hl=id&gl=id&pid=bl&srcid=ADGEEShgWkiIORm9__ZPE1SZx4NC1LN6mAfOktavsxyZzTKwnSa-xncApE-KDnDPIu74gBut-RcEXY2eWCV0Jgz5m8DMBzthNoVpUnz7qJnz3QyXOm6FUeiPWHK71vkPF_03zGBe6PFw&sig=AHIEtbSkZsbT5GYrPNckmFyJDA424pyqQQ