Thứ Hai, 19 tháng 10, 2015

Đánh giá hiệu quả sau đào tạo bằng phương pháp KirtPatrick. Phân tích và ứng dụng thực tế.

Khóa học triển khai: Kỹ năng làm báo cáo bằng excel
Đối tượng: người phụ trách báo cáo ở các trung tâm kinh doanh, bộ phận backoffice
Ngày đào tạo: 25/09/2015                   Thời lượng đào tạo: 1 ngày
Giảng viên: giảng viên nội bộ
Yêu cầu của các chỉ tiêu dùng để đo lường mức hiệu quả:
- Điểm đánh giá khóa học (thông qua phiếu đánh giá): từ 4 điểm trở lên trên thang điểm 5
- Điểm số của học viên cải thiện được sau khóa học so với trước khóa học từ 95% trở lên
- Thời gian làm bài test của học viên cải thiện được sau khóa học so với trước khóa học từ 95% trở lên
- Chỉ tiêu được cán bộ quản lý, trưởng bộ phận đánh giá tốt từ 90% trở lên
- Học viên sử dụng excel một cách thành thạo trong việc làm báo cáo
- Thời gian làm báo cáo nhanh hơn để làm vào việc khác
- Chất lượng và nội dung của báo cáo tốt hơn để BOD có thông tin chính xác nhất khi ra quyết định
- Tiết kiệm thời gian chi phí họp hành, báo cáo
Phương pháp đánh giá hiệu quả đào tạo khóa học: Phương pháp KirtPatrick – có 4 cấp độ đánh giá: phản ứng, kết quả học tập, ứng dụng và kết quả đối với doanh nghiệp.
Phương pháp này cung cấp những thông tin có giá trị về mức độ hài lòng của học viên đối với khóa học, lượng kiến thức và kỹ năng họ được tiếp thu, khả năng ứng dụng những gì họ được học vào công việc và ảnh hưởng của chương trình đào tạo đối với thành công của cá nhân và tổ chức. Phương pháp này cũng giúp người làm công tác đào tạo tìm ra được biện pháp để nâng cao hiệu quả và chất lượng đào tạo.
Các cấp độ đánh giá của phương pháp, các hoạt động đi kèm trước, trong và sau khi diễn ra khóa đào tạo. Đồng thời phân tích cụ thể các cấp độ này như sau:

Cấp độ 1: Phản ứng (Reaction)
Trả lời cho câu hỏi học viên có hài lòng với khóa học mà họ tham dự hay không?
Phân tích:
Đánh giá ở cấp độ này chủ yếu tìm hiểu phản ứng của học viên với khóa học họ tham dự. Thông qua phiếu đánh giá khóa học thường được phát vào cuối khóa học, học viên sẽ chấm điểm, bày tỏ quan điểm/ý kiến của mình về những khía cạnh khác nhau của khóa học. Ví dụ như nội dung của chương trình đào tạo, trình độ của giảng viên, sự bổ ích của khóa đào tạo, công tác chuẩn bị lớp, cơ sở vật chất, tài liệu khóa học, ảnh hưởng và khả năng ứng dụng của những kiến thức và kỹ năng họ tiếp thu được từ khóa học đối với công việc thường ngày của họ. Trong bốn cấp độ thì cấp độ phản ứng này là được ứng dụng nhiều nhất, dễ thực hiện nhất và cũng là dễ đánh giá nhất. Cấp độ này đơn giản nhưng không kém phần quan trọng, qua phiếu đánh giá khóa học về cơ bản bước đầu chúng ta sẽ đánh giá được sự hiệu quả phần nào của khóa học, các điểm cần phát huy, các điểm cần khắc phục và rút kinh nghiệm cho những khóa học sau. Ngoài ra, cấp độ này cũng cung cấp cho người làm đào tạo những thông tin định lượng về chất lượng của chương trình đào tạo và họ có thể sử dụng những thông tin này để định ra những tiêu chuẩn cho chương trình tiếp theo.
Thực hiện:
Các hoạt động cần làm để có thể đánh giá được ở cấp độ này. Đó là, cuối buổi học “kỹ năng làm báo cáo bằng excel”, cán bộ đào tạo phát phiếu đánh giá khóa học cho học viên để học viên đánh giá, sau tập hợp lại, làm bảng tổng kết về điểm đánh giá, các điểm được, chưa được của khóa học.
Căn cứ vào điểm số tổng kết của khóa học để đánh giá khóa học bước đầu đạt yêu cầu/ chưa đạt yêu cầu/ tốt/ rất tốt.
VD: điểm tổng kết khóa học 4.5/5 > tốt
Căn cứ vào các điểm đánh giá tốt của khóa học để phát huy cho các khóa sau và đồng thời căn cứ vào các điểm đánh giá chưa tốt từ đó xem xét và đề xuất cải thiện cho các khóa tiếp theo


Cấp độ 2: Kết quả học tập (Learning)
Phân tích:
Cấp độ thứ 2 trong hệ thống đánh giá liên quan đến kết quả học tập của học viên.
Cấp độ này có thể tiến hành trong suốt khóa học và sử dụng nhiều phương pháp đánh giá khác nhau bảng câu hỏi thăm dò ý kiến, khảo sát, quan sát, kiểm tra lý thuyết trên giấy, kiểm tra thực hành, đánh giá theo nhóm, tự đánh giá. Thông thường mức độ thay đổi về kiến thức, kỹ năng, thái độ của học viên nhờ vào đào tạo được xác định dựa vào việc so sánh, đối chiếu kết quả kiểm tra học viên tham gia trước khi khóa học bắt đầu (pre-test) và kỳ thi sau khi khóa học kết thúc (post-test). Những khác biệt giữa 2 kỳ thi trên sẽ chỉ rõ những gì học viên đã tiếp thu được từ khóa học. Dựa vào điểm số của học viên, người làm đào tạo có thể xác định một cách tương đối chính xác ảnh hưởng của việc đào tạo đối với học viên. Một điều cần phải lưu ý đó là việc đánh giá kết quả học tập phải dựa vào mục tiêu đã được đề ra của chương trình đào tạo. Vì vậy, các bài thi, kiểm tra phải theo sát các mục tiêu này.

Đánh giá ở cấp độ này khó thực hiện hơn, mất nhiều công sức và thời gian hơn.
Thực hiện:
+ Trước khóa học: Làm TNA gửi đối tượng học viên, khi làm xong TNA giảng viên chịu trách nhiệm ra bài test (căn cứ trên TNA) gửi học viên để biết được kỹ năng excel của từng học viên đang ở mức độ nào. Chấm điểm và lưu kết quả để so sánh sự khác biệt của mỗi học viên sau đào tạo.
+ Trong quá trình đào tạo: Giảng viên ra bài tập cho mỗi module để kiểm tra kiến thức của từng học viên
Cán bộ quản lý lớp có trách nhiệm thống kê lại thời gian làm bài của từng học viên so với yêu cầu (ghi nhận trên từng máy tính của học viên); ghi nhận học viên nào hoàn thành được bài tập, học viên nào không, học viên nào làm quá thời gian qui định và học viên nào làm nhanh nhất. Học viên nào làm nhanh nhất sẽ được mời lên thực hành bài tập để cho các học viên khác theo dõi, từ đó học hỏi và áp dụng vào bài thực hành của mình. Sau đó mời học viên chậm nhất, thực hiện lại bài thực hành sau khi đã theo dõi và cán bộ đào tạo ghi nhận lại kết quả mới cho học viên này.
+ Sau quá trình đào tạo (cuối giờ đào tạo): Tất cả học viên sẽ phải làm một bài kiểm tra cuối khóa bao gồm cả câu hỏi trắc nghiệm và bài tập để nhằm mục đích hệ thống hóa kiến thức đã học được và để người làm đào tạo có kết quả để đánh giá sự thay đổi của mỗi học viên sau khi học xong khóa này.
Sau khi có kết quả của 3 bài đánh giá trên (trước khóa học, trong khóa học và cuối khóa học), người làm đào tạo sẽ có thông tin để đánh giá sự thay đổi của mỗi học viên dựa vào 2 tiêu chí sau:
- Điểm số của mỗi học viên có được cải thiện (căn cứ bài test trước khóa học và bài kiểm tra cuối khóa), bao nhiêu % học viên đã cải thiện được điểm số sau khóa học. Từ đó có thể đánh giá học viên đã tiếp thu được lượng kiến thức sau khóa học ở mức độ trung bình (dưới 90%) – chưa đạt y/c khóa học, khá (90-95%) – đạt yêu cầu khóa học và tốt (trên 95%) – yêu cầu khóa học được hoàn thành rất tốt.
- Thời gian thực hiện của mỗi học viên có thay đổi (dựa vào kết quả ghi nhận từ việc làm bài tập trong khóa học và thời gian làm bài kiểm tra cuối khóa).
VD: học viên A làm bài tập trong khóa học hết 2/3 thời gian quy định
Cũng học viên A làm bài tập cuối khóa hết có 1/3 thời gian quy định
Thì học viên A đã rút ngắn được 1/3 thời gian thực hành excel khi học xong khóa này, hay học viên A đã cải thiện kỹ năng excel được khoảng 33.33% khi học xong khóa này.
Cuối cùng tổng kết bao nhiêu % học viên cải thiện được kỹ năng excel sau khi học xong được khóa này, trung bình (dưới 90%) – chưa đạt y/c khóa học; khá (từ 90-95%) – đạt y/c khóa học; tốt (từ 95% trở lên) – y/c khóa học hoàn thành rất tốt.

Cấp độ 3: Ứng dụng (Transfer)
Phân tích:
Khả năng và mức độ ứng dụng của những kiến thức và kỹ năng học viên đạt được từ khoá học vào công việc của học viên là đối tượng đánh giá chủ yếu của cấp độ Ba: Ứng dụng. Nó tìm đáp án cho câu hỏi liệu những kỹ năng, kiến thức kể trên có giúp ích cho học viên nâng cao hiệu quả công việc của mình không và nếu có thì ở mức độ nào. Như Bistriz (1996) nhận định mọi chương trình đào tạo đều trở nên vô nghĩa nếu học viên không thể áp dụng những gì họ học được trong công việc hàng ngày của họ.

Do cấp độ đánh giá này liên quan đến những gì diễn ra sau khi học viên hoàn thành khoá học và quay về với công việc, việc đánh giá này tốt nhất đuợc thực hiện ba hay sáu tháng sau khi khoá học kết thúc vì hai lý do sau. Thứ nhất, học viên cần có thời gian để ôn lại những gì họ được học và áp dụng nó vào thực tiễn. Thứ hai, rất khó để có thể dự đoán chính xác khi nào những thay đổi trong biểu hiện công tác của học viên nhờ vào kết quả đào tạo xảy ra. Kirkpatrick đề nghị cấp độ đánh giá này nên được thực hiện nhiều lần để có thể xác định một cách toàn diện và đầy đủ ảnh hưởng của những thay đổi trên. Và nếu có thể, nhà đào tạo cần đánh giá biểu hiện công tác của học viên trước và sau khi tham gia đào tạo. Sự so sánh hai kết quả đánh giá sẽ chỉ ra liệu có thay đổi nào diễn ra nhờ vào kết quả đào tạo hay không? Những phương pháp đánh giá có thể sử dụng ở cấp độ này bao gồm câu hỏi thăm dò, khảo sát, phỏng vấn, quan sát trực tiếp. Những người tham gia vào công tác đánh giá ở cấp độ này không chỉ có học viên mà còn bao gồm các nhà quản lý, cấp trên trực tiếp hoặc những người ở vị trí có thể quan sát được sự thay đổi trong biểu hiện công tác của học viên.

Đánh giá ở cấp độ này tương đối phức tạp và khó thực hiện do cần có nhiều thời gian và công sức để thu thập dữ liệu và rất khó dự đoán khi nào những thay đổi trong biểu hiện công tác của học viên sẽ diễn ra. Hơn nữa, ngoài đào tạo, những biểu hiện công tác còn có thể bị ảnh hưởng do nhiều yếu tố khác. Tất cả những điều trên đã làm cho các nhà đào tạo nếu không bị bắt buộc sẽ không thực hiện cấp độ đánh giá này. Nhưng chúng ta cũng không thể phủ nhận tầm quan trọng của cấp độ Ba. Nhiều nhà đào tạo cho rằng kết quả của cấp độ Ba thể hiện chính xác hiệu quả đào tạo. Nó giúp các nhà quản lý có cái nhìn thấu đáo về khả năng ứng dụng của đào tạo đối với thực tiễn sản xuất hoặc những chướng ngại ngăn cản học viên sử dụng những kỹ thuật hoặc quy trình đã được học vào công việc.
Thực hiện:
Song song với việc thông báo tuyển sinh, làm TNA lớp học, cán bộ đào tạo cần phải làm một việc đó là xin đánh giá nhận xét của Quản lý trực tiếp, TBP về kiến thức, kỹ năng excel của học viên để làm cơ sở đánh giá hiệu quả của đào tạo về sau (căn cứ vào TNA của học viên để quản lý trực tiếp, trưởng bộ phận có căn cứ đánh giá).
Cán bộ đào tạo sẽ tổng hợp từng đánh giá của học viên:
VD: Học viên A là đối tượng được TT Kinh doanh Apple gửi đi đào tạo, được cán bộ quản lý trực tiếp, trưởng bộ phận đánh giá như sau:
-  Thời gian làm báo cáo chưa đáp ứng yêu cầu
-  Báo cáo còn nhiều “sạn”
-  Kỹ năng Pivot Table, VBA cần được cải thiện
-  Kỹ năng dùng biểu đồ để phân tích chưa tốt
Sau khi kết thúc chương trình đào tạo, cán bộ đào tạo cần check lại sự thay đổi của học viên khi áp dụng vào công việc. Đó là sau kỳ báo cáo Q3.2015, sau khi các bộ phận hoàn thành xong báo cáo quý thì cán bộ đào tạo xin đánh giá của cán bộ quản lý trực tiếp, trưởng bộ phận nơi có học viên đi học khóa excel vừa rồi để xem sự ứng dụng của học viên vào công việc như thế nào.
VD: quay lại trường hợp của học viên A, kết quả đánh giá lần này như sau:
-  Thời gian báo cáo có cải thiện, do áp dụng đc các kỹ năng excel nên rút ngắn thời gian từ việc xử lý data đến việc làm báo cáo > bộ phận đánh giá hiệu quả đào tạo tốt
- Báo cáo ít sạn hơn so với báo cáo cùng kỳ, cũng có thể là do rút kinh nghiệm các lỗi lần trước. Tuy nhiên, thấy có sự chuyển biến tích cực, đột phá hơn > bộ phận đánh giá hiệu quả đào tạo khá
- Kỹ năng pivot table, VBA được cải thiện, biết ứng dụng vào báo cáo, giúp việc làm báo cáo được nhanh hơn, khoa học hơn > bộ phận đánh giá hiệu quả đào tạo tốt
- Kỹ năng dùng biểu đồ để phân tích tốt hơn, sử dụng đa dạng hơn, báo cáo dễ nhìn và được minh họa cụ thể > đánh giá hiệu quả đào tạo tốt.
Các học viên ở các bộ phận khác áp dụng tương tự và việc làm này cũng phải được lặp lại ở kỳ báo cáo năm để có cái nhìn tổng quan nhất, chính xác nhất về hiệu quả đào tạo của khóa excel này.
Cụ thể: Sau kỳ báo cáo năm của các bộ phận, cán bộ đào tạo xin đánh giá tương tự như kỳ báo cáo quý 3 trên. Sau đó tổng hợp đánh giá bằng cách sau:
Qua 2 kỳ đánh giá tổng hợp lại mỗi học viên bao nhiêu % chỉ tiêu (kiến thức, kỹ năng) được cán bộ quản lý trực tiếp đánh giá tốt, khá, trung bình
VD: học viên A 90% chỉ tiêu tốt, 10% khá
Học viên B 98% tốt, 2% khá
….
Ø    % tốt = (90+98)/2=94%
Ø    % khá = (10+2)/2=6%
Kết luận: >90% khóa học đạt hiệu quả tốt việc ứng dụng vào công việc.
(Cấp độ này còn có một tên gọi khác là Behaviour level)

Cấp độ 4: Kết quả
Phân tích:
Cấp độ Bốn đánh giá hiệu quả đào tạo thông qua ảnh hưởng của nó với kết quả kinh doanh. Kết quả kinh doanh bao gồm việc nâng cao chất lượng, nâng cao hiệu quả sản xuất, giảm chi phí sản xuất, giảm tỷ lệ bỏ việc, nghỉ việc của nhân viên. Cấp độ này không tập trung vào ảnh hưởng của đào tạo đối với từng cá nhân mà nó tập trung vào ảnh hưởng chung của đào tạo đối với toàn bộ tổ chức bao gồm tất cả các cá nhân có trong tổ chức đó.

Nhìn chung, quy trình đánh giá ở cấp độ này có nhiều điểm tương đồng với cấp độ Ba, bao gồm việc cần có thời gian để kết quả đào tạo được áp dụng vào công việc, thực hiện việc đánh giá trước và sau đào tạo, công tác đánh giá được thực hiện nhiều lần... Điểm khác biệt duy nhất đó là việc đánh giá ở cấp độ Bốn đựơc thực hiện ở cấp độ tổ chức nói chung. Cần có các hồ sơ theo dõi biểu hiện công tác của học viên. Các dữ liệu về chi phí, năng suất, thu nhập, thời gian cần để thực hiện một công việc cần được thu thập trước và sau khi học viên tham dự chương trình đào tạo, sau đó so sánh hai kết quả để định lượng kết quả của đào tạo.

Đánh giá ở cấp độ Bốn rất quan trọng. Trong bốn cấp độ, cấp độ này cung cấp những thông tin có giá trị nhất, có sức thuyết phục nhất. Nó phản ánh được mục tiêu cao nhất của tất cả các chương trình đào tạo- đó là lợi nhuận các tổ chức có thể thu được từ kinh phí đầu tư cho đào tạo. Nhưng đồng thời so với các cấp độ đánh giá khác, cấp độ Bốn là cấp độ khó thực hiện nhất, mất nhiều thời gian và đòi hỏi nhiều kinh phí nhất để thu thập, sắp xếp và phân tích các dữ liệu. Một trong những khó khăn mà các nhà đánh giá phải đối mặt đó là khả năng làm thế nào để có thể tách riêng ảnh hưởng của đào tạo đối với những thay đổi xảy ra trong tổ chức ra khỏi các yếu tố có thể có khác bởi vì những thay đổi này có thể xảy ra do đào tạo hay không do đào tạo. Khó khăn thứ hai đó là việc quy đổi kết quả kinh doanh thành tiền và gắn kết nó trực tiếp với đào tạo. Do những lý do trên, cấp độ Bốn hầu như không được các tổ chức thực hiện.
Với cấp độ này người làm đào tạo rất khó để đo được, định lượng được hiệu quả của khóa đào tạo ảnh hưởng đến kinh doanh nhưng về mặt định tính có thể tạm khẳng định được hiệu quả của khóa đào tạo excel này ảnh hưởng đến kết quả kinh doanh.
Thực hiện:
Ta có thể căn cứ vào kết quả đo ở cấp độ 2 và cấp độ 3 đó là:
- Thời gian thực hiện báo cáo của học viên sau khi đào tạo được rút ngắn như thế nào, bao nhiêu % so với trước khi chưa đào tạo, thời gian rút ngắn đó học viên sẽ dùng để thực hiện các công việc liên quan khác như ở các TT kinh doanh thì thường những người làm báo cáo là thư ký kinh doanh (sale admin), họ sẽ có thời gian hơn trong việc hỗ trợ sale bán hàng > thúc đẩy doanh số
- Báo cáo nâng cao được chất lượng hơn từ đó sẽ đem lại những con số chính xác hơn cho BOD trong việc nâng cao hiệu quả của việc ra quyết định.
- Báo cáo được phân tích rõ ràng hơn, dùng nhiều công cụ phân tích, biểu đồ hơn giúp BOD có cái nhìn rõ ràng, đa chiều, từ đó đưa ra quyết định nhanh hơn, hiệu quả hơn.
Báo cáo tốt hơn giúp cho BGD trung tâm báo cáo với BOD được đầy đủ và rõ ràng sẽ tiết kiệm được thời gian hội họp, chi phí công tác hơn…
Phương pháp này thường rất hay được ứng dụng và phổ biến nhất. Tuy nhiên, gần đây có một số nhà nghiên cứu phê phán về nhược điểm của phương pháp này là không thể sử dụng hệ thống của phương pháp KirtPatrick để xác định tỷ lệ giữa chi phí và lợi nhuận - khả năng thu lợi nhuận từ chi phí đầu tư cho đào tạo (ROI - Return On Ivesment), một trong những mối quan tâm hàng đầu và là thử thách lớn nhất đối với những nhà tổ chức đào tạo. Tuy nhiên, mặc dù đã ra đời cách đây gần 50 năm, hiện nay nó vẫn là hệ thống đánh giá chương trình đào tạo được sử dụng nhiều nhất trong lĩnh vực đào tạo trong doanh nghiệp (inhouse).

Không có nhận xét nào:

Đăng nhận xét