Microsoft develops 3D touchscreen with tactile feedback

By Leo Kelion Technology reporter


By adjusting resistance against a person's touch the screen can make some objects feel heavier than others
Details of a touchscreen showing 3D images that can be felt and manipulated have been published by Microsoft's research unit.
The project combines an LCD flat panel screen with force sensors and a robotic arm that moves it back and forwards.
By controlling how much resistance there is to a user's fingertip the firm says it can simulate the shape and weight of objects shown on screen.
Microsoft says the device could have medical uses as well as for gaming.
Work on the project is being carried out at the firm's Redmond campus near Seattle.

Simulated shapes


When a person touches the prototype it pushes back with a light force to ensure one of their fingers stays in contact with the screen.
If they then press against it the robotic arm instantly pulls the screen backwards in a matching smooth movement. If they start to retract their finger, it moves it back towards them.
Meanwhile a computer adjusts the size and perspective of the on-screen graphics to create a 3D effect.
The trick to simulating a physical sense of touch is to adjust the amount of force-feedback resistance.
The screen can recreate the feel of an object's shape by being moved backwards and forwards
So, in an application which shows graphics representing different square blocks on a wall, a "stone" one requires a relatively large amount of force to push it off the ledge and a "sponge" one less.
In addition, the kit can be used to provide a sense of shape by adjusting the screen's position to match a virtual object's contours as a person drags their finger over its surface.
"As your finger pushes on the touchscreen and the senses merge with stereo vision, if we do the convergence correctly and update the visuals constantly so that they correspond to your finger's depth perception, this is enough for your brain to accept the virtual world as real," said senior researcher Michael Pahud.
His team have used the technique to allow users to feel the shape of a virtual cup and ball, among other objects, while viewing them using special glasses to get a stereo-vision effect.
Touch-and-find tumours
Microsoft suggests one use for the device would be to allow doctors to explore body scans.
It has created a demonstration using magnetic resonance imaging (MRI) scans of a brain to show how a medic could navigate through the different slices by pushing their finger against the display.
It also allows them to draw notes and leave a "haptic detent" - or force-feedback marker - at certain layers to make it easier to find them again later on.
A demonstration program allows the device to be used to examine MRI scans of a brain
In time, the researchers suggest, this could be extended to flag up potential problems.
"I could imagine receiving haptic feedback when you encountered an anomaly, such as a tumour, because we can change the response based on what you touch," said Mr Pahud.
"You can have different responses for when you touch soft tissue versus hard tissue, which makes for a very rich experience."
Bumpy screens
One medical tech expert said the project showed promise, but added that previous efforts to try to use touch-based feedback in robotic surgery and other health-related equipment suggested it was not yet responsive enough to be reliable.
In particular, Dr Peter Weller, head of the Centre for Health Infomatics at City University, London, said he was concerned Microsoft's screen would not be able to give an accurate enough indication of textures.
"If you were moving your finger over a surface that was rough the screen would have to go up and down very quickly to be able to give you that impression," he told the BBC.
"The examples that they give are all very smooth - squares and cylinders and all that - but if it was going to be used in the real world it would have to respond to rapidly changing shapes."

Tactus has developed a screen that can make itself go bumpy
Others are working on different ways to provide touch-feedback. California-based Tactus, for example, has developed a screen with tiny channels of fluid which allows bumps to pop up to simulate the feel of buttons.
Dr Weller suggested that if this or other such technologies could be combined with Microsoft's current research then its screen could indeed find its way into use.
"I think their example of the brain scan is a bit artificial, but where I could see it being useful would be for a doctor doing teleconsultancy work," he said,
"It would mean the patient could be in another country or hospital and the doctor could feel their glands or abdomen from a distance."


หน่วยวิจัยไมโครซอฟท์สร้างหน้าจอสัมผัสสามมิติที่สามารถรับรู้ถึงความรู้สึกและสามารถปรับภาพได้ โดยโครงสร้างประกอบด้วยหน้าจอรับแรงสัมผัสและแขนกลเพื่อช่วยในการเดินหน้าและถอยหลัง โดยจะสามารถแสดงผลวัตถุทั้งรูปร่างและน้ำหนักตามแรงกดและน้ำหนักมือของผู้ใช้ โดยคอมพิวเตอร์จะประมวนผลออกมาเป็นรูปร่าง 3 มิติ ซึ่งหน้าจอจะสามารถประมวนผลภาพของวัตถุในรูปแบบและขนาดที่แตกต่างกันตามน้ำหนักมือและแรงต้านจากผู้ใช้งาน สามารถประมวนความรู้สึกที่มีต่อวัตถุในขนาดที่ต่างกัน เช่น รูปของบล็อกบนหน้าจอหากเป็นก้อนหินเมื่อสัมผัสจะให้ความรู้สึกเหมือนมีแรงต้านสูง แต่ถ้าเป็นฟองน้ำเมื่อสัมผัสจะให้ความรู้สึกเบา นอกจากนี้ให้ใช้การสัมผัสร่วมกับการใช้ stereo vision จะทำให้สามารถทั้งสัมผัสและในรูปแบบสามมิติที่เสมือนจริง

การใช้ทางการแพทย์ในการตรวจหาก้อนเนื้อมะเร็ง ซึ่งไมโครซอฟท์ได้นำเครื่องมือมาใช้ร่วมกับเครื่อง MRI โดยให้แพทย์สามารถแสกนร่างกายผู้ป่วยและตรวจชิ้นเนื้อต่างๆผ่านหน้าจอโดยใช้มือสัมผัส ซึ่งมีการทดลองใช้กับการแสกนสมอง และสามารถจะทำเครื่องหมายไว้ได้หากต้องการกลับมาดูใหม่ ซึ่งแพทย์จะสามารถรับรู้ถึงความผิดปกติของก้อนเนื้อโดยการสัมผัสนั้นจะรู้สึกมีแรงต้านมากกว่าจุดอื่น การสัมผัสเนื้อเยื่ออ่อนกับเนื้อเยื่อที่มีความแข็งจะให้ความรู้สึกที่ต่างกัน อย่างไรก็ดีก็ยังมีการแย้งถึงความถูกต้องในการประมวนผลของเครื่อง ซึ่งเครื่องควรมีการพัฒนาให้สามารถประมวนผลความรู้สึกได้เร็วตามนิ้วที่สัมผัสไป นอกจากนี้หากสามารถมีการนำเทคโนโลยีอื่นมาปรับใช้กับโครงการเพื่อพัฒนาให้ดียิ่งขึ้นก็จะสามารถเป็นประโยชน์ทางการแพทย์สำหรับแพทย์ที่ต้องให้การรักษาผ่านการสื่อสารทางไกล โดยแพทย์จะได้สัมผัสเสมือนกับการตรวจผู้ป่วยจริง


Strength: โครงการนี้ถูกดำเนินการวิจัยโดยไมโครซอฟท์ซึ่งจัดเป็นองค์กรที่มีความรู้เรื่องเทคโนโลยีที่ดี ซึ่งก็จะสามารถทำให้การพัฒนาโครงการนี้เป็นไปได้อย่างรวดเร็ว ด้วยโครงการที่ออกมาพัฒนาจากปัจจุบันที่สามารถรับรู้ด้วยการสัมผัสได้นอกจากการมองเห็น ก็จะทำให้สามารถพัฒนาออกไปใช้ได้อีกในหลายเรื่องนอกเหนือจากทางการแพทย์

Weakness: โครงการยังต้องการการค้นคว้าและพัฒนาอีกมาก เนื่องจากในการนำมาใช้จริงโดยเฉพาะเรื่องทางการแพทย์ที่เกี่ยวข้องกับชีวิตคนจริงๆแล้วนั้น เรื่องความแม่นยำเป็นสิ่งที่สำคัญมาก ซึ่งต้องพัฒนารูปแบบการประมวนผลให้รับรู้การสัมผัสให้รวดเร็วและละเอียดขึ้น มีการแปลผลที่ถูกต้องและแม่นยำ

Opportunities: โครงการนี้มีโอกาสถูกพัฒนาและนำไปต่อยอดได้ในหลายๆเรื่องนอกเหนือจากเกมส์และทางการแพทย์แล้ว โดยเฉพาะเรื่องของ Business การค้าที่ต้องขายทางไกล ซึ่งเราจะสามารถแสดงสินค้าเสมือนจริงให้กับลูกค้าได้ดูและสัมผัสโดยไม่ต้องหอบหิ้วสินค้าไป และเป็นโอกาสในการเปิดตลาดในสถานที่ไกลได้

Threat: ไมโครซอฟท์ต้องอาศัยความร่วมมือจากส่วนอื่นด้วยในหลายด้าน เช่นเรื่องของการแพทย์เพื่อจะสามารถนำข้อมูลมาพัฒนาให้ได้การใช้งานที่ตรงและแม่นยำที่สุด นอกจากนี้ต้องระวังเรื่องของคู่แข่งที่อาจมีการพัฒนาได้เร็วกว่า


จัดทำโดย นางสาวชุติวรรณ ศรีศักดิ์หิรัญ YMBA35 รหัส 5520221025

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License