Nos dias 10 e 11 de Fevereiro o MuSA apresentou uma oficina de Computação Criativa na Campus Party Brasil 2012, na área de Robótica.

Na oficina foram abordados tópicos básicos sobre eletrônica e programação para a plataforma de prototipação Arduino e sua integração com a linguagem de programação Scratch que permite de forma fácil criar histórias interativas, animações, jogos, música e arte. Os participantes tiveram a oportunidade de aprender a desenvolver projetos utilizando sensores e atuadores, e como interligá-los com o Arduino e o Scratch. Além disso, foram desenvolvidos pequenos projetos que apresentaram de forma clara e didática o processo de captura de informação do meio ambiente e interação de usuários, através de botões, sensores de luminosidade, temperatura, aceleração, pressão,  som, kinect entre outros.

Mais informações aqui.

O material da oficina pode ser encontrada aqui.

Nos próximos dias 16, 17 e 18 de Novembro estaremos presentes no simpósio da ABCiber junto com a galera  do LaboCA participando da Oficina de Criação Colaborativa, realizando experimentos com bits e volts, tentando refletir um pouco sobre a tecnologia, seu impacto, sua necessidade, e criando uma ponte entre cultura, tecnologia e arte. Vamos ver no que vai dar. O simpósio vai acontecer na UFSC, e a oficina vai ser no Saguão do Centro de Cultura e eventos das 11h às 15h durante todos os dias.

Mais informações no site do simpósio, da uma conferida lá!

Em Julho deste ano participamos, através do convite do amigo Giuliano Obici e organização do SESC Pompéia, do Ciclo Hack. Escrevendo agora estas linhas, parece que foi ontem.

O ciclo conseguiu reunir — e, ouso dizer, que pela primeira vez — coletivos e representantes de hacklabs e hackerspaces, nômades e localizados, de todos os cantos do país. Tivemos a oportunidade de conhecer e reencontrar amigos do LaboCa, Orquestra Organismo, AV Lab, Coletivo Coletores, HackLab Leste, Gambiologia e Garoa Hacker Clube.

Participamos com o Laboratório de Computação Criativa, dessa vez apresentando o ambiente Scratch, uma linguagem de programação sem código, onde as pessoas que nunca programaram antes podem mover blocos como se fossem peças de montar e irem aos poucos construindo seus programas. Contação de histórias com ferramenta digital. Ficamos muito satisfeitos ao ver o pessoal criando seus primeiros programas depois de alguns minutos de introdução ao ambiente. Ligamos Scratch ao Arduino também, para fugir um pouco das abstrações e deixar os participantes manipularem não só o digital, mas o real, o físico. Durante o bate-papo, ficou a ideia de desenvolver uma versão hacked de Scratch, com foco no seu uso para experimentações artísticas em áudio e vídeo.

As demais oficinas foram incríveis. Tivemos a oportunidade de participar de uma desmistificação de Processing por Jeraman e Jarbas Jacomé. Como ambas oficinas foram em paralelo, demos algumas espiadas na oficina do pessoal do Projeto Gambiologia, que têm uma proposta estética para o reaproveitamento de sucata. Vieram cobrir uma lacuna que estava faltando, e muito. Tivemos a oportunidade de apresentar nossa oficina em paralelo com a de Glerm. Foi ótimo, conseguimos ao mesmo tempo alinhar as conversas e assistir/participar da releitura de Glerm das noções de computabilidade.

As conversas foram ótimas. O local SESC-pompéico é um ambiente incrível, que lembra os galpões dos laboratórios de mídia da vida. Espaço propício para a criatividade e exploração. Em cada corredor experimentávamos alguma forma de instalação ou experimentação.

A todos que estiveram envolvido na organização do ciclo nosso sincero muito obrigado! Aos coletivos e amigos novos que fizemos, força! Estamos todos juntos! Que esse seja um ciclo sem fim, um loop infinito.

Mais informações e fotos do evento na página do Giuliano.

Foi proposto, utilizando software e hardware livre, a criação de uma instalação que explora os conceitos de cibercultura e hacktivismo. O participante entrou em contato com tecnologias livres, como Arduino, Processing e Pure Data.

Além da oficina de Computação Criativa, o coletivo expôs até 31 de março de 2011 o projeto Phytonetike (o nome deriva da junção das palavras gregas phytos (planta) e kibernetiké (cibernética) = “planta cibernética”. Equipada com sensores (luminosidade, umidade e temperatura) e com um sistema de locomoção, a planta atua no ambiente de forma dinâmica, através de uma extensão de seus sentidos naturais. Para tomar decisões no ambiente, uma rede de neurônios artificiais conectada à planta é treinada de forma a buscar localizações onde haja luminosidade e temperatura agradáveis. Este projeto tem como meta discutir os limites entre o orgânico e o inorgânico, o natural e o artificial e o desenvolvimento de organismos ciborgues). Local exposto: Internet Livre.

Durante os primeiros dias da oficina de Computação Criativa, mostramos o Arduino e suas funcionalidades, além de exemplificar na prática como funcionam os sensores e atuadores, seguindo os exemplos disponíveis na Zine (Link para Download). Após esse processo de aprendizagem, formaram-se equipes e pensaram em projetos a serem desenvolvidos nos 3 dias finais. Veja os projetos finalizados e uma descrição abaixo.

Oficina: Computação Criativa SESC Belenzinho from Dino Magri on Vimeo.

A oficina foi realizada num dos maiores centros de Cultura e Entretenimento do Brasil, usufruímos de uma estrutura fantástica, tanto em equipamentos quanto em instrutores do espaço Internet Livre que nos ajudaram a realizar essa oficina. Agradecemos a Catia Leandro pelo convite e também a todos que ajudaram (o João, o Francisco, a Salete, desculpem se esquecemos de alguém) no decorrer dos dias da oficina. E claro, ao SESC Belenzinho.

Relatos: Oficina de Computação Criativa from Dino Magri on Vimeo.

MUITO OBRIGADO!

Foram desenvolvidos pequenos projetos que apresentam de forma clara e didática o processo de captura de informação do meio ambiente e interação de usuários, através de botões, sensores de luminosidade, temperatura, aceleração, pressão e som, além de conceitos necessários para o controle de motores, luzes e falantes. Os participantes participantes desenvolveram pequenos projetos durante a oficina, relacionados com música, controle de iluminação e robótica.

Piezo e Leds #cpbr4 from Dino Magri on Vimeo.

Musica no Arduino com LEDS #cpbr4 from Dino Magri on Vimeo.

Mais informações podem ser encontradas em Robótica Campus Party

Durante a edição de 2010 foi realizado a oficina de computação criativa para games. A oficina teve por objetivo introduzir conceitos de hardware e software livre para o desenvolvimento de interações criativas explorando assim paradigmas de interação recentes como Interfaces perceptíveis, tangíveis eembarcadas. O uso de tais interfaces abrem um vasto mundo de possibilidades na tentativa de explorar novas formas de estabelecer a comunicação e o controle de máquinas, seres vivos e até grupos sociais. Desvendar, desmistificar e experimentar esse mundo através da montagem de placas e desenvolvimento de performances interativas e interfaces para games baseadas na tecnologia Arduino é o principal objetivo dessa oficina.

15 acadêmicos da Universidade do Estado de Santa Catarina participaram e aprenderam como monta-la do zero.

Além disso foi demonstrado o uso do CCV – Core Community Vision, software para reconhecimentos dos blobs e algumas aplicações multi-toques, desenvolvidas com pyMT.

Referências:

http://nuigroup.com

http://pymt.eu

http://blog.dinomagri.com/2010/07/17/ccv-ps3-eye-e-ubuntu-10-04/

Além da imaginação: Experimentos em arte e tecnologia abrem portas para o conhecimento livre

Bárbara Ablas – ARede nº62 setembro de 2010

Juntar arte e tecnologia dá samba. Ou techno music. E um grupo que está em sintonia total com essa composição tão criativa é o coletivo independente denominado Multimídias, Sistemas & Arte, mais conhecido como MuSA. No plano conceitual, a proposta é estimular a criação, a reflexão e a troca de conhecimentos entre arte e tecnologia. Na prática, a galera fabrica interfaces tecnológicas alternativas de baixo custo. Com sucata de computadores e tecnologias livres, desenvolvem pesquisas e projetos experimentais em áreas como música, games, organismos cibernéticos, tecnologia “vestível”, entre outras interfaces interativas. “Começamos em 2008, como um núcleo de pesquisa que utilizava computação gráfica, sensores e atuadores retirados da sucata para dialogar com ambientes externos”, diz Vilson Vieira, integrante do MuSA e professor do curso de Ciências da Computação da Universidade de Santa Catarina (Udesc).

O coletivo, composto por outros quatro acadêmicos da Udesc, aposta na democratização do conhecimento técnico para mostrar que todos podem aprender a construir seus próprios projetos e artefatos. “Queremos desmistificar a ideia de que a tecnologia é uma caixa preta que poucos podem explorar”, ressalta Vilson. Por isso, o MuSA tenta aproximar as pessoas do “como se faz” ensinando conceitos básicos das áreas de computação, eletrônica, softwares e hardware livres e relacionado-os a reciclagem de material tecnológico.

Foi o que aconteceu no Ateliê Livre, atividade realizada durante o 11º Fórum Internacional de Software Livre (FSL), em julho, em Porto Alegre (Rio Grande do Sul). Organizado pelo MuSA, em parceria com o Centro Marista de Inclusão Digital (CMID), de Santa Maria (RS), o Ateliê funcionou como um laboratório coletivo de experimentação em arte e tecnologia. O público conheceu, por exemplo, a interface DJ, feita com um HD (disco rígido) tirado do lixo. É possível manipular o CD do HD como fazem o DJs em suas mesas de som.

Outra criação que fez bastante sucesso entre crianças e adultos foi um controlador para jogar Super Mario Bros usando apenas as pernas apoiadas sobre uma plataforma de papelão. “No pedaço de papelão ligamos sensores de pressão chamados piezoelétricos. Conforme as pessoas pisavam nos sensores, o personagem acompanhava os movimentos do corpo”, explica Oriel Frigo, do MuSA. Esse projeto deve ser mostrado também na 9ª edição do SBgames (Simpósio Brasileiro de Jogos e Entretenimento Digital), que acontecerá em Santa Catarina, em novembro.

Um joystick transformado em instrumento musical e em controle para movimentar um robô é mais um exemplo de como é possível atribuir diversos significados para uma mesma peça reciclada. “Ao invés do teclado conectado ao computador, usamos o joystick para produzir música eletrônica. Depois, modificamos a peça para controlar um robô construído pelo CMID”, conta Vilson.

Sem limites

Além de muita criatividade e sucata eletrônica, o que está por trás dessas invenções são tecnologias livres que facilitam a vida de experts e amadores. O MuSA desenvolve projetos com o Arduino, uma plataforma de hardware e software de código aberto e documentação Criative Comons, baseada em microcontroladores eletrônicos, que permite o controle de redes, tomadas, leds, motores e sensores. O Arduino pode ser usado para desenvolver objetos autônomos e interativos como robôs e obras de arte eletrônica. Como o programa é livre, desenvolvedores, arteiros e entusiastas da tecnologia podem reescrever o código e dar asas à imaginação. “O Arduino é bem amigável e até quem não sabe nada sobre programação ou eletrônica pode construir uma placa”, afirma Vilson. Quem não quiser fazer a sua, pode comprar a um preço acessível, de cerca de 30 dólares. O MuSA também ministra oficinas de hardware livre tanto para pessoas ligadas a computação e artes, quanto para leigos. “E todos conseguem aprender”, garante Vilson.

Gabriela Thumé, integrante do coletivo, está utilizando o Arduino em um projeto de game baseado em tecnologia “vestível”. Ela está confeccionando uma camiseta que funcionará como interface para simular o Genius, um antigo jogo de memória visual e sonora. “A camiseta tem LEDs de alto brilho e cores diferentes, que lixei para aumentar a dispersão da luminosidade” conta. Ao todo, são seis botões, cada um com um led no centro e programados com o Arduino. “Quer mais interatividade do que vestir o jogo?”, brinca a criadora da peça. Apesar do Arduino não ser novidade no mundo da tecnologia, ainda é um recurso tecnológico desconhecido do público. “O interessante é que o Arduino tem formado uma grande comunidade de pessoas para estudá-lo e aperfeiçoá-lo”, diz Alan Fachini, outro componente do MuSA.

Dois projetos experimentais do grupo também apresentados no Ateliê Livre do FISL 11 também estão abertos à construção colaborativa. Um é o protótipo de uma mesa multitoque, que pode ser utilizada para aplicações em atividades educacionais, performances musicais, criações visuais e games. “A mesa multitoque é um computador com uma tela sensível ao toque, que dispensa o mouse ou teclado para interagir com o conteúdo”, enfatiza Alan, esclarecendo que existem muitos equipamentos desse tipo no mercado, dos mais simples aos mais avançados. A grande questão, ressalta ele, é democratizar o conhecimento e contribuir para o avanço das tecnologias livres. Por isso, o coletivo documentou toda a pesquisa na web, incluindo um passo a passo em textos e imagens para quem quiser construir uma mesa dessas. Outro é o Arduinome, um controlador usado geralmente para a produção musical baseado no Monome, também considerados hardware livre, explica Vilson. O Monome é uma caixa com botões que, ao serem pressionados, acendem LEDs e emitem sons. Com o equipamento, músicos e curiosos podem se deliciar criando e mixando sons.

Planta inteligente

O MuSA também atua com profissionais das artes, sempre na mesma linha de promover imersões e intercâmbio de conhecimento. Entre abril e maio, o coletivo ministrou o curso de extensão Oficina de Arte e Tecnologia, em Joinville e Florianópolis, em parceria com o curso de Artes Visuais do Centro de Artes (Ceart) da Udesc. Os participantes foram capacitados para a criação de instalações multimídia com tecnologias de código aberto. O resultado do encontro entre a arte e as ciências da computação foi apresentado na exposição Mimesis Mülleriana – uma Plagiocombinação, realizada em Joinville, em julho, na Galeria Municipal Victor Kursancew. O nome da exposição foi inspirado no conceito de Mimetismo Circular, atribuído à descoberta do naturalista alemão Fritz Muller que, observando a flora e a fauna, percebeu que em alguns casos espécies diferentes se imitam reciprocamente por questões de sobrevivência. Para Gabriela, o MuSA vai “contra a corrente” ao realizar parcerias desse tipo: “A maioria das pessoas que estão na área de arte e tecnologia são do curso de Artes e resolveram se aventurar pelo mundo da programação. O contrário é difícil acontecer”.

Um dos xodós do coletivo é a Phytonetiké, uma planta cibernética exposta na Mimesis Mülleriana. O nome é a combinação das palavras gregas phytos (planta) e kibernetiké (cibernética). A Phytonetiké é um organismo autônomo equipado com sensores de luminosidade, umidade e temperatura. Com um sistema de locomoção acoplado e uma rede de neurônios artificiais conectada, a planta se movimenta sozinha em busca do que precisa para sobreviver. Segundo Vilson, o objetivo é discutir os limites entre orgânico e inorgânico, natural e artificial e o desenvolvimento de organismos ciborgues.

www.musa.cc

LED
Do inglês Light Emitting Diode, é um diodo emissor de luz. Como o dos relógios digitais.

No mês de Outubro, foi realizada durante 3 dias a oficina de introdução ao Arduino, sensores e atuadores na XII Semana da Computação da UDESC.
No primeiro dia de oficina os participantes aprenderam a montar circuitos simples para criar interfaces e objetos interativos. No segundo dia foram desenvolvidos pequenos projetos para familiarizar os participantes com os conceitos desenvolvidos no primeiro dia. Cada grupo escolheu um projeto para montar, o que resultou em Theremins com ldr, controle de iluminação RGB de acordo com o movimento das pessoas, dado digital, pong utilizando a comunicação serial entre o Arduino e o Processing, o jogo Genius e tentativas de montar detonadores de bombas e lançadores de lápis.

No terceiro e quarto dias, os participantes foram desafiados a programar robôs de forma a serem capazes de resolver um labirinto. Caso o Robotazana resolvesse o labirinto, ele encontraria seu queijo!

A oficina foi realizada pelo coletivo MuSA em parceria com o grupo de pesquisa em Software Livre Colméia e professores do Departamento de Computação. Agradecemos a todos pela colaboração, os trabalhos até às 3 da madrugada movidos a pizza foi bem divertido!

Durante o FISL 11estaremos participando do Ateliê Livre, uma iniciativa que tem como inspiração a metareciclagem, as olimpíadas da robótica livre, a arte&tecnologia, a prototipação, o remix, a cultura hacker e, é claro, o software livre. Pensamos na tecnologia como algo a ser explorado e desmistificado, onde todos possam entendê-la o suficiente para criar seus próprios artefatos. Há décadas especialistas tem nos feito acreditar que a tecnologia é como uma caixa preta, e buscamos reverter esse quadro.

Ateliê Livre tem por objetivo ser um espaço para reunir as tribos da cultura digital livre, realizando hacking de cacarecos, culto à gambiarra, jams, improvisação, oficinagem. Arte +- tecnologia. É um espaço para as pessoas se encontrarem e criarem coisas, produzirem músicas, vídeos, teatro, performances. Vamos trocar experiências, fazer algumas coisas juntos, eu proponho isso e você aquilo, a gente coloca na roda e compartilha.

Bricolagem e Andróides com Defeito de Fabricação

Tecnologia, arte e política são esferas da atividade humana com um grande potencial de se influenciarem reciprocamente, mas tipicamente tanto o meio acadêmico quanto o corporativo dificultam esta aproximação. Quando a fronteira entre tecnologia, arte e política passa a ficar borrada, temos um efeito muito interessante, uma outra forma de produção técnica bastante diferente da engenharia. É a bricolagem. O Do It Yourself. A bricolagem está relacionado à modos diferenciados de produção, baseados no improviso e na utilização criativa dos recursos que estão disponíveis. Ela pode ser vista como o oposto da produção em massa iniciada pelo capitalismo, onde o que prevalece é a padronização.

Fomos programados para o trabalho, para a padronização. Mas como já disse Tom Zé, somos andróides com defeitos de fabricação: estamos revelando alguns “defeitos”inatos, como criar, pensar, dançar, sonhar; defeitos muito perigosos para o Patrão Primeiro Mundo.

Como participar

O Ateliê Livre é de livre acesso ao público do FISL11. Não há necessidade de inscrições. Basta juntar-se a nós! Oficinas relâmpago serão propostas, áudio e vídeo serão produzidos durante o evento, artefatos eletrônicos/tecnológicos/robóticos serão (des)contruídos, ideias serão trocadas, não por nós, mas por todos nós.

Outras informações no portal do Fisl 11.

Agradecimento especial ao Eloir José Rockenbach e a toda organização do Fisl por proporcionar este momento!

Apoio

Inspiração: Breathing: Organismo Híbrido

Phytonetiké rebelde

Iniciam-se nessa semana as atividades propostas pelo Curso de Extensão “Oficina de Arte e Tecnologia”, desenvolvido pelo Departamento de Artes Visuais da UDESC, pelos grupos Telepresença em ambientes imersivos, participativos e interativos, GPTaipi  (CEART) e alunos do Departamento de Ciência da Computação (DCC) que participam do coletivo MuSAaaaaaaa.

Por integrar grupos de pesquisa das artes visuais e da ciência da computação o curso de cunho prático e teórico adota uma abordagem interdisciplinar na criação de instalações artísticas com o intuito de desmistificar o uso da tecnologia e atualizar o conceito e as práticas de arte no Estado. Pretende-se com isso, aprofundar o conhecimento a cerca dos significados casino uk da produção de Arte e Tecnologia através de apresentação dos conceitos, dos pioneiros e projetos da área, suas interfaces tecnológicas e do desenvolvimento de projetos colaborativos, capacitando os participantes a criarem instalações multimídia envolvendo tecnologias de código aberto. O intuito é propor aos participantes a experiência da criação colaborativa e processual, partindo da discussão das idéias embrionárias, da elaboração do design dos projetos das instalações e da adequação da tecnologia implicada. Mas também visa a formação de um público especializado capacitando os artistas participantes a acompanharem a recente produção em arte e tecnologia além de almejar a instrumentação dos participantes quanto a produção em arte e tecnologia.

Os projetos resultantes possíveis de serem instalados serão exibidos no segundo semestre na Galeria Municipal de Arte Victor Kursancew, na exposição intitulada Mímesis Mülleriana.

As oficinas serão realizadas nos dias 10 e 11 de Abril em Joinville e 15 e 16 de Maio em Florianópolis. Os eventos são abertos a comunidade.

Foi assim que nasceram os Lab Sprints AZ, sessões de trabalho mensais em que os membros dos labs se juntam em equipes para trabalhar em projetos concretos num fim de semana.

De início, pegamos num projeto antigo dos Machinimakers, um meta projeto do Laboratório de Criação Digital com o objetivo de montar máquinas para uso no lab, a CNC. O projeto voltou à tona recentemente porque surgiu a necessidade de fabricar PCBs para um projeto do LCD e apesar dos resultados interessantes das experiências de etching que fizeram no verão passado, a ideia de usar um processo com químicos tóxicos nunca foi de inteiro agrado, e usar uma CNC para gravar as PCBs pareceu uma alternativa bastante viável.

Claro que construir uma CNC fiável a partir do zero é um projeto impossível para um fim de semana, por isso colocamos o objetivo do sprint de forma mais humilde, mas mesmo assim ambiciosa: criar um protótipo funcional de uma CNC controlada manualmente por um joystick, demonstrável através do uso da máquina para mover uma caneta e desenhar sobre uma folha de papel.

A equipe intercontinental que reuniu-se para este projeto era composta por Pedro Ângelo e pelo Ricardo Lobo do LCD, pelo Tiago Serra do xDA, e pelo Alan Fachini e Dino Magri do MuSA.

Começamos por atacar a pilha de material informático velho à procura de peças que pudessemos usar para construir a máquina.

Reaproveitando peças de impressoras

Estrutura da CNC pronta

Eletrônica

Para a demonstração propriamente dita, ligamos um joystick ao PC e criamos um patch no Pure Data que converte o movimento dos eixos do joystick em valores e os envia ao Arduino pela porta serial e o resultado é este:

Foi um fim de semana intenso e muito divertido, que nos deixou cheios de ideias para continuar a desenvolver este projeto em próximos sprints. Se estiverem interessados podem encontrar o código e mais informação sobre o projeto na página do sprint, e claro, envolverem-se na preparação do próximo.

Vejam mais fotos do decorrer das atividades no Flickr.

Queremos agradecer a toda a malta dos labs AZ, LCD, xDA e Altlab por todo o companheirismo, sendo sempre muito receptivos. Com certeza essa interação intercontinental fará diferença para a construção do MuSA.

De 11 à 15 de Janeiro de 2010 nos reunimos com o pessoal de Florianópolis para uma semana de imersão. Hacking de cacarecos, culto à gambiarra, jams, improvisação, oficinagem. Arte +- tecnologia. Reunindo as tribos.

Oficinas

• Montagem de Arduno na protoboard
• Introdução a PureData e síntese sonora. Comunicação com Arduino.
• Introdução a eletrônica na prática.

Desenvolvimento/finalização de projetos envolvendo arte+tecnologia. Performances. Jams.

Demos uma breve introdução à computação física e à arquitetura-comunidade-ide-linguagem-open-source arduino. e procurando não se alongar no bla-bla-bla, todos colocaram a mão na massa construindo seus severinos.

Leia mais sobre esta oficina no blog do Vilson.

• Data: 21,22,23,24,25/09/2009
• Local: Universidade do Estado de Santa Catarina (Joinville/SC)
• Público: 32 participantes
• Relato: blog do Vilson aqui e aqui.
• Wiki com informações aqui e aqui

Fotos no Flickr

O Atelier Livre ocorreu  pensado como um momento de construção coletiva do conhecimento. O programa das oficinas inclui noções de eletrônica, noções de lógica e programação e a familiarização com o ambiente livre Arduino.  O Arduino foi escolhido pois trata-se de uma plataforma muito interessante para facilitar a vida de pessoas que não estão familiarizadas com arquitetura de computadores e linguagem de nível de máquina

• Data: 26,27/11/2009
• Local: Solisc, Congresso Catarinense de Software Livre (Florianópolis/SC)
• Público: 15 participantes
• Relato: blog de Vilson Vieira

Fotos no casino internet Flickr:

I atelier (de hardware) livre. solisc. from Vilson Vieira on Vimeo.

Multitoque significa um conjunto de técnicas de interação que permite que um usuário controle aplicações gráficas no computador utilizando vários dedos. Um dispositivo multitoque geralmente consiste de uma tela de toque (que pode ser um display LCD, um quadro, uma parede, uma mesa, etc.) e um conjunto de softwares que trabalhe para reconhecer múltiplos pontos de toque na superfície, ao contrário de uma touchscreen tradicional, que apenas reconhece um ponto de toque na tela (NUI Group 2008).
O NUI Group atua como uma comunidade que oferece suporte, documentação e eventos relacionados às interfaces multimodais, e em especial, interfaces multitoque. Segundo o NUI Group, existem cinco técnicas principais para desenvolver o hardware para a superfície multitoque, são elas:

1.Frustrated Total Internal Reflection (FTIR), criada por Jeff Han;
2.Rear Diffused Illumination (Rear DI), utilizada no Microsoft Surface Table;
3.Laser Light Plan (LLP), criada por Alex Popovich e utilizada no protótipo da Microsoft LaserTouch ;
4.LED-Light Plane (LED-LP), desenvolvido por Nima Mota- medi;
5.Diffused Surface Illumination (DSI), desenvolvido por Tim Roth.

Todas essas técnicas tem por base a visão computacional e conceitos de ótica (por meio de algum tipo de câmera). Apesar do sensoriamento ótico estar na base da maioria das técnicas, existem diversas outras técnicas de sensoriamento que podem ser utilizadas na criação de interfaces naturais e multitoque. Algumas delas incluem sensores de proximidade, acústicos, capacitivos, resistivos, de movimento, orientação e pressão. É normal a combinação de vários sensores para formar uma técnica multitoque particular.
No projeto desenvolvido, foi escolhido o modelo FTIR pois é amplamente documentado na Internet, através de trabalhos como (Brand 2007). A Tabela 1 demonstra um quadro com as vantagens e desvantagens do modelo escolhido.

Tabela 1 Vantagens e desvantagens do modelo FTIR (NUI Group 2008).

A configuração do modelo multitoque FTIR envolve três componentes principais: uma tela de acrílico transparente, uma matriz de LED’s infravermelhos e uma câmera com filtro infravermelho.  Os raios infravermelhos compõem uma porção do espectro luminoso que se localiza um pouco além do que o olho humano pode observar. Trata-se de uma faixa de comprimento de onda mais longa que a luz visível, porém mais curta que as microondas. No que diz respeito à tecnologia multitoque, a luz infravermelha é utilizada para distinguir entre uma imagem visível projetada na superfície de acrílico e os pontos de toque dos dedos que serão mapeados. Sem os LED’s infravermelhos e um filtro infravermelho na câmera, haveria confusão entre as imagens visíveis na tela de acrílico e o movimento dos dedos (NUI Group 2008).
Os LEDs são arranjados em torno da tela de acrílico, dessa forma eles brilham diretamente na superfície da tela. Uma vez que os LED’s infravermelhos são posicionados dentro do acrílico, a luz infravermelha atinge o topo e a base do acrílico em um ângulo aproximadamente paralelo, sendo esse efeito conhecido por reflexão interna total (do inglês Total Internal Reflection), como demonstra a Figura 1.

Figura 1 Efeito de Reflexão Interna Total de um LED infravermelho em uma tela de acrílico (Castle 2009).

Esse efeito acontece em determinados materiais quando a luz passa de um material para outro com um índice de refração maior e com um ângulo de incidência maior que um ângulo específico. Esse ângulo específico depende do índice de refração de ambos os materiais, sendo conhecido como ângulo crítico, cujo cálculo pode ser efetuado através da lei de Snell. Quando um dedo é pressionado contra o acrílico, uma parte da luz é refletida para baixo através da tela, sendo em seguida detectada pela câmera, como demonstra a Figura 2:

Figura 2 Resultado da reflexão da luz infravermelha quando um dedo é pressionado na tela de acrílico (Castle 2009)

No modelo de Mesa Multitoque construído, foram utilizados 38 LED’S infravermelhos, distribuídos em duas arestas de 17 LED’S cada. Para a alimentação, foi reaproveitada uma fonte AT que estava em um computador antigo, sem uso. Como esse tipo de LED suporta entre 1,5 e 1,6V, para uma tensão de alimentação de 5V fez-se necessária uma configuração de 6 circuitos paralelos, com 5 circuitos de 3 LED’s ligados em série e um circuito com 2 LED’s ligados em série, como demonstra a Figura 3.

Figura 3 Circuito da matriz de LED’s de uma das arestas.

A Figura 4 demonstra uma das arestas sendo construída, com o posicionamento dos LED’s infravermelhos.

Figura 4 Construção da aresta de LED’s.

A Figura 5 demonstra a aresta sendo posicionada na mesa, com os LED’s infravermelhos ligados.

Figura 5 Posicionamento da aresta de LED’s na mesa.

Para a imagem ser projetada na tela de acrílico, um projetor Datashow é utilizado, e um espelho serve de suporte tanto para refletir a imagem, como para a câmera realizar a captura, como demonstra a Figura 6, que apresenta um esquema geral da Mesa Multitoque.

Figura 6 Esquema da Mesa Multitoque construída.

A câmera utilizada para a construção da Mesa Multitoque foi a Sony PS3Eye (padrão no videogame Playstation 3). A documentação do NUI Group recomenda a utilização dessa câmera, por possuir uma taxa de 120 frames por segundo em uma resolução de 320×240 pixels.

Processing

Processing é uma linguagem de programação open source criada por Ben Fry e Casey Reas e voltada para a produção e processamento de imagens, animações e interações, através de objetos OpenGL. É uma linguagem muito utilizada por estudantes, artistas, designers e pesquisadores para o aprendizado, prototipação e produção de tecnologias computacionais visuais. É utilizada também para ensinar o fundamental de programação para iniciantes, pois conta com uma sintaxe clara e simples, onde pode-se desenhar objetos gráficos com muita facilidade (Fry 2007).

O ambiente integrado de desenvolvimento (IDE) Processing foi desenvolvido com base em Java, o que facilita a portabilidade do ambiente para diferentes sistemas operacionais como GNU/Linux, Mac OS X e MS-Windows, devido à maquina virtual JVM.  A Figura 7 demonstra o ambiente de desenvolvimento do Processing:

Figura 7 IDE Processing.

Os programas escritos em Processing organizam-se basicamente em torno de duas funções principais, a função setup e a função draw. A função setup é responsável pela configuração de parâmetros como o tamanho da janela onde o programa será executado, a cor do plano de fundo e se o programa executará em loop ou apenas uma única vez. A função draw, como o nome indica, irá realizar os desenhos na tela e pode ser considerada como a função principal de um programa em Processing.
A Figura 8 demonstra, na janela do lado direito um código simples em Processing, para desenhar um retângulo de dimensões 50×30 pixels, e no lado esquerdo o resultado do código executado.

Figura 8 Código Processing para desenhar um retângulo (Barbeiro 2009).

No código em questão, a primeira linha da função setup indica que a janela deverá ter a dimensão de 200×200 pixels. A segunda linha indica que o plano de fundo deverá ter a cor preta (0), e a terceira linha indica que o programa não deve ser executado em loop – para um programa simples que apenas desenha um objeto, isso é interessante para evitar consumo computacional desnecessário, pois por padrão todo programa em Processing executa a função draw em loop infinito. Já a função draw, apenas executa a função rect(), responsável por desenhar um retângulo com as dimensões de altura e largura dadas, em pixels.
Um fato interessante sobre o Processing é que ele foi readaptado para ser utilizado como ambiente de programação para microcontroladores Atmega através do projeto de hardware livre Arduino.

CCV

Community Core Vision, ou CCV (conhecido anteriormente como tbeta), é um aplicativo open source para visão e sensoriamento computacional, muito útil na construção de aplicações multitoque. O CCV recebe como entrada um sinal de vídeo, para realizar um mapeamento no sinal e retornar como saída as coordenadas e o tamanho de um blob e eventos que descrevem a direção do movimento de um dedo ou se um dedo foi pressionado ou solto. O CCV suporta webcams internas e externas, assim como pode conectar-se a diversas aplicações TUIO/OSC/XML. Ele suporta diversas técnicas de multitoque, como FTIR, DI, DSI e LLP.
A Figura 9 demonstra um diagrama com o ambiente de trabalho CCV.

Figura 9 Ambiente principal do CCV.

De acordo com o diagrama apresentado, o ambiente de trabalho do CCV é composto pelos seguintes itens:
1. Source Image – Exibe o vídeo  de entrada;
2. Use Camera Toggle – Atribui a câmera como fonte de entrada e grava frames da câmera selecionada;
3. Use Video Toggle – Atribui um arquivo de vídeo como fonte de entrada e grava frames do mesmo;
4. Botão Previous Camera – Seleciona o dispositivo de câmera anterior, caso haja mais de um;
5. Botão Next Camera – Seleciona o próximo dispositivo de câmera;
6. Tracked Image – Exibe o resultado final sobre o vídeo após o mapeamento de blobs;
7. Show IDs Toggle – Exibe o ID de cada blob mapeado;
8. Show Outlines Toggle – Exibe círculos de cor rosa em torno dos dedos no vídeo de entrada;
9. Controle de Threshold – Ajusta o nível de pixels aceitáveis no mapeamento: pixels com valor menor ao threshold serão removidos e os de valor superior serão aceitos no mapeamento.
10. Botão Remove Background –  Recapturar uma imagem de fundo estática;
11. Dynamic Subtract Toggle – Ajusta dinamicamente a imagem de fundo, útil para o caso de falsos blobs ocorrerem devido a mudança de luzes no ambiente.
12. Controle de Smooth – Suaviza a imagem e filtra ruídos;
13. Controle de Highpass Blur – Remove as partes borradas da imagem e mantém as partes mais brilhantes
14. Highpass Noise – Filtra o ruído da imagem após passar o filtro passa-alta;
15. Controle Amplify – Amplifica o brilho dos pixels mais fracos – útil para amplificar os blobs;
16. On/Off  – Ativa ou desativa os filtros;
17. Camera Settings  – Altera configurações da câmera;
18. Flip Vertical  – Inverte verticalmente o vídeo de entrada;
19. Flip Horizontal – Inverte horizontalmente o vídeo de entrada.
20. GPU Mode – Ativa a aceleração de hardware 3D (GPU);
21. Send TUIO – Ativa o envio de mensagens TUIO;
22. Enter Calibration – Inicia o processo de calibração;
23. Save Settings – Salva a configuração atual.

Um processo que não costuma ser trivial é a configuração do CCV para reconhecer os dispositivos de câmera instalados no computador. Antes de tudo, para se realizar a captura com uma câmera comum, já detectada corretamente pelo kernel Linux, é necessário fazer o download do código fonte da  biblioteca unicap, para então compilar a mesma. Isso pois, o CCV realiza a captura de vídeo com base nessa biblioteca, apesar da mesma não ser distribuída no pacote CCV.

No caso do sistema desenvolvido, o objetivo é a utilização da câmera PS3Eye, pois trata-se de um dos modelos de câmera recomendados pelo NUI Group. Para isso, é preciso fazer o download do driver da câmera, que funciona apenas para a versão 2.6.30 do kernel Linux. Para o caso de um sistema Debian:

$ sudo aptitude install linux-image-2.6.30-bpo.1-686 linux-headers-2.6.30-bpo.1-686

Após isso, basta reiniciar o computador a partir do novo kernel e instalar o driver com os comandos:

$ sudo aptitude install mercurial
$ hg clone http://linuxtv.org/hg/~jfrancois/gspca/
$ cd gspca
$ make release
$ make
$ make install

Em seguida, é necessário aplicar um patch na biblioteca unicap, para o driver gspca da PS3Eye. Como o patch desenvolvido é para o unicap 0.9.5 e a versão atual do unicap é 0.9.7, é necessário então fazer uma pequena modificação no arquivo de patch, substituindo o número de versão no arquivo. Com o comando sed, não é necessário nem abrir o arquivo para realizar a modificação:

$ sed -i ‘s/0.9.5/0.9.7/g’ “unicap-gspca.patch”

Após isso, o patch pode ser aplicado com sucesso:

$ patch -p0 < unicap-gspca.patch

Para utilizar o CCV com uma câmera e um projetor, é necessário antes executar o processo de calibração. A calibração permite que pontos de toque alinhem-se com os elementos na tela. Dessa forma, ao tocar algo exibido na tela, o toque é registrado na localização correta. Para que isso seja possível, o CCV necessita traduzir o espaço da câmera para o espaço da tela. Isso é feito com o toque nos pontos de calibração.

TUIO

TUIO é um framework que define um protocolo comum em uma API para superfícies multitoque tangíveis. O protocolo TUIO permite a transmissão de um descritor abstrato para superfícies interativas, incluindo eventos de toque e estados de objetos tangíveis. O TUIO codifica dados de controle de uma aplicação de mapeamento (como o CCV) e envia o sinal para qualquer cliente capaz de decodificar os dados no formato do protocolo (como o Processing).
Tecnicamente,  o TUIO é baseado no Open Sound Control (OSC) – um padrão emergente para ambientes interativos que não limita-se apenas ao controle de instrumentos musicais. Por tratar-se de um protocolo baseado em UDP, o OSC permite comunicação em rede, onde aplicações interativas podem comunicar-se remotamente.
Desde que foi publicada a primeira especificação do protocolo TUIO  como parte do sintetizador reacTable, o protocolo passou a ser adotado por diversos outros projetos relacionados à interfaces tangíveis e multitoque, como o trabalho desenvolvido pelo NUI Group.

Exemplo de Aplicação: Pilha Multioque
O aplicativo de pilhas multitoque foi desenvolvido para o sistema operacional Debian GNU/Linux 5.0 executando Kernel 2.6.30 em uma máquina Intel Centrino Core2Duo 1.8 Ghz, com 4Gb de RAM. Porém, todas as ferramentas utilizadas podem ser portadas sem maiores problemas para outros sistemas operacionais.
O proposto é que seja possível manipular com os dedos a representação gráfica de estruturas de dados tais como pilhas, listas e árvores. Para isso, inicialmente é necessário realizar uma integração entre as ferramentas CCV e Processing.
A comunicação entre CCV e Processing é realizada através de mensagens TUIO, com a utilização da biblioteca TuioProcessing, como demonstra o diagrama da Figura 10.

Figura 10 Integração do CCV com o Processing.

Por padrão, o CCV envia mensagens TUIO pelo protocolo OSC, para o endereço de IP 127.0.0.1 (localhost), através da porta 3000. Dessa forma, ao instanciar um objeto como cliente TUIO no Processing, deve-se especificar a porta 3000:

TuioProcessing tuioClient;
tuioClient  = new TuioProcessing(this, 3000);

Isso é necessário, pois por padrão o TuioProcessing utiliza a porta 3333. O exemplo desenvolvido é de uma pilha manipulável, como demonstra a Figura 11.

Figura 11 Representação gráfica de uma pilha em Processing.

Uma pilha pode ser construída em Processing a partir de conjuntos de retângulos interligados verticalmente, onde cada retângulo representa um elemento de dado  a ser inserido na estrutura. A pilha inicia vazia, e ao inserir o primeiro elemento, tem-se apenas o topo. Ao inserir outro elemento, arrastando um dedo até a localização da pilha, é permitido apenas que o novo elemento passe a ser o novo topo. Ao arrastar dois dedos sobre a pilha, desempilha-se o elemento do topo.
Para arrastar os objetos em Processing, os retângulos foram desenvolvidos como objetos Spring2D, que possuem uma massa e são submetidos a uma gravidade artificial. Isso faz com que pareça mais real a manipulação dos objetos. A classe Spring3D possui o seguinte código:

class Spring2D {
float vx, vy; // Velocidade em x e y
float x, y; // Posição x e y
float gravity;
float mass;
float radius = 20;
float stiffness = 0.2;
float damping = 0.7;

// construtor da classe:
Spring2D(float xpos, float ypos, float m, float g) {
x = xpos;
y = ypos;
mass = m;
gravity = g;   }

// atualiza posição e velocidade:
void update(float targetX, float targetY) {
float forceX = (targetX – x) * stiffness;
float ax = forceX / mass;
vx = damping * (vx + ax);
x += vx;
float forceY = (targetY – y) * stiffness;
forceY += gravity;
float ay = forceY / mass;
vy = damping * (vy + ay);
y += vy;   }

// exibe o retângulo
void display(float nx, float ny) {
noStroke();
rect(x,y,90,90);  }
}

A declaração de 3 objetos, s1 , s2 e s3, resulta graficamente numa pilha com 3 elementos, como foi demonstrado na Figura 5. Os objetos são declarados da seguinte maneira:

Spring2D s1, s2, s3;
float gravity = 6.0; // valor da “gravidade”
float mass = 2.0; // valor da “massa”

s1 = new Spring2D(0.0, width/2, mass, gravity);
s2 = new Spring2D(0.0, width/2, mass, gravity);
s3 = new Spring2D(0.0, width/2, mass, gravity);

Quanto maior o valor da gravidade e da massa, mais lentamente o objeto será arrastado na tela. Para que a pilha seja controlada por coordenadas x e y provenientes dos toques na superfície da mesa, é preciso realizar um mapeamento das mesangens TUIO enviadas pelo CCV, com a seguinte sequência de códigos:

// coleta todos os cursores x/y do tuio
Vector tuioCursorList = tuioClient.getTuioCursors();
for (int i=0;i<tuioCursorList.size();i++) {
TuioCursor tcur = (TuioCursor)tuioCursorList.elementAt(i);
Vector pointList = tcur.getPath();

if (pointList.size()>0) {
stroke(0,0,255);
TuioPoint start_point = (TuioPoint)pointList.firstElement();;
for (int j=0;j<pointList.size();j++) {
TuioPoint end_point = (TuioPoint)pointList.elementAt(j);
start_point = end_point;
}
} }

A Figura 12 exemplifica o uso do aplicativo desenvolvido, onde há uma pilha cujo quarto elemento será inserido como novo topo, única posição onde se permite a conexão de novos elementos.

Figura 12 Manipulação de uma pilha multitoque.

Ao tentar arrastar com dois dedos um elemento para fora da pilha, só será possível se o mesmo for o elemento do topo.  O topo inicia na posição central da tela:

s1.update(width/2, height/2);
s1.display(width/2, height/2);

A conexão do topo com os outros elementos da pilha foi desenvolvida fixando-se a posição dos elementos, sempre alinhados verticalmente. Os objetos foram localizados na posição do topo somando-se 70 pixels abaixo a partir das coordenadas do topo (objeto s1):

s2.update(s1.x, s1.y+70);
s2.display(s1.x, s1.y+70);
s3.update(s2.x, s2.y+70);
s3.display(s2.x, s2.y+70);

A aplicação desenvolvida encontra-se em estágio de protótipo, numa fase intermediária de desenvolvimento. Tem-se como planos mapear operações com maior números de pontos de toque, assim como extender para operar com outras estruturas de dados como árvores, listas, multi-listas, etc.

Essa instalação tem por objetivo, através de uma interface tangível, usando objetos físicos com tags para interagir, apresentar informações, tocando vídeos vídeos e mostrando fotos sobre os manguezais regionais para as pessoas. Foram coletados dados da internet, fotos e vídeos a área do manguezal Ratones, situado no norte da ilha de Florianópolis, incluindo as áreas da estação ecológica Carijós e a reserva Orlandi, buscando chamar a atenção das pessoas para os cuidados necessários com a região.

O mapa ilustra a resera Olanda no norte da ilha de Florianópolis, a reserva tem 76 hectares e pertence a mesma região do manguezal Ratones e é parte da floresta Atlantica.

Usando como base o protocolo de comunicação TUIO, muito utilizado em superfícies multi-toque, foi desenvolvida uma aplicação escrita na linguagem Processing que tem seus eventos disparados pelos objetos físicos com tags associadas utilizados pelos interatores da instalação. Um mapa é colocado na parede e as tags ficam presas próximas a região da qual possuem informação associada, e ao ser exposta em uma superfície contendo uma câmera, dispara casino online portugal a visualização de vídeos e imagens.

Tags e letras. Foto de Greice Antolini Silveira.

Colagem na parede. Foto de Greice Antolini Silveira.

Yara Guasque apresentando. Foto de Yara Guasque.

Colhendo tags. Foto de Yara Guasque.

Interagindo. Foto de Yara Guasque.

Referências

• Guasque, Yara.: Visualização do manguezal para a Plataforma Multiusuário Estação Carijós Estruturas participativas alimentadas pelas coletas nos sítios físico e no da Internet. DAPesquisa (2008)
• Guasque, Yara,. Guadagnini, Silvia,. Hildebrand, Hermes.: Plataforma Multiusuário Estação Carijós: futuros prosseguimentos. 7 Encontro Internacional de Arte e Tecnologia (2008)
• Jorda, S,. Kaltenbrunner, M,. Geiger, G,. Bencina, R.: The Reactable. Proceedings of the International Computer Music (2005)
• Kaltenbrunner, M,. Bencina, R.: reacTIVision: a computer-vision framework for table-based tangible interaction. Proceedings of the 1st international conference on Tangible and embedded interaction, Baton Rouge, Louisiana, 69 – 74 (2007)
• Reas, C,. Fry, B.: Processing: programming for the media arts. AI & Society Journal, Springer London, Volume 20, Number 4 (2006)

Uma das atividades do Festival foi a oficina de hardware/robótica livre, que teve por objetivo ser um ambiente de colaboração e desenvolvimento criativo para a criação de artefatos eletrônicos fazendo-se uso de sucatas. Na oficina, dividida em dois níveis, os participantes do nível avançado fizeram uso da Arduino para controlar os projetos desenvolvidos.

• Data: 24, 25, 26, 27/06/2009
• Local: Centro de Eventos PUCRS (Porto Alegre/RS) durante o 10º Fórum Internacional de Software Livre
• Público: 24 participantes
• Maiores informações: portal do Fisl10

Fotos no Flickr

• Data: 12,13/09/2009
• Local: BarcampPT (Coimbra, Portugal)
• Público: aproximadamente 50 participantes

• Data: 24/06/2009
• Local: 10º Fórum Internacional de Software Livre (Porto Alegre/RG)
• Público: aproximadamente 240 participantes
• Apresentação: Open Hardware Design/Udesc-PC no Slide Share

Fotos no Flickr

Essa oficina teve por objetivo apresentar as noções básicas sobre prototipação de circuitos eletrônicos (circuitos para o monitoramento de sensores e controle de atuadores), uso de ferramentas como ferro de solda, multímetro e o funcionamento do hardware e linguagem Arduino e linguagem Processing.

Realizada no decorrer de 3 dias, a oficina foi dividida nas atividades: introdução a eletrônica, técnicas de prototipação, introdução ao hardware e linguagem Arduino e linguagem Processing. Foram confeccionadas 8 placas do Arduino Severino.

• Data: 05,12,19/03/2009
• Local: Universidade do Estado de Santa Catarina (Joinville/SC)
• Público: 8 participantes
• Apresentação: Oficina de Arduino no SlideShare
• Relato: blog do alf.
• Wiki com informações aqui e aqui

Fotos no Flickr