Monday, May 20, 2013

Glücklich Finger 2 - Happy Finger 2


Fortsetzung von teil 1

In das Diagramm, Die Farben und der Platz im Standardposition sind alle gleich. Die Werte verwandelt zu 0 und 1. Hoch Werte ist glücklich Finger.

Die 4 Verfahren sind:
  1. Alles stand für Wort, alles stand für Finger
  2. Alles stand für Wort, mittlere stand für Finger
  3. Mittlere stand für Wort, alles stand für Finger
  4. Mittlere stand für Wort, mittlere stand für Finger
Jede Methode gibt eine andere Antwort, wenn du das Diagramm spielst. Es gibt Situationen für jedes. (Es gibt viele mehr Weg!) Siehst du mein rechter keiner Finger Hoch stand für 1 & 2? Möglich, oder? (Hinweis, du wirst die Quelle siehst!)

Hmm... Es gibt nicht viele Fallen, dass Man können in ein Analyse haben. Ich hoffen du verstehen alle!

Warum denn so ernst?
- Der Joker

Continued from part 1

In the chart above, the colours and positions used is the same as the one shown in standard position, and values have been normalized to the range 0 and 1. Higher value means the finger is used more frequently to type happy words.

The 4 different methods used are:
  1. sum score for word, sum score for finger
  2. sum score for word, mean score for finger
  3. mean score for word, sum score for finger
  4. mean score for word, mean score for finger
If you play around with the chart, it should be obvious that each method gives a different answer; and there are situations where each might be applicable. (There are gazillion more ways to do it!)  Does it also seem odd to you that my right pinky gets the highest score for method 1 & 2? (hint, you may want to see the source!)

Hmm... there are only so many traps one can fall into in a single analysis. Hope you manage to spot and understand all of them!

Why so serious?
- The Joker

Friday, May 17, 2013

Glücklich Finger 1 - Happy Finger 1


Ich will herausfinden: welcher Finger kann Menschen glücklich macht... Ich werde Tastaturnutzung analysiere: welcher Finger tippt glücklich Wörter?  Wörtersentimentalität aus AFINN-111.

Die Sentimentalitätstand aus Wort (ok, I have no idea how to write this in German. tbh, the English version is barely ok) Code hier.

Ich berechnen der stand für Finger. Die Fingernorm ist von Standardnorm von deine Hand.

Das Resultat und die Diskussionen sind in nach Teil.

I'm on a quest to find out which finger is the most capable of making others happy... I will be doing this by analyzing keyboard usage: which fingers are used to type happy words? Sentiment of words will be taken from AFINN-111.

The sentiment score is taken from a word and then applied to each character of that word. E.g. love has a score of 3; so all 4 characters l-o-v-e has score 3. Repeat this process for each word on the list to get a summary score. Code here.

This score for each finger is then calculated based on the standard position of your hand on the keyboard.

Results and discussion to follow in next part.

Thursday, May 16, 2013

Aktualisieren-chen - Minor Update


Du willst sehen viele red Tinte im Deutsch Beitrag, weil ich sie ändern, wenn ich das lerne. Ich denke ein besserer Weg, aber nicht heir.

Du könntest sehen, dass es viel rot aufgezeichnetes Zeichen auf meiner Beiträge gibt. Grund dafür ist, dass ich meine Beiträge änderte, als ich mein Deutsch verbessere. Bessere kann ich es darstellen, aber nicht hier über Blogger.

P.S. Die 'Ball' von früher Beitrag mache aus d3. Ich weiss, das ist die schlechteste Verwendung aus Datenvisualisierungzeug, aber du musst liebst die Überraschung nach 100 Klicks. Du findest  das gist hier wenn du willst die 'Ball'.

P.S. Der 'Ball' von meinem früheren Beitrag habe ich mit d3 erstellt. Es kann sein, dass es nicht das beste Einstaz von Datenvisualisierungstools ist, aber die Überraschung die du nach 100 Klicks bekommst ist einfach nur genial. Das Wesentliche über diesem Ball erhältst du hier.

You may have noticed that there are lots of red ink in the German posts... That's because I make changes to them as I gain mastery of the language. I can think of a better way of presenting it, but not on Blogger (wink wink).

P.S. That 'ball' from the previous post was made with d3. I know, worst possible way to use a data visualization tool but you gotta love the surprise after clicking it a 100 times. If you wish to own the ball, you can find the gist here.

Tuesday, May 14, 2013

bigdatahackathon part 2


Fortsetzung von teil 1

Es ist eine schwierige Aufgabe, weil die Daten ist sauber sind. Es ist nicht möglich, kreativ zu sein. Ich verbrachte Stunden auf machen Features, aber es ist nicht gut. Schließlich, es ist ein Aufgabe auf in Modellierung.

Einfach, der Model ist das Kombination von GBM, random forest und logistic baseline Modell versehen. GBM ist 60% von endgültigen Vorlage und 20% für die beide. Ehrlich, ich prüfe es nicht, weil will ich schlafen (ich bin in Berlin der Tag zuvor).

Falls Sie interessiert, gewinnen die GBM Vorlage der Hauptpreis in 7 Stunden. Ich blieb zu arbeiten, und spreche viele gute Menschen danach.

Es macht nicht, es ist nicht dich; ich wolle auch, es ist spannender. Hier, haben ein Ball.


Continued from part 1

It was quite an annoying challenge since the data was pretty clean and tidy. There were not too much room for creativity in terms of shaping and manipulating the data. I spent several hours trying to generate useful features, but it was as productive as playing minesweeper. In the end, it boiled down to a challenge in modelling skills.

In very simple terms, the model is a combination of GBM, random forest and the logistic baseline solution provided. GBM forms 60% of the final submission and 20% each for the other 2 algorithms. To be honest, I did not bother testing the optimal blend because I was feeling cranky after not sleeping for a day (I was in Berlin the day before).

In case you are interested, GBM alone was enough to win the top London cash prize at about 7 hours into the competition. I stayed behind to work on the blend; walked around and chatted with lots of pretty cool people.

Don't worry, it's not just you; I wish it was a more exciting story too. Here, have a ball.

Monday, May 13, 2013

bigdatahackathon part 1


Als mein erster Beitrag, schreibe ich etwas über den Hackathon am 13. April in London. Ich schreibe nicht zu technischen, ansonsten würden  meine Freunde schlafen, wenn sie das lesen; aber es wird einige Details über Datenwissenschaft geben, oder es ist mein Blog hat keinen Inhalt in meinem Blog. Dieses Blog getrennt in hat mehrere Teile... damit du kotzt nicht aus aufgrund einer Überdosis...

Der Hackathon wird veranstaltet von Data Science London, und gesponsort von Microsoft, PeerIndex, usw. und dieser ist meiner zweiter Hackathon mit sie ihnen. Es ist eine 24-Stunden Veranstaltung und wir müssen bauen ein Modell für die Einwirkung von Social Media bauen (dieser Teil wird veranstaltet von Kaggle).

Andere aus den früher Hackathon, ich müsse in Team; so ich arbeite mit Fremde. <- this bit is too advanced for me now, so... ignore the errors... Es ist sehr schwierig, weil wir unseren Fachgebiet nicht wissen. Sowieso, Ich baue der Modell das Vorhersagemodell, während und sie mache arbeiten an die Freestyle Challenge.

Teil 2 ist hier


As my first real post, I am writing about the hackathon on April 13th in London. I will try not be too technical otherwise my friends will fall asleep while reading; but there will be some data science details so that there's actually real content in my blog. It is also separated into parts... because non-stop reading of what I write may cause migraine, nausea, etc...

Anyway, the hackathon is organized by Data Science London, sponsored by Microsoft, PeerIndex, etc; and this is my second hackathon with DSL. It is a 24-hour event, and we have to build a model for influence in Social Media (this part is hosted by Kaggle).

Unlike the previous hackathon, it is compulsory to participate as a team this time; meaning that I actually had to work with strangers. It is very difficult since we hardly knew each other and it is hard to coordinate without really knowing each others' areas of expertise. Anyway, I took charge of the prediction modelling while the others focused on the Freestyle Challenge.

Part 2 is here